重要概念
RTMP Chunk Header
RTMP Chunk Header
的长度不是固定的,分为: 12 Bytes、8 Bytes、4 Bytes、1 Byte
四种,由RTMP Chunk Header
前2位决定。
FLV VideoTagHeader
分析RTMP流时,经常看到与0x17
或0x27
进行比较的情况,那0x17
或0x27
究竟是什么东东呢?
-
0x17
1
:key frame(for AVC, a seekable frame)
关键帧,比如I帧7
:AVC
-
0x27
1
:inter frame(for AVC, a non-seekable frame)
不是关键帧,比如P帧7
:AVC
故可通过与0x17
或0x27
的比较,来判断视频帧是否为关键帧。
第二个字节是AVPacketType
,这个也很常用,用来判断包的类型:
0x00 -- AVC sequence header (即AVCc 保存AVC的profie和 SPS PPS等信息)
0x01 -- AVC NALU 普通的NALU
0X02 -- AVC end of sequence
FLV AudioTagHeader
AudioTagHeader
的长度为2个字节。AAC
的前4个比特是:二进制的1010
,即10进制的10。
当AAC
时,第二个字节用于指定包的类型(AACPacketType
)。
如果AACPacketType = 0
,则是AAC Sequence header
(解码信息);
如果AACPacketType = 1
,还是AAC raw
(原始音频数据)。
AACPacketType = 0
AACPacketType = 1
RTMP层次(数据发送角度)
H.264的NALU是如何一步步变成RTMP Video Chunk的呢?
AAC的ADTS是如何一步步变成RTMP Audio Chunk的呢?
RTMP Video Chunk (H.264/AVC)
RTMP Video Chunk (H.264/AVC) 封装过程简图
RTMP Video Chunk (H.264/AVC) 封装过程详图
Video Chunk 举例1 AVC sequence header
0500000000003f0901000000 // 12字节的RTMP Chunk Header
17 // 1: keyframe 7:AVC 表示是AVC的关键帧
00 // 0x00: 表明当前Packet的类型是 AVC sequence header
000000 // 3字节的Composition Time
// 以下(到结尾)为实际的AVC sequence header
01 // AVC sequence header的开始 固定为0x01
4d // H.264的profile 0x4d即十进制的77 表示是 Main Profile
40
28 // H.264的level
ff
e1 // 即二进制11100001 后5位为SPS的格式 即1
002b // 2个字节 SPS的长度 即十进制的43
// 实际的SPS 以0x67开头
674d4028965200f0044f
cbff88700b4008000003
00080000030197010003
e800000fa00fe31c0da1
62d920
// 一个字节 PPS的个数
01
// PPS的长度
0004
// 实际的PPS 以0x68开头
68eb7352
Video Chunk 举例2 关键帧的Chunk
050000000009590901000000 // 12字节的RTMP Chunk Header
17 // 1: keyframe 7:AVC 表示是AVC的关键帧
01 // 0x01: 表明当前Packet的类型是 NALU
000078
000000020910
// 4个字节 SPS的长度
0000002b
// 实际的SPS 以0x67开头
674d4028965200f0044f
cbff88700b4008000003
00080000030197010003
e800000fa00fe31c0da1
62d920
// 4个字节 PPS的长度
00000004
68eb7352 // 实际的PPS
00000016
06000980009e34000003000040010500000300002880
000008f9 // 关键帧的数据长度(从后续一直到结尾)
658880400afec077814b449b525dc855ff7a0ea8aad586c5
00000300000300000300000300003ebfcc2647000003000
0145000000898000004dc0000030350000003032400000
3038800000303f8000004c80000086800001010000018a
000003b0000030000030000030000030000030000
... // 由于数据量比较大 此处略去若干字节
RTMP Audio Chunk (AAC)