一、概念
SPS即Sequence Paramater Set,又称作序列参数集。SPS中保存了一组编码视频序列(Coded video sequence)的全局参数。
二、定义
H.264标准协议中规定的SPS格式位于文档的7.3.2.1.1,如下图所示:
1、profile_idc
根据《T-REC-H.264-201402-I!!PDF-E》的附件A.2定义,profiles有如下类型:
profile_idc的值用来确定码流符合哪一种档次。根据Annex A协议定义,整理表格如下:
profiles | profile_idc |
baseline profile | 66 |
main profile | 77 |
extended profile | 88 |
High profile | 100 |
High 10 profile | 110 |
High 4:2:2 profile | 122 |
High 10 Intra profile | profile_idc=110 && constraint_set3_flag=1 |
High 4:2:2 Intra profile | profile_idc = 122 && constraint_set3_flag = 1 |
High 4:4:4 Intra profile | profile_idc = 244 && constraint_set3_flag =1 |
CAVLC 4:4:4 Intra profile | 44 |
2、constraint_set0_flag - constraint_set3_flag
辅助profile_idc确定编码的profiles。
constraint_set0_flag 等于1是指比特流遵从A.2.1节中的所有规定。constraint_set0_flag 等于0是指该比特流可以遵从也可以不遵从A.2.1节中的所有规定。
3、level_idc
标识当前码流的Level。编码的Level定义了某种条件下的最大视频分辨率、最大视频帧率等参数,码流所遵从的level由level_idc指定。
例如码流中,level_idc = 0x29 = 41,因此码流的级别为4.1。
4、seq_parameter_set_id
用于识别图像参数集所指的序列参数集。seq_parameter_set_id值在0-31的范围内,包括0和31。
使用无符号整数指数哥伦布码编码的语法元素(具体方法需参见9.1指数哥伦布编码的解析过程)与Slice head的pic_parameter_set_id对应。
我们使用ffmpeg进行解析的时候,经常碰到non-existing SPS/PPS,如下打印:
实际上就是GOP的SPS和PPS丢失,再解析视频帧,报的无法解析错误。ffmpeg代码分析如下:
ff_h264_decode_seq_parameter_set、ff_h264_decode_picture_parameter_set会读取sps_id、pps_id。申请对应缓存
然后h264_slice_header_parse解析视频帧时,会判断该缓存是否正常申请:
没有正常申请,说明SPS、PPS丢失,无法正常解码,丢失该帧。
5、log2_max_frame_num_minus4 取值范围0-12,包括0和12
按照如下公式可得出与frame_num相关的变量MaxFrameNum的值:
6、pic_order_cnt_type
是指解码图像顺序picture order count(POC)的计数方法(如 8.2.1 节所述)。POC是另一种计量图像序号的方式,与frame_num有着不同的计算方法。该语法元素的取值为0、1或2。
7、log2_max_pic_order_cnt_lsb_minus4
表示用于8.2.1节规定的图像顺序数解码过程中的变量MaxPicOrderCntLsb的值,公式如下:
8、num_ref_frames
num_ref_frames规定了可能在视频序列中任何图像帧间预测的解码过程中用到的短期参考帧和长期参考帧、互补参考场对以及不成对的参考场的最大数量。num_ref_frames 字段也决定了 8.2.5.3 节规定的滑动窗口操作的大小。num_ref_frames 的取值范围应该在 0 到 MaxDpbSize (参见 A.3.1 或 A.3.2 节的定义)范围内,包括 0 和MaxDpbSize。
9、gaps_in_frame_num_value_allowed_flag
gaps_in_frame_num_value_allowed_flag 表示 7.4.3 节给出的 frame_num 的允许值以及在 8.2.5.2 节给出的frame_num 值之间存在推测的差异的情况下进行的解码过程。
10、pic_width_in_mbs_minus1
11、pic_height_in_map_units_minus1
12、frame_mbs_only_flag
frame_mbs_only_flag=0:表示编码视频序列的编码图像可能是编码场或编码帧。frame_mbs_only_flag=1:表示编码视频序列的每个编码图像都是一个仅包含帧宏块的编码帧。
13、direct_8x8_inference_flag
direct_8x8_inference_flag表示在8.4.1.2节中规定的B_Skip、B_Direct_16x16和B_Direct_8x8亮度运动矢量的计算过程使用的方法。当frame_mbs_only_flag等于0时direct_8x8_inference_flag应等于1。
14、frame_cropping_flag
frame_cropping_flag=1:表示帧剪切偏移参数遵从视频序列参数集中的下一个值。frame_cropping_flag=0:表示不存在帧剪切偏移参数。
15、vui_parameters_present_flag
vui_parameters_present_flag=1:表示存在如附录E提到的vui_parameters()语法结构。
vui_parameters_present_flag=0:表示不存在如附录E提到的vui_parameters()语法结构。