一,网上很多人都在讲dts和pts,但是么有几个人把这个问题讲清楚,讲明白的,甚至很多做了很多年的音视频开发的人都搞不明白,今天我把原理图整理下,和大家一起学习,如有问题,欢迎批评指正
那么对这两个概念先说明下
- DTS(Decoding Time Stamp):即解码时间戳,这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
- PTS(Presentation Time Stamp):即显示时间戳,这个时间戳用来告诉播放器该在什么时候显示这一帧的数据
- GOP:(Group of Picture)MPEG 所使用的一种视频压缩技术
虽然 DTS、PTS 是用于指导播放端的行为,但它们是在编码的时候由编码器生成的。
在视频采集的时候是录制一帧就编码一帧发送一帧的,在编码的时候会生成 PTS,这里需要特别注意的是 frame(帧)的编码方式,在通常的场景中,编解码器编码一个 I 帧,然后向前跳过几个帧,用编码 I 帧作为基准帧对一个未来 P 帧进行编码,然后跳回到 I 帧之后的下一个帧。编码的 I 帧和 P 帧之间的帧被编码为 B 帧。之后,编码器会再次跳过几个帧,使用第一个 P 帧作为基准帧编码另外一个 P 帧,然后再次跳回,用 B 帧填充显示序列中的空隙。这个过程不断继续,每 12 到 15 个 P 帧和 B 帧内插入一个新的 I 帧。P 帧由前一个 I 帧或 P 帧图像来预测,而 B 帧由前后的两个 P 帧或一个 I 帧和一个 P 帧来预测,因而编解码和帧的显示顺序有所不同,如下所示:
假设这里视频采集到的帧是这样子的
I B B P B B P
1
那么它的 PTS 对应的就是
PTS:1 2 3 4 5 6 7
1
编码顺序是:
1 4 2 3 7 5 6
1
推流顺序也是按照编码顺序去推的,即
I P B B P B B
1
那么接收断收到的视频流也就是
I P B B P B B
1
这时候去解码,也是按照收到的视频流一帧一帧去解的了,接收一帧解码一帧,因为在编码的时候已经按照 I、B、P 的依赖关系编好了,接收到数据直接解码就好了。
那么解码的顺序就是:
I P B B P B B
DTS:1 2 3 4 5 6 7
PTS:1 4 2 3 7 5 6
可以看到解码出来对应的 PTS 不是顺序的,为了正确显示视频流,这时候我们就必须按照 PTS 调整解码后的 frame(帧),即
I B B P B B P
DTS:1 3 4 2 6 7 5
PTS:1 2 3 4 5 6 7
其实就是把pts按照顺序递增的方式排列下,
总结而言,在音视频中,PTS通常是按照递增的顺序排列的,以保持正确的时间顺序和播放同步。然而,在特殊情况下,PTS可能会出现不连续或调整的情况,但这些操作通常会保证音视频的同步和正确的显示