1.ORTP的引入
1.1、视频网络传输的2种方式
(1)基于下载:http or ftp(网站播放视频,追求清晰度,哪怕时间晚一点)
(2)基于实时:RTP/RTSP/RTCP(直播、监控,追求实时,哪怕画面清晰度差一点)
1.2、ORTP的介绍
(1)openRTP,用C实现的一个RTP库(其实还有C++实现的,JAVA等实现的)
(2)RTP(及RTCP)的实现有国际标准RFC3550规定,只要符合协议谁都可以自己写一个
(3)实质是一个视频服务器,工作时客户端和服务器实时传递视频数据
(4)一般认为RTP工作在传输层,但是其实RTP比TCP/UDP高一个层次
2.ORTP库的移植
2.1、准备源码
(1)下载ortp源码:https://github.com/dmonakhov/ortp
(2)存放到临时工作目录并解压
2.2、源码修改
(1)增加H.264的payload支持。
在src/avprofile.c中357行添加:
rtp_profile_set_payload(profile,96,&payload_type_h264);
2.3、配置和编译、安装
(1)进入ortp目录执行./autogen.sh
(2)错误1:./autogen.sh: line 44: libtoolize: command not found
解决:sudo apt-get install libtool*
(2)错误2:libtoolize: error: Please install GNU M4, or ‘export M4=/path/to/gnu/m4’.
解决:sudo apt-get install m4
(3)错误3:Automake - aclocal: command not found
解决:sudo apt-get install automake
(4)继续执行./configure --prefix=/tmp/ortp --host=arm-hisiv300-linux
(5)make && make install 编译并安装
2.4、到/tmp/ortp目录下查看移植好的库和头文件
3.RTP传输视频实战
3.1、在官方SDK的sample中添加rtp传输代码
(1)venc/sample_venc.c中,设置:s32ChnNum = 1;
(2)common/sample_common_venc.c中,改了很多
3.2、重新编译sample
(1)复制ortp头文件“目录”到mpp/include目录下
(2)修改venc中Makefile,添加libortp动态库的链接支持
(3)make编译
3.3、开发板中部署并运行测试
(1)部署libortp.so等动态库到开发板中/usr/lib目录下
(2)在nfs中运行新的sample程序
(3)vlc中打开配置好的sdp文件,看到实时图像就说明网络传输成功了
demo.sdp文件内容:
m=video 8080 RTP/AVP 96
a=rtpmap:96 H264
a=framerate:25
c=IN IP4 192.168.1.20
# sdp文件是VLC软件的配置文件,它告诉VLC播放器接收到的数据是怎样的。
# m=vidio,表示这是视频信息;8080是端口;
# RTP/AVP 96,表明传输过来的网络协议;96表示是h264的。
# a=framerate:25 这表示帧率;
# c=IN IP4 192.168.1.20 表示VLC所在主机的IP地址(window的ip地址)
4.ORTP库的源码分析
4.1、ORTP库概览
(1)库本身没有main,提供一堆功能函数,都在src目录下
(2)库的使用给了案例,有main,在src/tests目录下
(3)相关数据结构和头文件在include/ortp目录下
(4)ortp实现了rtp和rtcp协议,前者负责传输,后者负责控制和同步协调
4.2、ORTP库的使用案例
(1)src/tests/rtpsend.c
#include <ortp/ortp.h>
#include <signal.h>
#include <stdlib.h>
#ifndef _WIN32
#include <sys/types.h>
#include <sys/time.h>
#include <stdio.h>
#endif
int runcond=1;
void stophandler(int signum)
{
runcond=0;
}
static const char *help="usage: rtpsend filename dest_ip4addr dest_port [ --with-clockslide <value> ] [ --with-jitter <milliseconds>]\n";
int main(int argc, char *argv[])
{
RtpSession *session;
unsigned char buffer[160];
int i;
FILE *infile;
char *ssrc;
uint32_t user_ts=0;
int clockslide=0;
int jitter=0;
if (argc<4){
printf("%s", help);
return -1;
}
ortp_init();//该函数主要用来初始化ORTP库
ortp_scheduler_init();//ORTP调度器的初始化,调度器用于调度会话
ortp_set_log_level_mask(ORTP_MESSAGE|ORTP_WARNING|ORTP_ERROR);//记录log信息
session=rtp_session_new(RTP_SESSION_SENDONLY); //创建会话,体现在这里是创建一个结构体
rtp_session_set_scheduling_mode(session,1);//被调度模式
rtp_session_set_blocking_mode(session,1);//阻塞模式
rtp_session_set_connected_mode(session,TRUE);
rtp_session_set_remote_addr(session,argv[2],atoi(argv[3]));//设置要发出去的IP地址和端口号
rtp_session_set_payload_type(session,0);//设置当前会话的格式---》H.264
ssrc=getenv("SSRC");//SSRC是用于区分不同会话之间的标记
if (ssrc!=NULL) {
printf("using SSRC=%i.\n",atoi(ssrc));
rtp_session_set_ssrc(session,atoi(ssrc));
}
infile=fopen(argv[1],"r");//打开编码文件
if (infile==NULL) {
perror("Cannot open file");
return -1;
}
signal(SIGINT,stophandler);
while( ((i=fread(buffer,1,160,infile))>0) && (runcond) )//读文件内容到buffer
{
rtp_session_send_with_ts(session,buffer,i,user_ts);//rtp包的发送函数,user_ts:时间戳,发送方的发送这个包的时间
user_ts+=160;
if (clockslide!=0 && user_ts%(160*50)==0){
ortp_message("Clock sliding of %i miliseconds now",clockslide);
rtp_session_make_time_distorsion(session,clockslide);
}
/*this will simulate a burst of late packets */
if (jitter && (user_ts%(8000)==0)) {
struct timespec pausetime, remtime;
ortp_message("Simulating late packets now (%i milliseconds)",jitter);
pausetime.tv_sec=jitter/1000;
pausetime.tv_nsec=(jitter%1000)*1000000;
while(nanosleep(&pausetime,&remtime)==-1 && errno==EINTR){
pausetime=remtime;
}
}
}
fclose(infile);
rtp_session_destroy(session);
ortp_exit();
ortp_global_stats_display();
return 0;
}
session:会话,一个发射端和一个接收端之间的通信,ORTP库同时支持多路会话,RTP通过会话来管理数据发送和接收。
会话的本质,是RtpSession这个结构体类型的实例化(或者这个类型的一个变量),比如这里就定义了一个RtpSession类型的指针变量session。
创建会话用rtp_session_new函数,发送数据包用rtp_session_send_with_ts函数,而底层真正干活的还是socket接口那一套,参考rtpsession_inet.c文件。
(2)ortp_init及av_profile_init
该函数主要用来初始化ORTP库
void ortp_init()
{
if (ortp_initialized) return;
ortp_initialized++; //防止重复调用
av_profile_init(&av_profile);//音频视频的规范 初始化
ortp_global_stats_reset();//一些全局变量清0
init_random_number_generator();//初始随机数生成器
ortp_message("oRTP-" ORTP_VERSION " initialized.");
}
其中主要是av_profile_init函数,我们来重点分析这个函数。此函数记录着ORTP可以支持哪些会话格式,当需要支持新的会话格式(譬如h.264)时,只需要在该函数里添加相应的内容即可。
void av_profile_init(RtpProfile *profile)
{
rtp_profile_clear_all(profile);
profile->name="AV profile";
rtp_profile_set_payload(profile,0,&payload_type_pcmu8000);
rtp_profile_set_payload(profile,1,&payload_type_lpc1016);
rtp_profile_set_payload(profile,3,&payload_type_gsm);
rtp_profile_set_payload(profile,7,&payload_type_lpc);
rtp_profile_set_payload(profile,4,&payload_type_g7231);
rtp_profile_set_payload(profile,8,&payload_type_pcma8000);
rtp_profile_set_payload(profile,9,&payload_type_g722);
rtp_profile_set_payload(profile,10,&payload_type_l16_stereo);
rtp_profile_set_payload(profile,11,&payload_type_l16_mono);
rtp_profile_set_payload(profile,18,&payload_type_g729);
rtp_profile_set_payload(profile,31,&payload_type_h261);
rtp_profile_set_payload(profile,32,&payload_type_mpv);
rtp_profile_set_payload(profile,34,&payload_type_h263);
rtp_profile_set_payload(profile,96,&payload_type_h264);
}
(3)ortp_scheduler_init
该函数是ORTP调度器或者说仲裁机构(一段代码),功能是在一个任务中完成多个会话的发送和接收,类似于select。
4.3、ORTP的一些小细节
(1)port.c中对OS的常用机制(任务创建和销毁、进程管理和信号量等)进行了封装,便于将ortp移植到不同平台中
(2)utils.c中实现了一个双向链表
(3)str_util.c中实现了一个队列管理
(4)rtpparse.c和rtcpparse.c文件实现了解析收到的rtp数据包的部分
(5)jitterctl.c中实现了jitter buffer来防抖。jitter buffer技术是ip 音视频通信里相对比较高级的主题,jitter buffer模块好坏通常是衡量一个voip客户端/服务器好坏的技术点之一,尤其是在网络抖动比较严重,如3g, wifi环境,数据包的rtt值不均衡往往会导致语音卡顿,丢字等现象,jitter buffer 模块通过缓存一段数据包,把数据包重排,并均匀的送给播放端,一个好的jitter buffer实现通长是动态调整缓存大小的,在网络延迟大,抖动严重时会动态增加缓存大小,在网络恢复时动态减小缓存大小以减少端到端的播放延迟。
5.RTP发送实验源码分析
(1)在SAMPLE_COMM_VENC_GetVencStreamProc函数的step2之前,添加下面代码:
HI_VOID* SAMPLE_COMM_VENC_GetVencStreamProc(HI_VOID *p)
{
//省略部分代码
#if ORTP_ENABLE
/***rtp init****/
pRtpSession = rtpInit( LOCAL_HOST_IP ,8080);
//LOCAL_HOST_IP 宏为 "192.168.1.20"
if (pRtpSession==NULL)
{
printf( "error rtpInit" );
exit(-1);
return 0;
}
#endif
/******************************************
step 2: Start to get streams of each channel.
***********************************************/
//省略部分代码
上面调用了rtpInit函数,这个函数主要用来初始化RTP及其他参数,函数内容如下。分析可知,它和ortp-master/src/tests/rtpsend.c文件中main函数部分代码很类似。
/** 初始化
*
* 主要用于对ortp以及其它参数进行初始化
* @param: char * ipStr 目的IP地址描述串
* @param: int port 目的端RTP监听端口
* @return: RtpSession * 返回指向RtpSession对象的指针,如果为NULL,则初始化失败
* @note:
*/
RtpSession * rtpInit( char * ipStr, int port)
{
RtpSession *session;
char *ssrc;
printf("********oRTP for H.264 Init********\n");
ortp_init();
ortp_scheduler_init();
ortp_set_log_level_mask(ORTP_MESSAGE|ORTP_WARNING|ORTP_ERROR);
session=rtp_session_new(RTP_SESSION_SENDONLY);
rtp_session_set_scheduling_mode(session,1);
rtp_session_set_blocking_mode(session,0);
//rtp_session_set_connected_mode(session,TRUE);
rtp_session_set_remote_addr(session,ipStr,port);
rtp_session_set_payload_type(session,Y_PLOAD_TYPE);
ssrc=getenv("SSRC");
if (ssrc!=NULL) {
printf("using SSRC=%i.\n",atoi(ssrc));
// 设置输出流的SSRC。不做此步的话将会给个随机值
rtp_session_set_ssrc(session,atoi(ssrc));
}
return session;
}
(2)修改SAMPLE_COMM_VENC_SaveH264函数,如下所示:
/******************************
* funciton : save H264 stream
*******************************/
HI_S32 SAMPLE_COMM_VENC_SaveH264(FILE* fpH264File, VENC_STREAM_S *pstStream)
{
HI_S32 i;
for (i = 0; i < pstStream->u32PackCount; i++)
{
#if ORTP_ENABLE//使用ORTP库
rtpSend(pRtpSession,pstStream->pstPack[i].pu8Addr, pstStream->pstPack[i].u32Len);
#else
fwrite(pstStream->pstPack[i].pu8Addr+pstStream->pstPack[i].u32Offset,pstStream->pstPack[i].u32Len-pstStream->pstPack[i].u32Offset, 1, fpH264File);
fflush(fpH264File);
#endif
}
return HI_SUCCESS;
}
上面调用了rtpSend函数,这个函数主要用来发送RTP数据包。该函数位于修改后的/sample_comm_venc.c文件中,内容如下。
/** 发送rtp数据包
*
* 主要用于发送rtp数据包
* @param: RtpSession *session RTP会话对象的指针
* @param: const char *buffer 要发送的数据的缓冲区地址
* @param: int len 要发送的数据长度
* @return: int 实际发送的数据包数目
* @note: 如果要发送的数据包长度大于BYTES_PER_COUNT,本函数内部会进行分包处理
*/
int rtpSend(RtpSession *session, char *buffer, int len)
{
int sendBytes = 0;
int status;
uint32_t valid_len=len-4;
unsigned char NALU=buffer[4];
//如果数据小于MAX_RTP_PKT_LENGTH字节,直接发送:单一NAL单元模式
if(valid_len <= MAX_RTP_PKT_LENGTH)//MAX_RTP_PKT_LENGTH为1400
{
sendBytes = rtp_session_send_with_ts(session,
&buffer[4],
valid_len,
g_userts);
//从第四个字节开始发包
}
else if (valid_len > MAX_RTP_PKT_LENGTH)
{
//切分为很多个包发送,每个包前要对头进行处理,如第一个包
valid_len -= 1;//之前-4,现在又-1,总共-5,跳过了h.264的包头
int k=0,l=0;
k=valid_len/MAX_RTP_PKT_LENGTH;
l=valid_len%MAX_RTP_PKT_LENGTH;
int t=0;
int pos=5;
if(l!=0)
{
k=k+1;
}//计算要发送的次数
while(t<k)//||(t==k&&l>0))
{
if(t<(k-1))//(t<k&&l!=0)||(t<(k-1))&&(l==0))//(0==t)||(t<k&&0!=l))//没到最后一个包
{
buffer[pos-2]=(NALU & 0x60)|28;//见以下参考博文
buffer[pos-1]=(NALU & 0x1f);
if(0==t)
{
buffer[pos-1]|=0x80;
}
sendBytes = rtp_session_send_with_ts(session,
&buffer[pos-2],
MAX_RTP_PKT_LENGTH+2,
g_userts);
t++;
pos+=MAX_RTP_PKT_LENGTH;
}
else //if((k==t&&l>0)||((t==k-1)&&l==0))//最后一个包
{
int iSendLen;
if(l>0)
{
iSendLen=valid_len-t*MAX_RTP_PKT_LENGTH;
}
else
iSendLen=MAX_RTP_PKT_LENGTH;
buffer[pos-2]=(NALU & 0x60)|28;
buffer[pos-1]=(NALU & 0x1f);
buffer[pos-1]|=0x40;
sendBytes = rtp_session_send_with_ts(session,
&buffer[pos-2],
iSendLen+2,
g_userts);
t++;
}
}
}
g_userts += DefaultTimestampIncrement;//timestamp increase
return len;
}
关于H264码流解析和NALU参考博文
:https://www.cnblogs.com/jingzhishen/p/3965868.html
6.可拓展的内容
(1)将这个ORTP库裁剪到最简化。
(2)修改一些参数做实验(譬如每包字节数、IP地址、端口号等)。