目录
- 1、前言
- 免责声明
- 2、相关方案推荐
- 本博已有的 SDI 编解码方案
- 本方案的SDI图像缩放应用
- 本方案的SDI图像缩放+视频拼接应用
- 本方案的SDI图像缩放+UDP网络视频发送应用
- 本方案的SDI视频编码输出应用
- 本方案的SDI视频编码图像缩放+视频拼接输出应用
- 本方案的SDI视频编码SFP光口收发应用
- FPGA的SDI视频编解码项目培训
- 3、详细设计方案
- 设计原理框图
- SDI 相机
- Gv8601a 均衡器
- GTX 解串与串化
- SMPTE SD/HD/3G SDI IP核
- BT1120转RGB
- 图像缓存
- VGA时序
- HDMI输出
- RGB转BT1120
- Gv8500 驱动器
- SDI转HDMI盒子
- 工程源码架构
- 4、工程源码1详解-->HD-SDI转HDMI
- 5、工程源码2详解-->HD-SDI转HD-SDI
- 6、工程源码3详解-->HD-SDI转3G-SDI
- 7、工程移植说明
- vivado版本不一致处理
- FPGA型号不一致处理
- 其他注意事项
- 8、上板调试验证
- 准备工作
- 输出视频演示
- 9、福利:工程代码的获取
FPGA高端项目:FPGA实现SDI视频编解码工程解决方案,提供3套工程源码和技术支持
1、前言
目前FPGA实现SDI视频编解码有两种方案:一是使用专用编解码芯片,比如典型的接收器GS2971,发送器GS2972,优点是简单,比如GS2971接收器直接将SDI解码为并行的YCrCb422,GS2972发送器直接将并行的YCrCb422编码为SDI视频,缺点是成本较高,可以百度一下GS2971和GS2972的价格;另一种方案是使用FPGA逻辑资源部实现SDI编解码,利用Xilinx系列FPGA的GTP/GTX资源实现解串,利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码,优点是合理利用了FPGA资源,GTP/GTX资源不用白不用,缺点是操作难度大一些,对FPGA开发者的技术水平要求较高。有意思的是,这两种方案在本博这里都有对应的解决方案,包括硬件的FPGA开发板、工程源码等等。
本设计基于Xilinx的Kintex7-523T中端FPGA开发板实现SDI视频编解码,输入源为一个HD-SDI相机,也可以使用SD-SDI或者3G-SDI相机,因为本设计是三种SDI视频自适应的;同轴的SDI视频通过同轴线连接到FPGA开发板的BNC座子,然后同轴视频经过板载的Gv8601a芯片实现单端转差分和均衡EQ的功能;然后差分SDI视频信号进入FPGA内部的GTX高速资源,实现数据高速串行到并行的转换,本博称之为解串;解串后的并行视频再送入Xilinx系列FPGA特有的SMPTE SD/HD/3G SDI IP核,进行SDI视频解码操作并输出BT1120视频,至此,SDI视频解码操作已经完成,可以进行常规的图像处理操作了;本设计的目的是输出解码的SDI视频,针对目前市面上的主流项目需求,本博设计了两种输出方式,一种是HDMI输出,另一种是SDI输出,这两种方式都需要对解码BT1120视频进行转RGB和图像缓存操作;本设计使用BT1120转RGB模块实现视频格式转换;使用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;图像从DDR3读出后,进入HDMI发送模块输出HDMI显示器,这是HDMI输出方式;或者经过RGB转BT1120模块实现视频格式转换,然后视频进入SMPTE SD/HD/3G SDI IP核,进行SDI视频编码操作并输出SDI视频,再经过FPGA内部的GTX高速资源,实现并行数据到高速串行的转换,本博称之为串化,差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能,SDI视频通过FPGA开发板的BNC座子输出,通过同轴线连接到SDI转SDI盒子连接到HDMI显示器,这是SDI输出方式;本博客提供3套工程源码,具体如下:
现对上述三套工程源码做如下解释,方便读者理解:
工程源码1:
输入视频为HD-SDI相机,输入分辨率为1920x1080@30Hz,经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缓存+HDMI输出模块后,以HDMI接口方式输出,输出分辨率为1920x1080@60Hz;适用于SDI转HDMI的项目需求;
工程源码2:
输入视频为HD-SDI相机,输入分辨率为1920x1080@30Hz,经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缓存+RGB转BT1120+SMPTE SDI编码+GTX串化,以SDI接口方式输出,输出分辨率为1920x1080@30Hz,这是HD-SDI模式;适用于SDI转SDI的项目需求;需要注意的是,一般的显示器很难显示1920x1080@30Hz的视频,要显示这个分辨率,很吃显示器;
工程源码3:
输入视频为HD-SDI相机,输入分辨率为1920x1080@30Hz,经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缓存+RGB转BT1120+SMPTE SDI编码+GTX串化,以SDI接口方式输出,输出分辨率为1920x1080@60Hz,这是3G-SDI模式;适用于SDI转SDI的项目需求;
本文详细描述了Xilinx的Kintex7-523T中端FPGA开发板实现SDI视频编解码,工程代码编译通过后上板调试验证,可直接项目移植,适用于在校学生做毕业设计、研究生项目开发,也适用于在职工程师做项目开发,可应用于医疗、军工等行业的数字成像和图像传输领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
关于MIPI协议,请自行搜索,csdn就有很多大佬讲得很详细,我就不多写这块了;
免责声明
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
2、相关方案推荐
本博已有的 SDI 编解码方案
我的博客主页开设有SDI视频专栏,里面全是FPGA编解码SDI的工程源码及博客介绍;既有基于GS2971/GS2972的SDI编解码,也有基于GTP/GTX资源的SDI编解码;既有HD-SDI、3G-SDI,也有6G-SDI、12G-SDI等;专栏地址链接:点击直接前往
本方案的SDI图像缩放应用
SDI视频解码后,可以进行多种图像处理,本应用就是图像缩放,有的项目需要对SDI图像进行缩放,本应用高度符合项目需求,提供3套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明请参考我之前的博客,博客链接如下:
点击之前前往
本方案的SDI图像缩放+视频拼接应用
SDI视频解码后,可以进行多种图像处理,本应用就是图像缩放+视频拼接,有的项目需要对SDI图像进行缩放拼接,本应用高度符合项目需求,提供8套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明等待本博更新对用的博客。。。
本方案的SDI图像缩放+UDP网络视频发送应用
SDI视频解码后,可以进行多种图像处理,本应用就是图像缩放+UDP视频发送,有的项目需要对SDI图像进行网络传输,本应用高度符合项目需求,提供1套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明等待本博更新对用的博客。。。
本方案的SDI视频编码输出应用
有些项目不需要SDI视频解码,只需要SDI编码输出,比如SDI相机,本应用就针对此类项目,将其他视频转换为SDI视频发送出去,提供10套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明等待本博更新对用的博客。。。
本方案的SDI视频编码图像缩放+视频拼接输出应用
有些项目不需要SDI视频解码,只需要SDI编码输出,另加一些图像处理的应用,比如SDI相机,本应用就针对此类项目,将其他视频进行图像缩放+视频拼接后转换为SDI视频发送出去,提供8套工程源码,具体如下:
上述所有工程源码均已上板调试通过,详细设计说明等待本博更新对用的博客。。。
本方案的SDI视频编码SFP光口收发应用
有些项目不需要SDI视频解码,只需要SDI编码输出,但对SDI视频输出方式有要求,比如要用GT高速接口的SFP光口收发,本方案就是解决此类项目,提供1套工程源码,具体如下:
FPGA的SDI视频编解码项目培训
基于目前市面上FPGA的SDI视频编解码项目培训较少的特点,本博专门开设了FPGA的SDI视频编解码高级项目培训班,专门培训SDI视频的编解码,具体培训计划细节如下:
1、我发你上述共计31套工程源码和对应的工程设计文档网盘链接,你保存下载,作为培训的核心资料;
2、你根据自己的实际情况安装好对应的开发环境,然后对着设计文档进行浅层次的学习;
3、遇到不懂的随时问我,包括代码、职业规划、就业咨询、人生规划、战略规划等等;
4、每周末进行一次腾讯会议,我会检查你的学习情况和面对面沟通交流;
5、你可以移植代码到你自己的FPGA开发板上跑,如果你没有板子,你根据你自己的需求修改代码后,编译工程,把bit发我,我帮你下载到我的板子上验证;或者你可以买我的开发板;
3、详细设计方案
设计原理框图
SDI转HDMI输出的设计原理框图如下:
SDI转SDI输出的设计原理框图如下:
SDI 相机
我用到的是SDI相机为HD-SDI相机,输出分辨率为1920x1080@30Hz,本工程对SDI相机的选择要求范围很宽,可以是SD-SDI、HD-SDI、3G-SDI,因为很设计对这三种SDI视频是自动识别并自适应的;如果你的手里没有SDI相机,也可以去某宝买HDMI转SDI盒子,一百多块钱就可以搞定,使用笔记本电脑模拟视频源,用HDMI线连接HDMI转SDI盒子,输出SDI视频做事视频源,可以模拟SDI相机;
Gv8601a 均衡器
Gv8601a芯片实现单端转差分和均衡EQ的功能,这里选用Gv8601a是因为借鉴了了Xilinx官方的方案,当然也可以用其他型号器件。Gv8601a均衡器原理图如下:
GTX 解串与串化
本设计使用Xilinx特有的GTX高速信号处理资源实现SDI差分视频信号的解串与串化,对于SDI视频接收而言,GTX起到解串的作用,即将输入的高速串行的差分信号解为并行的数字信号;对于SDI视频发送而言,GTX起到串化的作用,即将输入的并行的数字信号串化为高速串行的差分信号;GTX的使用一般需要例化GTX IP核,通过vivado的UI界面进行配置,但本设计需要对SD-SDI、HD-SDI、3G-SDI视频进行自动识别和自适应处理,所以需要使得GTX具有动态改变线速率的功能,该功能可通过DRP接口配置,也可通过GTX的rate接口配置,所以不能使用vivado的UI界面进行配置,而是直接例化GTX的GTXE2_CHANNEL和GTXE2_COMMON源语直接使用GTX资源;此外,为了动态配置GTX线速率,还需要GTX控制模块,该模块参考了Xilinx的官方设计方案,具有动态监测SDI模式,动态配置DRP等功能;该方案参考了Xilinx官方的设计;GTX 解串与串化模块代码架构如下:
SMPTE SD/HD/3G SDI IP核
SMPTE SD/HD/3G SDI IP核是Xilinx系列FPGA特有的用于SDI视频编解码的IP,该IP配置使用非常简单,vivado的UI界面如下:
SMPTE SD/HD/3G SDI IP核必须与GTX配合才能使用,对于SDI视频接收而言,该IP接收来自于GTX的数据,然后将SDI视频解码为BT1120视频输出,对于SDI视频发送而言,该IP接收来自于用户侧的的BT1120视频数据,然后将BT1120视频编码为SDI视频输出;该方案参考了Xilinx官方的设计;SMPTE SD/HD/3G SDI IP核代码架构如下:
BT1120转RGB
BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频,它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:
图像缓存
使用本博常用的FDMA图像缓存架构实现图像3帧缓存,缓存介质为板载的DDR3;FDMA图像缓存架构由FDMA、FDMA控制器、缓存帧选择器构成、Xilinx MIG IP核构成;图像缓存使用Xilinx vivado的Block Design设计,如下图:
关于FDMA更详细的介绍,请参考我之前的博客,博文链接如下:
点击直接前往
VGA时序
VGA时序模块负责产生VGA时序,他有两个作用,一是控制FDMA控制器从DDR3中读出缓存的视频,二是将同步后的VGA视频送入下一级模块,在HDMI输出方式下VGA时序模块的像素时钟由用户提供;在SDI输出方式下VGA时序模块的像素时钟由SMPTE SD/HD/3G SDI IP核的发送用户时钟提供,在不同的SDI模式下像素时钟不同,比如在3G-SDI模式下像素时钟为148.5M,在HD-SDI的720P@60Hz模式下像素时钟为74.25M;HDMI输出方式下的VGA时序模块代码架构如下:
SDI输出方式下的VGA时序模块代码架构如下:
本博使用的FPGA开发板有两路SDI输出接口,所以SDI输出方式下的VGA时序模块例化了两个;
HDMI输出
在HDMI输出方式下,使用HDMI输出模块将RGB视频编码为HDMI差分信号,HDMI输出模块采用verilog代码手写,可以用于FPGA的HDMI发送应用,关于这个模块,请参考我之前的博客,博客地址:点击直接前往
RGB转BT1120
在SDI输出方式下需要使用该模块;RGB转BT1200模块的作用是将用户侧的RGB视频转换为BT1200视频输出给SMPTE SD/HD/3G SDI IP核;RGB转BT1120模块由RGB888转YUV444模块、YUV444转YUV422模块、SDI视频编码模块、数据嵌入模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:
Gv8500 驱动器
Gv8500芯片实现差分转单端和增强驱动的功能,这里选用Gv8500是因为借鉴了了Xilinx官方的方案,当然也可以用其他型号器件。Gv8500驱动器原理图如下:
SDI转HDMI盒子
在SDI输出方式下需要使用到SDI转HDMI盒子,因为我手里的显示器没有SDI接口,只有HDMI接口,为了显示SDI视频,只能这么做,当然,如果你的显示器有SDI接口,则可直接连接显示,我的SDI转HDMI盒子在某宝购买,不到100块;
工程源码架构
本博客提供3套工程源码,工程1使用HDMI输出,工程2和工程3使用SDI输出,3套代码的vivado Block Design设计如下:
Block Design设计为图像缓存架构的部分:
使用HDMI输出的工程源码架构如下(工程1):
使用SDI输出的工程源码架构如下(工程2、工程3):
4、工程源码1详解–>HD-SDI转HDMI
开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:HD-SDI相机,分辨率1920x1080@30Hz;
输出:HDMI ,分辨率1920x1080@60Hz;
工程作用:此工程目的是让读者掌握FPGA实现SDI转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容;
工程的资源消耗和功耗如下:
5、工程源码2详解–>HD-SDI转HD-SDI
开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:HD-SDI相机,分辨率1920x1080@30Hz;
输出:HD-SDI ,分辨率1920x1080@30Hz;
工程作用:此工程目的是让读者掌握FPGA实现SDI转SDI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容;
工程的资源消耗和功耗如下:
6、工程源码3详解–>HD-SDI转3G-SDI
开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:HD-SDI相机,分辨率1920x1080@30Hz;
输出:3G-SDI ,分辨率1920x1080@60Hz;
工程作用:此工程目的是让读者掌握FPGA实现SDI转SDI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容;
工程的资源消耗和功耗如下:
7、工程移植说明
vivado版本不一致处理
1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
3:如果你的vivado版本高于本工程vivado版本,解决如下:
打开工程后会发现IP都被锁住了,如下:
此时需要升级IP,操作如下:
FPGA型号不一致处理
如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;
其他注意事项
1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;
8、上板调试验证
准备工作
需要准备的器材如下:
FPGA开发板;
SDI摄像头;
SDI转HDMI盒子;
HDMI显示器;
我的开发板了连接如下:
输出视频演示
以工程3,HD-SDI输入3G-SDI输出为例,输出如下:
SDI-3G-SDI-2024
9、福利:工程代码的获取
福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下: