FPGA高端项目：FPGA基于GS2971的SDI视频接收+HLS图像缩放+多路视频拼接，提供4套工程源码和技术支持

1、前言

目前FPGA实现SDI视频编解码有两种方案：一是使用专用编解码芯片，比如典型的接收器GS2971，发送器GS2972，优点是简单，比如GS2971接收器直接将SDI解码为并行的YCrCb422，GS2972发送器直接将并行的YCrCb422编码为SDI视频，缺点是成本较高，可以百度一下GS2971和GS2972的价格；另一种方案是使用FPGA逻辑资源部实现SDI编解码，利用Xilinx系列FPGA的GTP/GTX资源实现解串，利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码，优点是合理利用了FPGA资源，GTP/GTX资源不用白不用，缺点是操作难度大一些，对FPGA开发者的技术水平要求较高。有意思的是，这两种方案在本博这里都有对应的解决方案，包括硬件的FPGA开发板、工程源码等等。

本设计基于Xilinx的Zynq7100-xc7z100ffg900-2中端FPGA开发板使用GS2971实现SDI视频接收+HLS图像缩放+多路视频拼接+转HDMI输出，输入源为一个HD-SDI相机，也可以使用SD-SDI或者3G-SDI相机，因为本设计是三种SDI视频自适应的；同轴的SDI视频通过同轴线连接到GS2971转接板，GS2971解码芯片将同轴的串行的SDI视频解码为并行的BT1120格式视频，至此，SDI视频解码操作已经完成，可以进行常规的图像处理操作了；本设计的目的是做HLS图像缩放+HLS多路视频拼接后输出解码的SDI视频，针对目前市面上的主流项目需求，本博设计了HDMI输出方式，需要进行BT1120视频转RGB+HLS图像缩放+HLS多路视频拼接+图像缓存操作；本设计使用BT1120转RGB模块实现视频格式转换；图像缩放采用HLS实现的图像缩放架构实现SDI的图像缩放操作，将原始的1920x1080分辨率的SDI视频缩小为960x540，当然，读者也可以缩放为其他分辨率；多路视频拼接方案使用Xilinx官方的Video Mixer IP核方案，该IP最多支持16路视频拼接；图像缓存使用Xilinx官方的VDMA架构，该架构简单灵活，输入接口为AXIS视频流，缓存介质为PS端DDR3；图像从DDR3读出后，进入HDMI发送模块输出HDMI显示器；本博客提供4套工程源码，具体如下，请点击图片放大查看：

现对上述4套工程源码做如下解释，方便读者理解：
工程源码15：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS2971解码+BT1120转RGB+HLS图像缩放+Video Mixer 2路视频拼接+VDMA图像缓存+HDMI输出模块后，以HDMI接口方式输出，图像缩放方案采用HLS方案，从1920x1080缩放为960x1080，然后将缩放后的视频复制为2份以模拟2路视频，再将这2路视频进行视频拼接，视频拼接方案采用Xilinx官方的Video Mixer方案；最后在HDMII 1920x1080的输出分辨率下叠加2路拼接视频，即2分屏显示；

工程源码16：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS2971解码+BT1120转RGB+HLS图像缩放+Video Mixer 4路视频拼接+VDMA图像缓存+HDMI输出模块后，以HDMI接口方式输出，图像缩放方案采用HLS方案，从1920x1080缩放为960x540，然后将缩放后的视频复制为4份以模拟4路视频，再将这4路视频进行视频拼接，视频拼接方案采用Xilinx官方的Video Mixer方案；最后在HDMII 1920x1080的输出分辨率下叠加4路拼接视频，即4分屏显示；

工程源码17：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS2971解码+BT1120转RGB+HLS图像缩放+Video Mixer 8路视频拼接+VDMA图像缓存+HDMI输出模块后，以HDMI接口方式输出，图像缩放方案采用HLS方案，从1920x1080缩放为480x540，然后将缩放后的视频复制为8份以模拟8路视频，再将这8路视频进行视频拼接，视频拼接方案采用Xilinx官方的Video Mixer方案；最后在HDMII 1920x1080的输出分辨率下叠加8路拼接视频，即8分屏显示；

工程源码18：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS2971解码+BT1120转RGB+HLS图像缩放+Video Mixer 16路视频拼接+VDMA图像缓存+HDMI输出模块后，以HDMI接口方式输出，图像缩放方案采用HLS方案，从1920x1080缩放为240x540，然后将缩放后的视频复制为16份以模拟16路视频，再将这16路视频进行视频拼接，视频拼接方案采用Xilinx官方的Video Mixer方案；最后在HDMII 1920x1080的输出分辨率下叠加16路拼接视频，即16分屏显示；

本文详细描述了Xilinx的Zynq7100-xc7z100ffg900-2 FPGA开发板使用GS2971实现SDI视频接收+HLS图像缩放+Video Mixer多路视频拼接+转HDMI输出，工程代码编译通过后上板调试验证，可直接项目移植，适用于在校学生做毕业设计、研究生项目开发，也适用于在职工程师做项目开发，可应用于医疗、军工等行业的数字成像和图像传输领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；
关于MIPI协议，请自行搜索，csdn就有很多大佬讲得很详细，我就不多写这块了；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

本博已有的 SDI 编解码方案

我的博客主页开设有SDI视频专栏，里面全是FPGA编解码SDI的工程源码及博客介绍；既有基于GS2971/GS2972的SDI编解码，也有基于GTP/GTX资源的SDI编解码；既有HD-SDI、3G-SDI，也有6G-SDI、12G-SDI等；专栏地址链接：
点击直接前往

本方案的SDI接收转HDMI输出应用

本方案采用GS2971接收SDI视频，然后进行图像缓存操作（图像缓存方案包括FDMA方案和VDMA方案，缓存介质包括PL端DDR3、PS端DDR3），最后以HDMI方式输出，提供3套工程源码，3套工程源码详情请参考“1、前言”中的截图，详细设计方案请参考我专门的博客，博客链接如下：
点击直接前往

本方案的SDI接收+图像缩放应用

本方案采用GS2971接收SDI视频，然后进行图像缩放操作（图像缩放方案包括纯verilog图像缩放方案和HLS图像缩放方案），再进行图像缓存操作（图像缓存方案包括FDMA方案和VDMA方案，缓存介质包括PL端DDR3、PS端DDR3），最后以HDMI方式输出，提供3套工程源码，3套工程源码详情请参考“1、前言”中的截图，详细设计方案请参考我专门的博客，博客链接如下：
点击直接前往

本方案的SDI接收+纯verilog图像缩放+纯verilog多路视频拼接应用

本方案采用GS2971接收SDI视频，然后进行图像缩放操作（图像缩放方案为纯verilog图像缩放），再进行多路视频拼接（包括2路、4路、8路、16路视频拼接，拼接方案为纯verilogFDMA方案，视频拼接和图像缓存为一个整体，缓存介质包括PL端DDR3、PS端DDR3），最后以HDMI方式输出，提供8套工程源码，8套工程源码详情请参考“1、前言”中的截图，详细设计方案请参考我专门的博客，博客链接如下：
点击直接前往

本方案的SDI接收+HLS动态字符叠加输出应用

本方案采用GS2971接收SDI视频，然后进行动态字符叠加（方案为HLS动态字符叠加），再进行图像缓存操作（图像缓存方案为VDMA方案，缓存介质包括PS端DDR3），最后以HDMI方式输出，提供1套工程源码，工程源码详情请参考“1、前言”中的截图，详细设计方案请等待我更新专门的博客；

本方案的SDI接收+HLS多路视频融合叠加应用

本方案采用GS2971接收SDI视频，然后进行多路视频融合叠加（方案为HLS多路视频融合叠加），再进行图像缓存操作（图像缓存方案为VDMA方案，缓存介质包括PS端DDR3），最后以HDMI方式输出，提供1套工程源码，工程源码详情请参考“1、前言”中的截图，详细设计方案请等待我更新专门的博客；

本方案的SDI接收+GTX 8b/10b编解码SFP光口传输

本方案采用GS2971接收SDI视频，然后进行8b/10b编解码作（8b/10b编解码方案为GTX高速接口方案，线速率为5G），再通过板载的SFP光口实现数据回环，再进行图像缓存操作（图像缓存方案为FDMA方案，缓存介质包括PL端DDR3、PS端DDR3），最后以HDMI方式输出，提供2套工程源码，2套工程源码详情请参考“1、前言”中的截图，详细设计方案请等待我更新专门的博客；

FPGA的SDI视频编解码项目培训

基于目前市面上FPGA的SDI视频编解码项目培训较少的特点，本博专门开设了FPGA的SDI视频编解码高级项目培训班，专门培训SDI视频的编解码，具体培训计划细节如下：
1、我发你上述全套工程源码和对应的工程设计文档网盘链接，你保存下载，作为培训的核心资料；
2、你根据自己的实际情况安装好对应的开发环境，然后对着设计文档进行浅层次的学习；
3、遇到不懂的随时问我，包括代码、职业规划、就业咨询、人生规划、战略规划等等；
4、每周末进行一次腾讯会议，我会检查你的学习情况和面对面沟通交流；
5、你可以移植代码到你自己的FPGA开发板上跑，如果你没有板子，你根据你自己的需求修改代码后，编译工程，把bit发我，我帮你下载到我的板子上验证；或者你可以买我的开发板；

3、详细设计方案

设计原理框图

4套工程源码设计原理框图如下，该设计采用HLS图像缩放+Video Mixer多路视频拼接+VDMA图像缓存方案：

SDI 相机

我用到的是SDI相机为HD-SDI相机，输出分辨率为1920x1080@30Hz，本工程对SDI相机的选择要求范围很宽，可以是SD-SDI、HD-SDI、3G-SDI，因为很设计对这三种SDI视频是自动识别并自适应的；如果你的手里没有SDI相机，也可以去某宝买HDMI转SDI盒子，一百多块钱就可以搞定，使用笔记本电脑模拟视频源，用HDMI线连接HDMI转SDI盒子，输出SDI视频做事视频源，可以模拟SDI相机；

GS2971

本设计采用GS2971芯片解码SDI，GS2971不需要软件配置，硬件电阻上下拉即可完成配置，本设计配置为输出BT1120格式视频，当然，你在设计电路时也可以配置为输出CEA861格式视频；GS2971硬件架构如下，提供PDF格式原理图：

BT1120转RGB

BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频，它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成，该方案参考了Xilinx官方的设计；BT1120转RGB模块代码架构如下：

HLS图像缩放详解

该方案采用HLS方案C++代码实现，并综合成RTL后封装为IP，可在vivado中调用该IP，关于这个方案详情，请参考我之前的博客，博客链接如下：
点击直接前往
该IP在vivado中的综合资源占用情况如下：

HLS图像缩放需要在SDK中运行驱动和用户程序才能正常工作，我在工程中给出了C语言程序，具体参考工程源码；

Video Mixer多路视频拼接

采用Xilinx官方的Video Mixer IP核实现多路视频拼接，Video Mixer最多只能实现16路视频拼接，以工程15的2路视频拼接为例，Video Mixer的资源消耗截图如下：

Video Mixer IP核UI配置界面如下：

Video Mixer需要在SDK中运行驱动和用户程序才能正常工作，我在工程中给出了C语言程序，具体参考工程源码；

VDMA图像缓存

图像缓存使用Xilinx官方的VDMA架构实现图像3帧缓存，缓存介质为板载的PS端DDR3；VDMA图像缓存架构由Video In to AXI4-Stream、VDMA、Zynq软核、Video Timing Controller、AXI4-Stream To Video Out构成；详情请参考后面的“工程源码架构小节”，VDMAIP核UI配置界面如下：

VDMA加需要在SDK中运行驱动和用户程序才能正常工作，我在工程中给出了C语言程序，具体参考工程源码；

HDMI输出

HDMI输出架构由VGA时序和HDMI输出模块构成，VGA时序负责产生输出的1920x1080@60Hz的时序，并控制FDMA数据读出，HDMI输出模块负责将VGA的RGB视频转换为差分的TMDS视频，代码架构如下：

HDMI输出模块采用verilog代码手写，可以用于FPGA的HDMI发送应用，关于这个模块，请参考我之前的博客，博客地址：点击直接前往

工程源码架构

本博客提供4套工程源码，4套代码的vivado Block Design设计具有相似性，以工程15的2路视频拼接为例，Block Design截图如下，其他工程与之类似；

以工程15的2路视频拼接为例，工程源码架构如下图，其工程16、17、18、19与之类似：

4套工程源码PL端时钟由Zynq软核提供，所以需要运行运行SDK以启动Zynq，此外，HLS图像缩放、VDMA、Video Mixer等IP核都需要运行软件驱动才能正常工作，所以，以工程15的2路视频拼接为例，SDK软件代码架构如下，其他3套工程与之类似：

4、工程源码15详解–>SDI接收+HLS图像缩放+Video Mixer 2路视频拼接

开发板FPGA型号：Xilinx–Zynq7100–xc7z100ffg900-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HDMI，1080P分辨率下的960x540的2路视频拼接2分屏显示；
缩放方案：HLS图像缩放方案；
输入输出缩放：输入1920x1080–>输出960x540；
视频拼接方案：Video Mixer 2路视频拼接；
图像缓存方案：VDMA方案；
图像缓存路径：PS端DDR3；
工程作用：此工程目的是让读者掌握FPGA实现SDI接收+图像缩放+2路视频拼接的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“工程源码架构“小节内容；
工程的资源消耗和功耗如下：

5、工程源码16详解–>SDI接收+HLS图像缩放+Video Mixer 4路视频拼接

开发板FPGA型号：Xilinx–Zynq7100–xc7z100ffg900-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HDMI，1080P分辨率下的960x540的4路视频拼接4分屏显示；
缩放方案：HLS图像缩放方案；
输入输出缩放：输入1920x1080–>输出960x540；
视频拼接方案：4路视频拼接；
图像缓存方案：VDMA方案；
图像缓存路径：PS端DDR3；
工程作用：此工程目的是让读者掌握FPGA实现SDI接收+图像缩放+4路视频拼接的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“工程源码架构“小节内容；
工程的资源消耗和功耗如下：

6、工程源码17详解–>SDI接收+HLS图像缩放+Video Mixer 8路视频拼接

开发板FPGA型号：Xilinx–Zynq7100–xc7z100ffg900-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HDMI，1080P分辨率下的480x540的8路视频拼接8分屏显示；
缩放方案：HLS图像缩放方案；
输入输出缩放：输入1920x1080–>输出480x540；
视频拼接方案：8路视频拼接；
图像缓存方案：VDMA方案；
图像缓存路径：PS端DDR3；
工程作用：此工程目的是让读者掌握FPGA实现SDI接收+图像缩放+8路视频拼接的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“工程源码架构“小节内容；
工程的资源消耗和功耗如下：

7、工程源码18详解–>SDI接收+HLS图像缩放+Video Mixer 16路视频拼接

开发板FPGA型号：Xilinx–Zynq7100–xc7z100ffg900-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HDMI，1080P分辨率下的240x540的8路视频拼接16分屏显示；
缩放方案：HLS图像缩放方案；
输入输出缩放：输入1920x1080–>输出240x540；
视频拼接方案：16路视频拼接；
图像缓存方案：VDMA方案；
图像缓存路径：PS端DDR3；
工程作用：此工程目的是让读者掌握FPGA实现SDI接收+图像缩放+16路视频拼接的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“工程源码架构“小节内容；
工程的资源消耗和功耗如下：

8、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

9、上板调试验证

准备工作

需要准备的器材如下：
FPGA开发板；
SDI摄像头；
SDI转HDMI盒子；
HDMI显示器；
我的开发板了连接如下：

工程15–>2路视频缩放拼接输出–>视频演示

输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS971 SDI接收+图像缩放+2路视频拼接，以HDMI方式输出，输入视频从1920x1080缩放为960x1080，然后将缩放后的视频复制为2份以模拟2路视频，再将这2路视频进行视频拼接，最后在HDMI 1920x1080的输出分辨率下叠加2路拼接视频，即2分屏显示；输出视频演示如下：

工程16–>4路视频缩放拼接输出–>视频演示

输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS971 SDI接收+图像缩放+4路视频拼接，以HDMI方式输出，输入视频从1920x1080缩放为960x540，然后将缩放后的视频复制为4份以模拟4路视频，再将这4路视频进行视频拼接，最后在3G-SDI 1920x1080的输出分辨率下叠加4路拼接视频，即4分屏显示；输出视频演示如下：

工程17–>8路视频缩放拼接输出–>视频演示

输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS971 SDI接收+图像缩放+8路视频拼接，以HDMI方式输出，输入视频从1920x1080缩放为480x540，然后将缩放后的视频复制为8份以模拟8路视频，再将这8路视频进行视频拼接，最后在3G-SDI 1920x1080的输出分辨率下叠加8路拼接视频，即8分屏显示；输出视频演示如下：

工程18–>16路视频缩放拼接输出–>视频演示

输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GS971 SDI接收+图像缩放+8路视频拼接，以HDMI方式输出，输入视频从1920x1080缩放为240x540，然后将缩放后的视频复制为16份以模拟16路视频，再将这16路视频进行视频拼接，最后在3G-SDI 1920x1080的输出分辨率下叠加16路拼接视频，即16分屏显示；输出视频演示如下：

10、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：