UltraScale+系列FPGA实现 IMX214 MIPI 视频解码转HDMI2.0输出，提供2套工程源码和技术支持

1、前言

Xilinx系列FPGA实现MIPI视频解码现状：
MIPI视频解码分为D-PHY和CSI-2两大部分，其中D-PHY属于物理层，依托硬件，灵活性不高，方案不多；CSI-2属于协议层，依托代码，灵活性很高，方案很多；所以只要实现了D-PHY，MIPI-CSI解码其实就很灵活了；
目前Xilinx系列FPGA实现提供了多种MIPI D-PHY方案；第一种是使用专用的D-PHY芯片实现D-PHY功能，比如MC20901，该方案优点是设计简单，缺点是硬件成本较高；第二种是使用权电阻网络实现D-PHY功能，该方案是Xilinx官方推荐的一种简单、低速的D-PHY方案，通常用于测试，该方案优点是电路简单，硬件成本低，缺点是性能适中，无法用于高端场景；第三种是使用软核IP实现D-PHY功能，但该方案仅限于UltraScale+和Zynq UltraScale+高端系列FPGA，该方案优点是设计简单，缺点是硬件成本极高；然后D-PHY信号进入Xilinx官方的MIPI CSI-2 RX Subsystem IP实现CSI功能，即实现MIPI视频解码，另外，也可以使用自己写的CSI模块实现CSI功能；本设计使用UltraScale+和Zynq UltraScale+高端系列FPGA，所以无需考虑D-PHY部分；

Xilinx系列FPGA实现HDMI2.0视频收发现状：
目前Xilinx系列FPGA实现提供了多种HDMI2.0视频收发方案；对于纯FPGA而言，需要用到GT高速接口资源实现编解码，但要求K7及其以上系列FPGA，以HDMI2.0为例，Xilinx官方提供了基于Video PHY Controller为核心的一整套HDMI2.0收发方案，此外，还可以直接使用GT高速接口IP核配置为GT-HDMI编解码模式，或者配置为DP编解码模式；对于Zynq系列FPGA而言，既可以使用PL端的GT高速接资源做HDMI2.0视频收发，也可以使用PS端的DP外设做4K视频收发；本博主擅长Xilinx系列FPGA实现HDMI2.0视频收发方案设计，本设计采用基于Video PHY Controller为核心的一整套HDMI2.0收发方案，最高支持3840x2160@60Hz；

工程概述

本设计基于Xilinx系列FPGA实现 IMX214 MIPI 视频解码转HDMI2.0输出的工程解决方案，最高支持4K@60Hz分辨率；视频输入源为IMX214 MIPI摄像头，FPGA首先对摄像头进行i2c初始化配置，将IMX214输出分辨率配置为1920x1080@60Hz，MIPI-4 Lane输出模式；然后MIPI视频送入Xilinx官方的MIPI CSI-2 RX Subsystem IP核实现D-PHY+CSI功能；然后视频送入第三方的Bayer To RGB IP核实现RAW10转RGB888功能；然后视频送入Xilinx第三方的Gamma Correction实现伽马校正功能；然后送入Xilinx官方的VDMA IP核实现视频三帧缓存；视频从VDMA读出后送入Xilinx官方的AXI4-Stream Data FIFO IP核实现视频缓冲；然后送入Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核实现HDMI2.0视频编码；然后送入Xilinx官方的Video PHY Controller IP核实现并串转换，并输出高速差分的HDMI2.0视频；HDMI2.0视频再送入板载的DP159或其他同等功能的驱动芯片，以增强高速信号的输出驱动能力；最后使用HDMI2.0线缆连接至显示器即可输出显示采集的视频；

上述IP和IC需要SDK或者vitis配置，所以需要调用MicroBlaze或者Zynq软核；针对目前市面上主流的项目需求，本博客共设计了2套工程源码，详情如下：

现对上述2套工程源码做如下解释，方便读者理解：

工程源码1

开发板FPGA型号为Xilinx–>Kintex7-UltraScale+ xcku3p-ffva676-2-i；视频输入源为IMX214 MIPI摄像头，FPGA首先对摄像头进行i2c初始化配置，将IMX214 输出分辨率配置为1920x1080@60Hz，MIPI-4 Lane输出，一个时钟输出4个像素模式；然后MIPI视频送入Xilinx官方的MIPI CSI-2 RX Subsystem IP核实现D-PHY+CSI功能；然后视频送入第三方的Bayer To RGB IP核实现RAW10转RGB888功能；然后视频送入Xilinx第三方的Gamma Correction实现伽马校正功能；然后送入Xilinx官方的VDMA IP核实现视频三帧缓存；视频从VDMA读出后送入Xilinx官方的AXI4-Stream Data FIFO IP核实现视频缓冲；然后送入Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核实现HDMI2.0视频编码；然后送入Xilinx官方的Video PHY Controller IP核实现并串转换，并输出高速差分的HDMI2.0视频，输出分辨率配置为1920x1080@60Hz；HDMI2.0视频再送入板载的DP159或其他同等功能的驱动芯片，以增强高速信号的输出驱动能力；最后使用HDMI2.0线缆连接至显示器即可输出显示采集的视频；本设计使用UltraScale-GTY高速接口，适用于Xilinx-Kintex7-UltraScale+系列FPGA实现HDMI2.0视频收发应用；

工程源码2

开发板FPGA型号为Xilinx-Zynq UltraScale+ xczu4ev-sfvc784-2-i；视频输入源为IMX214 MIPI摄像头，FPGA首先对摄像头进行i2c初始化配置，将IMX214 输出分辨率配置为1920x1080@60Hz，MIPI-4 Lane输出，一个时钟输出4个像素模式；然后MIPI视频送入Xilinx官方的MIPI CSI-2 RX Subsystem IP核实现D-PHY+CSI功能；然后视频送入第三方的Bayer To RGB IP核实现RAW10转RGB888功能；然后视频送入Xilinx第三方的Gamma Correction实现伽马校正功能；然后送入Xilinx官方的VDMA IP核实现视频三帧缓存；视频从VDMA读出后送入Xilinx官方的AXI4-Stream Data FIFO IP核实现视频缓冲；然后送入Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核实现HDMI2.0视频编码；然后送入Xilinx官方的Video PHY Controller IP核实现并串转换，并输出高速差分的HDMI2.0视频，输出分辨率配置为1920x1080@60Hz；HDMI2.0视频再送入板载的DP159或其他同等功能的驱动芯片，以增强高速信号的输出驱动能力；最后使用HDMI2.0线缆连接至显示器即可输出显示采集的视频；本设计使用UltraScale-GTH高速接口，适用于Xilinx-Zynq UltraScale+ MPSoC系列FPGA实现HDMI2.0视频收发应用；

本博客详细描述了Xilinx系列FPGA实现 IMX214 MIPI 视频解码转HDMI2.0输出的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)，若大佬们觉得有所冒犯，请私信批评教育；部分模块源码转载自上述网络，版权归原作者所有，如有侵权请联系我们删除；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目

其实一直有朋友反馈，说我的博客文章太多了，乱花渐欲迷人，自己看得一头雾水，不方便快速定位找到自己想要的项目，所以本博文置顶，列出我目前已有的所有项目，并给出总目录，每个项目的文章链接，当然，本博文实时更新。。。以下是博客地址：
点击直接前往

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案，主要是MIPI解码的，既有纯vhdl实现的MIPI解码，也有调用Xilinx官方IP实现的MIPI解码，既有2line的MIPI解码，也有4line的MIPI解码，既有4K分辨率的MIPI解码，也有小到720P分辨率的MIPI解码，既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码，还有基于Lattice平台FPGA的MIPI解码，后续还将继续推出更过国产FPGA的MIPI解码方案，毕竟目前国产化方案才是未来主流，后续也将推出更多MIPI编码的DSI方案，努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此，我专门建了一个MIPI编解码的专栏，并将MIPI编解码的博客都放到了专栏里整理，对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看，专栏地址如下：
点击直接前往专栏

我已有的4K/8K视频处理解决方案

我的主页有FPGA 4K/8K视频处专栏，该专栏有4K/8K视频处理，包括简单的4K/8K视频收发、4K/8K视频缩放、4K/8K视频拼接等等；以下是专栏地址：
点击直接前往

3、详细设计方案

设计框图

本设计使用的是Xilinx官方推荐的方案，该方案大致如下：

具体到本设计的工程详细设计方案框图如下：

硬件设计架构

4K HDMI2.0 硬件设计架构如下：

本博主提供FPGA HDMI2.0视频收发的参考原理图，为PDF版本，里面包含了详细的电路设计，可节省你的硬件开发时间，如下：

FPGA开发板

本UP主有下列FPGA开发板均可实现4K@60Hz视频 HDMI2.0的收发，本博客仅仅是介绍了其中Zynq UltraScale+系列的开发板实现方案，需要其他方案的朋友可以在博客末尾联系到本UP，现有开发板方案如下：
1–>Xilinx Kintxe7 UltraScale+ FPGA开发板；
2–>Zynq UltraScale+ MPSoC FPGA开发板；
关于本博客使用的这款开发板详细信息，请参考我之前的博客，对这块开发板感兴趣的朋友可以咨询本UP获得；博客链接如下：
点击直接前往

IMX214 摄像头

视频输入源为IMX214 MIPI摄像头，FPGA首先对摄像头进行i2c初始化配置，将IMX214 输出分辨率配置为1920x1080@60Hz，MIPI-4 Lane输出模式；IMX214 i2c配置在vitis软件代码中；IMX214摄像头如下：

MIPI D-PHY

由于本设计使用UltraScale+系列FPGA，软核方案自带D-PHY，所以不再需要配套的D-PHY芯片或者权电阻D-PHY电路，也就是MIPI输入电路不再需要分理处LP低功耗电路，直接将HS差分时钟对和数据对直接连到FPGA的HP-BANK即可；
！！！注意
！！！注意
如果你的开发板FPGA型号不是UltraScale+系列，则需要D-PHY电路，否则无法解码MIPI视频；

MIPI CSI-2 RX Subsystem

然后MIPI视频送入Xilinx官方的MIPI CSI-2 RX Subsystem IP核实现D-PHY+CSI功能，当然，这里主要是CSI功能，即MIPI协议层解码，IMX214 配置为4 Lane通道传输，四像素输出模式；MIPI CSI-2 RX Subsystem配置如下：

MIPI CSI-2 RX Subsystem在Block Design中如下：

Bayer To RGB 图像格式转换

调用第三方的Bayer To RGB IP实现RAM转RGB功能，该IP通过Vitis的C代码软件配置，Sensor Demosaic配置如下：

Bayer To RGB在Block Design中如下：

Gamma Correction 伽马校正

调用第三方的Gamma Correction IP实现伽马校正功能，该IP通过Vitis的C代码软件配置，Gammer LUT配置如下：

Gamma Correction在Block Design中如下：

VDMA 图像缓存

解码后的MIPI视频送入Xilinx官方的VDMA IP核实现视频三帧缓存，功能十分简单，VDMA需要Vitis或者SDK软件配置，Block Design设计中如下：

HDMI 1.4/2.0 Transmitter Subsystem

调用Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核做4K音视频的编码工作，同时编码4K视频流和音频流并输出3路AXI4-Stream流和DDC控制信号；HDMI 1.4/2.0 Transmitter Subsystem配置如下：

该IP需要在Vitis SDK中做进一步详细配置，详情参考Vitis SDK C语言软件代码；
值得注意的是，该IP使用的GT高速接口PLL类型要根据TX端输入的参考时钟而定，具体要结合你的原理图设计考虑，并非固定配置，详情可咨询博主；

Video PHY Controller

Video PHY Controller可做HDMI2.0视频的接收和发送的解串与串化；对于HDMI2.0视频接收而言，可将原来高速串行信号解串为3路20bit的AXI4-Stream并行数据；然后调用Xilinx官方的HDMI 1.4/2.0 Receiver Subsystem IP核做4K超清视频的解码工作，同时解码出AXI4-Stream流的音频流和视频流；对于HDMI2.0视频发送而言，可将原3路20bit的AXI4-Stream并行数据串化为高速串行信号，输出的差分视频数据信号直接从FPGA的GT高速BANK输出，差分时钟信号直接从FPGA的LVDS高速BANK输出；以HDMI2.0收发模式为例，Video PHY Controller配置如下：

该IP需要在Vitis SDK中做进一步详细配置，详情参考Vitis SDK C语言软件代码；

vivado逻辑工程源码架构

工程源码架构包括vivado Block Design逻辑设计和vitis SDK软件设计；
以工程源码2为例，Block Design逻辑设计架构截图如下：

以工程源码2为例，综合后的源码架构如下：

vitis软件工程源码架构

Vitis软件代码如下：

！！！注意
！！！注意
代码为了兼容不同板卡的外围IC，所以代码显得冗余复杂，图中标记的为必须使用到的代码，大多数保持默认即可；
工程源码1使用的是vivado2019.1的SDK；

4、工程源码1详解–>KU3P版本

开发板FPGA型号：Xilinx–>Kintex7-UltraScale+ xcku3p-ffva676-2-i；
FPGA开发环境：Vivado2022.2；
输入：IMX214 摄像头，分辨率1920x1080@60Hz；
IMX214 模式配置：MIPI-4 Lane模式，RAW10颜色空间，一个时钟输出4个像素；
输出：HDMI2.0，分辨率1920x1080@60Hz；
MIPI-D-PHY方案：UltraScale+系列FPGA自带D-PHY；
MIPI-CSI2-RX方案：Xilinx官方MIPI CSI-2 RX Subsystem IP核；
图像缓存方案：Xilinx官方VDMA方案，3帧缓存；
HDMI2.0发送方案：Xilinx系列FPGA GT高速接口方案；
使用GT高速接口类型：UltraScale-GTY高速接口；
工程源码架构请参考前面第3章节中的《工程源码架构》小节；
工程作用：此工程目的是让读者掌握Xilinx系列FPGA实现4K MIPI视频解码转HDMI2.0输出的设计能力，以便能够移植和设计自己的项目；
工程的资源消耗和功耗如下：

5、工程源码2详解–>ZU4EV版本

开发板FPGA型号：Xilinx-Zynq UltraScale+ xczu4ev-sfvc784-2-i；
FPGA开发环境：Vivado2022.2；
输入：IMX214 摄像头，分辨率1920x1080@60Hz；
IMX214 模式配置：MIPI-4 Lane模式，RAW10颜色空间，一个时钟输出4个像素；
输出：HDMI2.0，分辨率1920x1080@60Hz；
MIPI-D-PHY方案：UltraScale+系列FPGA自带D-PHY；
MIPI-CSI2-RX方案：Xilinx官方MIPI CSI-2 RX Subsystem IP核；
图像缓存方案：Xilinx官方VDMA方案，3帧缓存；
HDMI2.0发送方案：Xilinx系列FPGA GT高速接口方案；
使用GT高速接口类型：UltraScale-GTH高速接口；
工程源码架构请参考前面第3章节中的《工程源码架构》小节；
工程作用：此工程目的是让读者掌握Xilinx系列FPGA实现4K MIPI视频解码转HDMI2.0输出的设计能力，以便能够移植和设计自己的项目；
工程的资源消耗和功耗如下：

6、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

7、上板调试验证并演示

准备工作

FPGA开发板，推荐使用本博的开发板；
IMX214 摄像头；
HDMI显示器或者电视；
HDMI线；
以工程源码2为例，开发板连接如下：

IMX214 解码转HDMI2.0输出演示

IMX214 解码转HDMI2.0输出演示如下：

8、福利：工程源码获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：