专业音视频领域中,Pro AV的崛起之路

news2024/10/7 20:28:30

编者按:在技术进步的加持下,AV行业发展得如何了?本文采访了两位深耕于广播电视行业的技术人,为我们介绍了专业音视频的进展:一位冉冉升起的新星:Pro AV以及FPGA在其中发挥的作用。

美国,拉斯维加斯,一个巨型球幕缓缓睁开了它的双眼,如神一般俯视着众人。

ba9271bc607571a843c3d1f5aad16f89.gif

这个名为MSG Sphere的大型剧院位于拉斯维加斯市中心,它高约90米,宽约150米,外面被LED屏幕覆盖,显示面积是IMAX的40多倍,采用多台8K摄像机来捕获360度全景视频,为现场观众提供比当今最佳高清电视清晰100倍的身临其境的体验。

如今,沉浸式影音世界的出现离不开专业的多媒体制作。而在多媒体领域,技术人们正不断突破着距离和时间的桎梏,向着真正的沉浸式前进。MSG Sphere带来了身临其境的沉浸式音视频效果,那么在广播电视行业,我们的“沉浸式”做的怎么样了?

1

Pro AV的崛起

如今,人们对于高质量的视频需求与日俱增,在体育赛事、文艺活动领域,传统的单一机位早已不能满足观众日益增长的需求。要想达到沉浸式的观看体验,首先就要攻克三个大难题:低延迟、高画质和更高的分辨率

05652c9dbce86f2755191fb64d812e12.jpeg

而多机位——它代表了更多的设备、更多的接口,以及更多的金钱。于是,为了在节约成本提高效率的前提下,一些厂商开始采用AV over IP的方式进行视频的传输和制作。

什么是AV over IP呢?与传统的AV系统不同,AV/IP是在标准IP网络上传输和切换视频和音频信号源。在两种AV方式中,主要的构架都差不多。在IP方式中,音视频信号发送器变被换成了编码器,音视频信号接收器被变成了解码器,音视频切换器成为了标准的“IP交换机”。

ad2035448d8222e00a9a8c48eed983d2.jpeg

AV over IP概念已存在了一段时间,它囊括了从基于互联网的直播或点播视频流,到广电制作中的专业视频传输的一切。在过去几年,采用IP架构来替代传统的AV结构成为行业趋势,IP分布式也早已被接受并应用于各个领域中。

标准、安全?

从硬件化的AV方式向IP方式转变,其中最大的一个争议就是安全性问题,通常大家都认为IP方式比传统方式引入了更多的安全风险,AV over IP安全吗?

要回答这个问题,首先要抛出一个反问:“传统的AV为什么安全,它真的安全吗?”

这个反问正是来自长沙千视的CEO左振宇,他也是深耕于AV over IP的老兵,“传统的AV因为是走专有的线路、电缆构成的封闭体系,所以没有人能够通过网络和公共IP进入到那个体系里。用我们网络安全的术语来说,它其实就是建立在一个隔离的基础上。所以,回到AV over IP 的领域来说,如果要保证安全,其实也没错,最基础、最有效的手段就是做隔离。这一点,我想在AV over IP的系统里也是值得学习的,因为就像我们其他的IT设施,如果你不做有效的隔离,不通过设置防火墙这样的一些保障的手段,那同样我们也存在安全隐患,所以我想这是第一手段。但通过有效的隔离、数据的加密以及不断针对具体场景优化可以保护得很好。”

652c66918f9168aa467bcc49d0462ddd.jpeg

伟乐科技的研发经理袁海涛也告诉我们,在转成IP后,无论是在系统的控制、稳定性还是在共享的便利性上都有很大的提升。

“我们在做视频传输的时候,最明显的一个例子就是以前我们可能会面临一个矩阵设备要跟多个终端共享,我们只能通过不断增加设备来实现。转换成IP后,当我面对40多甚至是100多个终端的时候,用一台或几台核心交换器就可以将这些设备替换掉。AV over IP的技术加上我们平台的可视化操作对用户的体验感是非常好的。”

因此,除了一些长时间使用传统的AV设备的客户需要慢慢过渡以外,很多老客户对于AV over IP的信任和接受度都非常好。当然,这与伟乐自身的科技硬实力有关。2014年收购Sencore后,其核心技术又有了无可替代的护城河。目前,伟乐科技已经成为AV over IP领域的佼佼者,其市场份额占据行业前列。

48c2ef5ed037abf86c161369feaa73ea.png伟乐科技子公司Sencore于 2023美国InfoComm展会

与伟乐科技不同,千视的NDI自研之路显得更加机缘巧合了。2016年初,NDI的创始公司New Tek找到千视,期望能创造一种基于IP的视频传输协议。当时,New Tek已经做了很多技术上的铺垫,但都仅仅实现在软件上。如何在嵌入式设备上实现NDI的运行,是左振宇一直在思考的一个问题,这一点也和New Tek不谋而合。

“对于我们来说,从业20多年,我们非常希望能够打造一个基于网络来实现从视频的采集、传输、分发、制作和存储等一整个完整的体系。所以当时我们也是不谋而合,所以我们就决定不遗余力地去做。”

从2016年开始,千视就一直致力于让NDI技术变得更加完善。早期,NDI技术还存在很多不足,但New Tek持续不断地对NDI进行着更新。直到2018年,用于FPGA开发的NDI嵌入式SDK  NDI 3.8出现,才代表着NDI真正地走向成熟。

左振宇告诉我们,“放眼望去我们能够看到的微软、松下、Adobe等等,它们都是支持NDI的。现在,全世界对于NDI的认可度也越来越高,所以在AV over IP领域NDI一定是影响力最大的。”

2

AV over IP下的行业案例

IP为AV over IP带来更多可扩展切换的可能,打破传输距离的障碍,提高了输入与输出设备的数量,超越了本地化的视频标准,与数据和通信的融合更密切。如何将AV over IP部署在合适的场景里,实现利用的最大化,是很多企业要仔细思考的问题。从千视的角度来看,他们将60%的精力用在老本行广播电视领域,而另外40%则投入在更多细分的具体场景里。

d52b89ee314fc43a739f3c87b50a066f.jpeg2021年,长沙千视为泰国Siriraj 医院提供的NDI视频传输方案

在泰国Siriraj 医院的皇后心脏治疗中心里,医生们希望从手术室八台以上的医疗监护设备中获取信号,并将其输出到会议室的监视器上显示。同时,他们还要随时切换每个房间的视频信号,以便通过医疗会议的形式教授医学生及当时不在场的医生,而NDI 很好地满足了他们的这一需求。

d175cfbef861605017a07b85d14bf877.jpeg

一般来说,医疗设备输出都是HDMI和DVI格式的视频,而且皇后心脏治疗中心还需要编解4KP60的视频,因此他们选择了 14 台Kiloview N40 NDI 双向编解码器。另外,为了使所有的编解码器整洁好操作,他们还购置了千视的1U/3U机箱,与多功能切换器“NewTek TriCaster”一起搭配使用,这样既可预设切换和录制视频,还可通过 Zoom 在线上会议中呈现视频。

伟乐科技的案例则要更“接地气”一点。

2020年疫情防控期间,为响应国家要求,伟乐科技对全国300多个县、区部署了应急广播,实现区县的广播体系由各自为营到统一标准的成果。

0a2511ee1fa0288ed525fd51ef863ac7.jpeg

偏远山区存在着“常住人口分散、人口密度不均的情况”。比如,当省级有重大的气象灾害需要提前预报的情况下,无法通过广播一键下发到各个地方,地方也没有可以统一接收上级消息的渠道,从国家层面来说没有办法做到整体控制。

而伟乐科技要做的就是:统一收发,所有信息同时做到接入稳定;多信号、链路的备份,在信源切换时做到稳定。

在IP分布式部署时,伟乐也遇到了一些难题。“就拿大并发来说吧,当一个市下发广播的时候,要面临的是上万个终端。当然,我们要把基础硬件本身的性能提升上来,这是最基础的。除了这一块外,我们也会采用自主研发的一些核心技术。在同一时间内,我们如何通过我们自己的技术方案把应急广播消息同时下发给这个多个终端呢?比如说,我们可以通过逐机下传,把广播消息通过一个亿级的适配器把它进行下发,然后最终传到终端来,而不是通过所有的终端都到我们平台这边来进行一个广播处理。所以这样的话,就可以把广播消息的并发量转移到适配器上进行有效处理。”袁海涛告诉我们。

1a5ae0e09d945b2996f324d653374ccf.png

在实际部署上,伟乐科技在没有改变村民的操作的前提下对技术做了IP化改进方案,做到了以科技改变生活。

技术选型背后的支撑

在相对复杂的应用场景里,MPSoC作为一款高性能多处理器的系统,为伟乐科技的产品落地带来了便利。

“在有的行业里,除了要把高画质的视频进行本地共享以外,还需要同时推送到广播电视渠道,推送到多媒体、视频媒体渠道。在这种情况下,我们就可以利用MPSOC VCU H.264这个这种内置的VCU对视频进行编码处理和深度压缩,之后再把它发送或传输到广播系统里或者上星等一系列操作。”伟乐科技的袁伟涛告诉我们。

相对于专业视听领域,不论是时延、帧同步还是画质的要求都会更高。在第一次提供世界杯转播的时候,涉及到多个镜头来回切换的问题,伟乐采用FPGA和自研技术反复测试,最终攻克难关。

1ba5d8e5b57a33a26bd9b281e778dbd2.jpeg

说回NDI。被称为“Speed HQ”的NDI的编解码算法是一个经典的图像压缩和解压缩的算法,但唯独有一个缺陷就是:通过CPU进行计算会消耗大量的计算资源。

如何实现Speed HQ的算法?千视在技术选型中看到了FPGA的闪光点,作为一个独立的硬件逻辑,只要找到合适的硬件资源就可以不消耗CPU来进行计算。对比下来后,AMD的Zynq是最适合的解决方案。

a4d0d30f157810d69c9b07f2cee1e81a.jpeg

“NDI的特点是需要软件的协议和处理,那么我们通过Zynq在逻辑端实现NDI的编解码算法,在ARM端跑NDI的SDK以及网络的收发。这样的一种分工协同就实现了技术的最大化利用。”左振宇说道。

3

尾声

1984年,Ross Freeman 发明了FPGA ,为产业打开了一扇新的大门。39年来,FPGA应用领域不断拓展,成为IC验证、航空航天、通信、汽车、数据中心和工业领域不可或缺的关键器件。

当技术的小细节散落在各个行业内,就像星星之火,散发着属于自己的光,而这些光,铸就了我们在生活中的便利。无论是伟乐科技的应急广播,还是长沙千视背后的NDI技术,背后都离不开AMD旗下的FPGA技术奠基。

da6015f426b214bf023b7c67551367f8.jpeg

10月19日下午14:00 – 16:30,AMD特邀各生态合作伙伴的音视频技术专家,共同举行专业音视频技术与方案的在线专场研讨会,为广大从事专业音视频以及相关行业应用的从业人员带来一场技术与方案的技术盛宴,共同探讨音视频技术的应用方向,展望新兴音视频技术所带来的全新视听享受。

10月19日 14:00 – 16:30

AMD ProAV技术与方案分享专题研讨会

376af88fe81f64302fc9f13fdaee921b.png

扫描上方二维码或点击阅读原文 即可预约活动 



参考文章:

《AV over IP生态系蓬勃发展 NDI/ST 2110/IPMX/Dante各顯神通》

《为什么AV over IP解决方案在视听行业如此受欢迎?》

《AV over IP和传统AV解决方案,谁更适合你的项目?》

图源:

JALEN LEE/Unsplash/网络

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1090607.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Linux】:常见指令理解(3)

17.grep指令 grep参考文档 语法: grep [选项] 搜寻字符串 文件 功能: 在文件中搜索字符串,将找到的行打印出来 常用选项: -i :忽略大小写的不同,所以大小写视为相同 -n :顺便输出行号 -v &…

GoLang连接mysql数据库

跟着文档走GORM 指南 | GORM - The fantastic ORM library for Golang, aims to be developer friendly. 1.使用命令拉取 go get -u gorm.io/gorm go get -u gorm.io/driver/sqlite2.开始使用 package mainimport ("fmt""github.com/gin-gonic/gin"&…

什么是SRE?它与 DevOps 有何关系?

SRE 代表站点可靠性工程。它建立在DevOps 原则之上,为 IT 运营带来工程主导的方法。SRE 使用软件来自动化系统操作、识别问题并实施解决方案。 SRE 的概念是在 Google 开发的。它基于这样的理念:代码和软件是管理大型系统的最有效方法。由单独团队启动的手动程序存在监督和不…

智能网关IOT 2050采集应用

SIMATIC IOT2050 是西门子公司新推出的应用于企业数字化转型的智能边缘计算和云连接网关。 它将云、公司内 IT 和生产连接在一起,专为直接在生产环境中获取、处理和传输数据的工业 IT 解 决方案而设计。例如,它可用于将生产 过程与基于云的机器和生产数据…

项目和1013

这里写目录标题 项目采用Nginx做反向代理、以及搭建Tomcat服务器集群,实现负载均衡和动静分离4.34.7相关的八股 动静分离4.125-4 Redis集中式缓存商品详情页5-7 开启本地缓存5-11 开启本地缓存 采用RabbitMQ实现异步消息扣减数据库内库存7-4 同步进缓存,…

java生成自定义长度的唯一随机字符串

思路 基于唯一数字,再随机指向ASCII码的大小写字母的编码值实现随机,唯一数字可以由redis自增或者雪花id等生成。实现代码 /*** description: 生成10个字符的唯一随机字符串,由数字大小写字母组成* date 15:58 2023/10/13* param increment…

C++ - git 命令行

为什么要有 git 你很可能遇到过这种情况,在写项目的时候,要我不符合 leader 的要求,因而修改了很多个版本,但是修改到最后一版的时候,leader 有觉得当前这版还没有之前 某一版好,现在又要求你在 之前的那一…

Fbank及MFCC学习

Fbank:FilterBank:人耳对声音频谱的响应是非线性的,Fbank就是一种前端处理算法,以类似于人耳的方式对音频进行处理,可以提高语音识别的性能。获得语音信号的fbank特征的一般步骤是:预加重、分帧、加窗、短时…

【嵌入式开发学习01】Arduino安装esp32-cam以及CameraWebServer实例的实现

目录 1. 硬件2. 软件2.1 arduino下载安装2.2 arduino配置esp32-cam开发板文件2.3 下载相应版本的esp32 3. ESP32-CAM实例:CameraWebServer3.1 选择开发板3.2 选择示例代码进行验证3.3 烧录进行实测 1. 硬件 没买下载主板的可使用usb转串口模块进行烧录,接…

LeetCode【73】矩阵置零

题目: 思路: 1、从题目看,在遍历数组的同时,如果遍历到0,回溯i,j,将其对应的行列变为0。不能变更后面的,后面遍历整个数组都将变成0. 2、需要额外的空间存储要变0的标记位&#xf…

高通推出骁龙X系列进军PC平台

今日,高通在官方博客发布了由高级副总裁兼首席营销官莫珂东(Don McGuire)署名的一篇文章,正式揭晓了一款全新的芯片系列:骁龙X系列。该款芯片专为下一代PC体验打造。高通表示,2024年将会是PC行业的一个拐点…

OJ项目——统一数据格式返回,我是如何处理的?

目录 前言 OJ项目中是如何处理的 1、准备一个类,作为统一的数据返回格式 2、准备一个类,实现ResponseBodyAdvice接口 3、我们如何写返回值更好 4、进一步优化返回值 小结 前言 关于SpringBoot的同一功能处理,本博主在这篇博客已经有介…

Linux 系统中提供CPU性能分析工具整理

Linux 系统中提供CPU性能分析工具整理 汇总 查看CPU信息 在linux操作系统中,CPU的信息在启动的过程中被装载到虚拟目录/proc下的cpuinfo文件中,我们可以通过 cat /proc/cpuinfo 查看一下: cat /proc/cpuinfo显示如下: rootthe…

docker创建elasticsearch、elasticsearch-head部署及简单操作

elasticsearch部署 1 拉取elasticsearch镜像 docker pull elasticsearch:7.7.0 2 创建文件映射路径 mkdir /mydata/elasticsearch/data mkdir /mydata/elasticsearch/plugins mkdir /mydata/elasticsearch/config 3 文件夹授权 chmod 777 /mydata/elastic…

详解cv2.addWeighted函数【使用 OpenCV 添加(混合)两个图像-Python版本】

文章目录 简介函数原型代码示例参考资料 简介 有的时候我们需要将两张图片在alpha通道进行混合,比如深度学习数据集增强方式MixUp。OpenCV的addWeighted提供了相关操作,瓷片博客将详细介绍这个函数,并给出代码示例。🚀&#x1f6…

有外媒称,Linux 发行版Ubuntu 23.10也将正式支持树莓派 5

据了解,在树莓派 4 单板计算机推出 4年后,树莓派 5也在上月末正式发布,并且两者对比之后可以发现,树莓派 5主要提升性能是添加了对 PCIe 2.0的支持。 Multiable万达宝医疗ERP(www.multiable.com.cn/solutions_yl)具备严格的保质期…

搭建vue后台管理系统框架

第一步:创建vue项目vue create 项目名称,并安装element-ui Vue CLI v3.1.3 ? Please pick a preset: Manually select features ? Check the features needed for your project: Babel, Router, CSS Pre-processors, Linter 1、是否使用history模式的…

【Express】静态资源

通过 Express 内置的 express.static 可以方便地托管静态文件,例如图片、CSS、JavaScript 文件等。 将静态资源文件所在的目录作为参数传递给 express.static 中间件就可以提供静态资源文件的访问了。 // 配置静态资源 app.use(express.static(public)); app.use(…

条件表达式

1.语法: 如果写范围,case不用写字段名 内容:case 字段名 when 值/或者值的范围 then 转化成的值 as 列名 end 语义:选择转换后新起一列 as不写默认text 2.其他用法: 2.1.计次 count(...)…

Master PDF Editor v5.9.70便携版

软件介绍 Master PDF Editor中文版是一款小巧的多功能PDF编辑器,可以轻松查看,创建,修改,批注,签名,扫描,OCR和打印PDF文档.高级注释工具,可以添加任意便笺指示对象突出显示,添加下划线和删除,而无需更改源PDF文件. 软件截图 更新日志 code-industry.net/what-is-new-in-mas…