本系列根据WAVE SUMMIT+2022深度学习开发者峰会「开源开放 生态共建」论坛嘉宾分享整理。本文整理自「开源开放 生态共建」百度研究院的资深研究员卢飞翔的主题演讲——PaddleSports:“AI+体育”端到端开发套件及落地实践。
百度3D+AI智慧体育团队针对数据、算法、产品三方面开展工作,基于飞桨框架,面向体育场景打造端到端开发套件PaddleSports,实现AI技术与体育行业的深度融合。
百度智慧体育的发展背景及概览
在新发展阶段,AI技术正驱动着体育实体经济高质量发展。通过以AI技术为箭,自主创新为弦,体育行业为靶,最终实现竞技体育实力提升,全民健身有效落实,体育制造业转型升级,体育服务业提质增效。
如下图所示,百度3D+AI智慧体育团队主要从事以下三个方面的工作。
赛事IP数字化。主要以赛事直播、内容生产、体育元宇宙,实现数字化服务。
智慧场馆2.0。主要将AI技术应用在具体场景中,比如足球、篮球、乒乓球等,最终实现AI导览、AI驻训、AI传播、AI互动等。
百度智能云智慧体育产业生态圈。通过数据采集和知识沉淀,实现产业升级和价值创造,主要包括科学训练、赛事传播、粉丝互动、智慧场馆。
PaddleSports相关简介
如下图所示,PaddleSports是飞桨面向体育场景的端到端开发套件,实现AI技术与体育行业的深度融合,打造“AI+Sports”的标杆案例集。
首先,PaddleSports提供了标注、分割、追踪等功能,实现对海量视频数据的快速处理与高质量标注,再通过飞桨产业级模型库中的模型对标注好的数据进行训练,最后将训练后的结果应用在多场景中,比如足球、乒乓球、花样滑冰等。
PaddleSports采用5W1H产品架构,即从When(时间)、Where(空间)、Who(人物)、What(内容)、Why(探索)、How(执行)六个维度对体育场景所需要的AI技术进行梳理。基于此,PaddleSports能够进行算法模型的整理与开发。同时,能够给客户提供具体软件工具,比如视频拆条、3D姿态等,然后在多场景中进行应用,比如足球、篮球、排球等。
PaddleSports架构设计分为开源工具和产品与解决方案两部分。
开源工具:PaddleSports通过开源开放和共享深度学习模型,促进体育生态发展,吸引更多用户从事体育科研。
产品与解决方案:PaddleSports面向多个客户提供定制化产品,包括国家队、体育总局、科研高校、央视等,具体提供的智能应用产品包括赛事分析、辅助训练、智能剪辑、智能创作等。
PaddleSports主要应用
应用1:科学训练,助力跳水梦之队勇夺金牌
百度为中国跳水队打造了一套“3D+AI”跳水训练系统,具有看得清、看得准、看得全、看得懂四大核心亮点。目前,PaddleSports已累计采集分析了9万多条训练视频,队伍日均使用180多分钟,队伍反馈训练效率提升显著。
今年,百度对该跳水训练系统进行了三方面升级。
百度为队伍提供跳水运动智能一体机,实现电视转播级别跟拍效果。
百度对算法工具集进行了升级,使3D姿态估计算法在V100显卡上的推理速度达到400FPS。
百度为跳水队打造了首个跳水冠军模型解决方案,把专家经验知识与大数据分析进行融合,提高运动成绩,预防运动损伤,助力青训选才,探索冠军运动员的培养模式与训练方式。
应用2:助力央视总台北京冬奥会、卡塔尔世界杯节目制作
在冬奥会期间,百度助力央视总台《奥秘无穷》和《荣誉殿堂》两档节目,通过3D+AI技术,对当天或者前一天的比赛进行复盘与技术分析。
下面展示了在自由式滑雪大跳台项目中的同场竞技技术,通过3D还原与虚拟叠加,把单人比赛变成多人同场竞技,冠亚军对比一目了然。
下面展示的是时空定格技术,将奥运冠军的连续动作定格到3D空间,实现360度观看。
下面展示的是结合XR的应用技术,克服了场地、空间、视角的限制,有效增强节目的丰富度。
在卡塔尔世界杯期间,百度助力央视总台《足球盛宴》节目,主要提供3D虚拟还原、量化分析和数字化图片,主要呈现高度、速度、角度等指标,带给观众全新的观赛视角,更好地欣赏比赛的精彩瞬间。
应用3:体育直播,普惠大众比赛的赛事传播诉求
在体育直播领域,百度开发了普惠大众比赛的赛事转播方案。相比于普通转播方案,比如转播车,成本可降低10倍以上,效率可提升200%。同时采用AI无人值守方式提供7×24小时无人直播。
面向长尾赛事(青少年、大众赛事)市场,构建AI摄像机和云导播台智能赛事转播方案,自动进行画面的推、拉、摇、移,实现人球跟踪直播效果。这种直播方案的特色,是无需专业导播和昂贵的转播车,即可让大众体育赛事能够以微小成本,以无人值守的形式,开启一场专业级赛事转播。
AI助力体育,创新价值创造闭环范式
目前,“AI+体育”得益于PaddleSports AI技术工具集和百度智能云体育产业生态圈,通过在科学训练、赛事传播、技术分析、互动体验等方面的相关技术以及产品,进一步推动竞技体育发展,提高健康水平,发展体育经济,发扬体育文化。
最后,百度非常感谢PaddleSports的合作者以及客户,通过开源共享AI技术,用中国技术助力中国体育事业,助力体育强国、健康中国的伟大目标。
点击菜单栏「WAVE回放」查看峰会精彩内容
获取更多技术内容~