又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速

news2025/1/12 21:00:21

近日，上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。而在最新发布的MMCV 1.7.0和MMEngine 0.3.0版本中，OpenMMLab基于昇腾AI软硬件底座完成了基础库（MMEngine、MMCV）及算法库（图像分类MMClassification、目标检测MMDetection）的适配，补齐了基于昇腾AI的训练加速能力。至此，OpenMMLab算法仓[1]已完整打通基于昇腾AI的训练与推理流程，基于昇腾异构计算架构CANN的开发体系与加速技术栈，开发者不仅可以基于OpenMMLab算法仓库快速构建AI模型与应用，还能充分发挥昇腾AI处理器的澎湃算力，加速训练及推理业务的执行。

CANN是专门面向AI场景的异构计算架构，同时作为昇腾AI基础软硬件平台的核心组成部分之一，搭起了从上层深度学习框架到底层AI硬件的桥梁，全面支持昇思MindSpore、飞桨（PaddlePaddle）、PyTorch、TensorFlow、Caffe、计图（Jittor）等主流AI框架，提供900多种优选模型，能够覆盖众多典型场景应用，兼容多种底层硬件设备，提供强大的异构计算能力。

OpenMMLab 诞生于 2018 年，是深度学习时代计算机视觉领域最全面、最具影响力的开源算法体系。旨在为学术和产业界提供一个可跨方向、结构精良、跨站性强、易复现的统一算法工具库。目前，OpenMMLab 已经累计开源了超过 30 个算法库，涵盖分类、检测、分割、视频理解等众多研究领域，拥有超过 300 种算法、2,400 多个预训练模型。在 GitHub 上获得超过 73,000 个标星，同时吸引了超过 1,500 名社区开发者参与项目贡献，用户遍及超过 110 个国家和地区，覆盖全国全球顶尖高校、研究机构和企业。

昇腾AI和OpenMMLab开展深度合作，共同签署了CCLA（Corporate Contributor License Agreement）协议，致力于长期全面支持OpenMMLab旗下基础仓和模型仓，共同促进更多业务场景的技术创新和生态共赢。

昇腾与OpenMMLab适配整体框架

上图展示了昇腾AI适配OpenMMLab的整体方案，其中，CANN软件栈实现了算法库在昇腾AI处理器上的加速运行；框架和基础库的适配，完成了与CANN的对接，其中torch_npu插件支撑了PyTorch[4]框架的运行，基础库中的runner、ops和dist等组件分别实现了基础运行类、自定义算子和通信协议对昇腾AI处理器的支持。CANN、框架和基础库的有机结合，支撑了基础库（MMCV）和算法库（MMClassification、MMDetection等）在昇腾AI处理器的加速运行。

通过OpenMMLab与昇腾CANN的对接，目前已完成了MMCV算子仓16+算子的适配，MMClassification与MMDetection模型套件仓共20+模型在昇腾硬件上的运行。

MMClassification适配模型参考：

https://mmclassification.readthedocs.io/en/latest/device/npu.html

MMDetection适配模型参考：

https://mmdetection.readthedocs.io/en/latest/device/npu.html

未来，随着昇腾AI和OpenMMLab合作的不断深入，双方将会从丰富算法库和更高性能的训练加速层面持续优化，促进昇腾AI和OpenMMLab的共同发展和繁荣。同时，也欢迎大家在昇腾社区和OpenMMlab的开源社区一起交流、探索和改进，共同推进计算产业发展和生态构建！