时光匆匆,岁月荏苒,OpenVINO™迎来了5岁生日。5岁,对于OpenVINO™来说还是个很年轻的年纪,一如正在茁壮成长的少年,每天都迸发着无穷的生命力。
在这5年里,OpenVINO™密切关注市场需求,着眼未来发展趋势,不断迭代更新,将其对模型的支持从计算机视觉扩展到自然语言处理,深化了其框架集成,并持续提高可移植性和性能。
值此生日之际,OpenVINO™ 工具套件再度升级,发布了更加易用,更高性能,更加灵活,更加开放,更加全面的最新版本 2023.0,帮助您更容易进行AI部署和加速,使您能充分体验利用AI部署带来的无限可能。
在最新版本中,您可以利用开源工具套件进行开发,优化神经网络性能。借助全面的功能和智能特性, OpenVINO™还可以充当您软件中的性能工程师。
模
OpenVINO
型
更多的集成,最大限度减少代码变更
在2023.0的最新版本中,您可以在构建端轻松地集成到您现有的代码库中,确保轻松维护,并更好地实现与各种框架保持一致。此外,2023.0版本也完成了如下突破:
NEW: TensorFlow前端–OpenVINO™使从训练模型转移到部署变得更加容易。在优化模型时,您不再需要离线转换TensorFlow模型,而是可以自动进行。现在,您可以采用标准的TensorFlow模型,并将其直接加载到OpenVINO™ Runtime或OpenVINO™ model Server中。当需要最大性能时,仍然鼓励离线转换为OpenVINO™格式。
NEW: C++开发人员现在可以从Conda Forge安装OpenVINO™运行时。
优
OpenVINO
化
更广泛的模型支持
为开发者们提供更广泛的模型支持,是我们持续前进的目标和方向。在最新版本中,您可以轻松优化和部署更多模型, 包括NLP, 并通过新的硬件功能获得更多AI加速,这些也是我们在优化面上的持续创新和探索。
NO.1
更广泛的生成式AI模型的支持
CLIP BLIP, stable diffusion 2.0, 文本处理模型: GPT, Transformer 模型 (i.e. S-BERT, GPT-J 等), 以及其他值得注意的模型: Detectron2, Paddle Slim, RNN-T,Segment Anything Model (SAM), Whisper, YOLOv8等。
初始支持基于GPU的动态输入
NO.2
开发人员在利用GPU(CPU于2022年启用)时不再需要更改为静态输入,这使您在编码方面具有更大的灵活性, 这一点在NLP模型上尤为重要。
NO.3
神经网络压缩框架(NNCF)成为量化工具的一种选择
通过压缩模型中的数据,可以更容易地实现明显的模型性能改进。此前,OpenVINO™有单独的工具用于训练后优化(POT)和训练感知量化。我们将这两种方法组合成一个工具——NNCF。
部
OpenVINO
署
出色的可移植性和性能
产品进步,初心不改,OpenVINO™一直在致力于完善“AI部署”这件重要的小事。
在2023.0的最新版本中,您可以通过跨各种处理器(包括CPU、GPU等)的自动设备检测、负载均衡和动态并行推理能力, 获得即时性能提升。
01
CPU设备插件现在在Intel®第12代CORE及以上版本上提供线程调度,开发人员可以根据应用程序的优先级选择在E核、P核或两者上运行推理。有了这一点,现在可以根据需要优化性能或节能。
02
NEW: 默认推理精度。无论您使用的插件是什么,OpenVINO都将默认提供最佳性能的格式。例如,FP16用于GPU,BF16用于第四代Intel® Xeon®,因此您不再需要采取额外的步骤,并且如果需要,您仍然可以选择加载FP32。
03
通过更高效的模型加载/编译改进了GPU上的模型缓存。
2023.0的最新版本目前已开放下载,感兴趣的您可扫描下方二维码下载安装,与更多开发者们一起尽享新版之欢,共庆OpenVINO™五周岁之乐。
新的升级将带来新的需求,唯有产品不停地升级迭代,才能与保持进步的每一位开发者共同进步、成长。
感谢一直以来给OpenVINO™的各种建议和支持的社区成员,正是因为你们的陪伴,OpenVINO™的每一步才格外的坚定。
期待与你们的下一个5年!
--END--
你也许想了解(点击蓝字查看)⬇️➡️ OpenVINO™ DevCon重磅回归!➡️ 以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC
➡️ 还不知道如何用OpenVINO™作画?点击了解教程。➡️ 如何给开源项目做贡献? | 开发者节日福利➡️ 几行代码轻松实现对于PaddleOCR的实时推理,快来get!➡️ 使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理➡️ 图片提取文字很神奇?试试三步实现OCR!➡️【Notebook系列第六期】基于Pytorch预训练模型,实现语义分割任务
点击 阅读原文 立即体验OpenVINO 2023.0
文章这么精彩,你有没有“在看”?