5周年更新 | OpenVINO™  2023.0,让AI部署和加速更容易

news2024/11/22 16:15:02

时光匆匆,岁月荏苒,OpenVINO™迎来了5岁生日。5岁,对于OpenVINO™来说还是个很年轻的年纪,一如正在茁壮成长的少年,每天都迸发着无穷的生命力。

在这5年里,OpenVINO™密切关注市场需求,着眼未来发展趋势,不断迭代更新,将其对模型的支持从计算机视觉扩展到自然语言处理,深化了其框架集成,并持续提高可移植性和性能。

add5d04444b88150f070252ee1083bb8.png

值此生日之际,OpenVINO™ 工具套件再度升级,发布了更加易用,更高性能,更加灵活,更加开放,更加全面的最新版本 2023.0,帮助您更容易进行AI部署和加速,使您能充分体验利用AI部署带来的无限可能。

在最新版本中,您可以利用开源工具套件进行开发,优化神经网络性能。借助全面的功能和智能特性, OpenVINO™还可以充当您软件中的性能工程师。

OpenVINO

更多的集成,最大限度减少代码变更

在2023.0的最新版本中,您可以在构建端轻松地集成到您现有的代码库中,确保轻松维护,并更好地实现与各种框架保持一致。此外,2023.0版本也完成了如下突破:

  • NEW: TensorFlow前端–OpenVINO™使从训练模型转移到部署变得更加容易。在优化模型时,您不再需要离线转换TensorFlow模型,而是可以自动进行。现在,您可以采用标准的TensorFlow模型,并将其直接加载到OpenVINO™ Runtime或OpenVINO™ model Server中。当需要最大性能时,仍然鼓励离线转换为OpenVINO™格式。

  • NEW: C++开发人员现在可以从Conda Forge安装OpenVINO™运行时。

OpenVINO

更广泛的模型支持

为开发者们提供更广泛的模型支持,是我们持续前进的目标和方向。在最新版本中,您可以轻松优化和部署更多模型, 包括NLP, 并通过新的硬件功能获得更多AI加速,这些也是我们在优化面上的持续创新和探索。

NO.1

更广泛的生成式AI模型的支持

CLIP BLIP, stable diffusion 2.0, 文本处理模型: GPT, Transformer 模型 (i.e. S-BERT, GPT-J 等), 以及其他值得注意的模型: Detectron2, Paddle Slim, RNN-T,Segment Anything Model (SAM),  Whisper,  YOLOv8等。

初始支持基于GPU的动态输入

NO.2

开发人员在利用GPU(CPU于2022年启用)时不再需要更改为静态输入,这使您在编码方面具有更大的灵活性, 这一点在NLP模型上尤为重要。

NO.3

神经网络压缩框架(NNCF)成为量化工具的一种选择

通过压缩模型中的数据,可以更容易地实现明显的模型性能改进。此前,OpenVINO™有单独的工具用于训练后优化(POT)和训练感知量化。我们将这两种方法组合成一个工具——NNCF。

OpenVINO

出色的可移植性和性能

产品进步,初心不改,OpenVINO™一直在致力于完善“AI部署”这件重要的小事。

在2023.0的最新版本中,您可以通过跨各种处理器(包括CPU、GPU等)的自动设备检测、负载均衡和动态并行推理能力, 获得即时性能提升。

01

CPU设备插件现在在Intel®第12代CORE及以上版本上提供线程调度,开发人员可以根据应用程序的优先级选择在E核、P核或两者上运行推理。有了这一点,现在可以根据需要优化性能或节能。

02

NEW: 默认推理精度。无论您使用的插件是什么,OpenVINO都将默认提供最佳性能的格式。例如,FP16用于GPU,BF16用于第四代Intel® Xeon®,因此您不再需要采取额外的步骤,并且如果需要,您仍然可以选择加载FP32。

03

通过更高效的模型加载/编译改进了GPU上的模型缓存。

d354675893dec9020b88ef719456ae43.gif

2023.0的最新版本目前已开放下载,感兴趣的您可扫描下方二维码下载安装,与更多开发者们一起尽享新版之欢,共庆OpenVINO™五周岁之乐。

新的升级将带来新的需求,唯有产品不停地升级迭代,才能与保持进步的每一位开发者共同进步、成长。

感谢一直以来给OpenVINO™的各种建议和支持的社区成员,正是因为你们的陪伴,OpenVINO™的每一步才格外的坚定。

期待与你们的下一个5年!

--END--

你也许想了解(点击蓝字查看)⬇️➡️ OpenVINO™ DevCon重磅回归!➡️ 以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC
➡️ 还不知道如何用OpenVINO™作画?点击了解教程。➡️ 如何给开源项目做贡献? | 开发者节日福利➡️ 几行代码轻松实现对于PaddleOCR的实时推理,快来get!➡️ 使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理➡️ 图片提取文字很神奇?试试三步实现OCR!➡️【Notebook系列第六期】基于Pytorch预训练模型,实现语义分割任务

点击 阅读原文 立即体验OpenVINO 2023.0

92f875f58abd388adc8cad11add75c80.png

文章这么精彩,你有没有“在看”?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/618643.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JavaScript拖动元素在一个范围内移动

基于 jQuery移动范围由 div 搭建(div 模仿表格),卡片的移动不允许超出该范围移动卡片会有一个淡蓝色卡片的标记出将要放置的位置有禁止放置标记的位置,不允许卡片放置(会放到前一个可放置的位置)卡片放置会覆盖单元格中的文字卡片…

TSS半导体放电管八大属性总结

​之前在写关于GDT放电管与TSS放电管之间的差异时,其实有谈到TSS(固体放电管)它拥有的一些特性,今天优恩小编还是想重复一下,希望更多小伙伴能够记住。 TSS,有人叫它固体放电管、也有人叫它半导体放电管&am…

智能交通车路协同系统的应用场景和发展趋势

随着城市化进程的加速和汽车保有量的增加,城市交通拥堵、交通事故等问题日益突出。为了解决这些问题,智能交通车路协同系统应运而生。智能交通车路协同系统是一种基于车载终端、路侧设备和交通管理中心等多个组成部分构成的智能交通系统,可以…

io之netty

写在前面 netty当前是网络io框架的事实标准,基于nio实现,框架的作者是韩国一位姓李的朋友,开始我们这位行李的韩国朋友开发一个io框架mina,但后来其离职,mina也就和其没有关系了,所以后来其改进了mina的不…

Maxcompute数据上云一致性比对

我写过很多如何去对数、如何批量对数的技术文档,最近项目遇到这个问题,我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑,太长用到的知识点,反而没有意识到其重要性。 注:这里对数的场景就是指在阿里云…

docker 装机/卸载 Mysql

1、首先,需要安装Docker。可以使用以下命令安装: > yum install docker 2、安装完成后,启动Docker服务: > systemctl start docker3、CentOS7环境下的Docker使用 docker快速部署mysql数据库并初始化 docker快速部署mysq…

Power BI API调用注意事项 (By Power Automate)

注:本文最初发布于https://d-bi.gitee.io和medium, 2023年6月迁移至CSDN 前述 本站关于实现Power BI REST API的博文已有许多,包括: Power BI REST API有多强大?PBI开发者必读Power BI REST API实战教程:PowerQuery为…

基于SSM的便利店系统

✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取项目下载方式🍅 一、项目背景介绍: 基于SSH的便利店系统是…

Java中方法的重载与重写

文章目录 前言方法重载方法重写 前言 提示:这里可以添加本文要记录的大概内容: 方法的重载与重写容易混,所以单独拿出来比较 提示:以下是本篇文章正文内容,下面案例可供参考 方法重载 在同一个类中,允…

springcloud-alibaba (06)RocketMQ控制台安装与启动

RocketMQ控制台 ✨让你的消息传输更高效✨ 如果你是一名开发者,或者是对消息传输有需求的企业用户,那么你肯定不陌生于 RocketMQ,它是一个高可用、高可靠、高性能、分布式消息中间件。但是有时候,在 Windows 上安装和启动 Rocke…

生产环境可用的 Seata-go 1.2.0 来啦!!!

文|刘月财(GitHub ID:luky116) 360 服务端开发专家 Seata-go 项目负责人 本文 2752 字 阅读 7 分钟 发布概览 Seata-go 1.2.0 版本支持 XA 模式。XA 协议是由 X/Open 组织提出的分布式事务处理规范,其优点是对业务代码无侵入。当前…

小巧长续航的主动降噪耳机,更轻更好用,QCY ArcBuds上手

我平时听歌、玩游戏的时候喜欢戴上一副蓝牙耳机,这种耳机选择很多,这几年进步还很快,市面上有很多价格合理、音质出色的选择。我目前用的是一款QCY ArcBuds,这款耳机支持主动降噪,户外使用体验不错,而且它做…

Dockerfile实现LNMP

systemctl stop firewalld systemctl disable firewalld setenforce 0 docker network create --subnet172.18.0.0/16 --opt "com.docker.network.bridge.name""docker1" mynetwork #部署nginx(容器IP 为 172.18.0.10) mkdir /o…

一文讲解 基于C++手写Rpc项目

目录 github 预备知识 集群和分布式 单机聊天服务器 集群聊天服务器 分布式聊天服务器 从集群式 到 分布式聊天服务器 看来只有好处 ,但代价是什么? rpc 的 通信原理 remote procedure call 分布式通信 手写的rpc部分 protobuf>json 好处? 介绍protobuf protob…

RabbitMQ - 死信队列

RabbitMQ - 死信队列 死信的概念死信的来源死信实战死信之TTl死信之最大长度死信之消息被拒 死信的概念 先从概念解释上搞清楚这个定义,死信,顾名思义就是无法被消费的消息,字面意思可以这样理 解,一般来说,producer …

【进程间通信:管道】

目录 1 进程间通信介绍 1.1 进程间通信目的 1.2 进程间通信发展 1.3 进程间通信分类 2 管道 2.1 什么是管道 2.2 匿名管道 2.2.1 匿名管道的使用 2.2.2 使用匿名管道创建进程池 2.3 管道读写规则 2.4 匿名管道特点 2.5 命名管道 2.5.1 概念 2.5.2 使用 1 进程间通…

Learning C++ No.28 【C++11语法实战】

引言: 北京时间:2023/6/5/9:25,今天8点45分起床,一种怎么都睡不够的感觉,特别是周末,但是如果按照我以前的睡觉时间来看,妥妥的是多睡了好久好久,并且昨天也睡了一天,哈…

C#,码海拾贝(32)——计算“实对称三对角阵的全部特征值与特征向量的”之C#源代码

using System; namespace Zhou.CSharp.Algorithm { /// <summary> /// 矩阵类 /// 作者&#xff1a;周长发 /// 改进&#xff1a;深度混淆 /// https://blog.csdn.net/beijinghorn /// </summary> public partial class Matrix {…

第⑩讲:Ceph集群CephFS文件存储核心概念及部署使用

文章目录 1.CephFS文件存储核心概念1.1.CephFS文件存储简介1.2.CephFS文件存储架构1.3.CephFS文件系统的应用场景与特性 2.在Ceph集群中部署MDS组件3.在Ceph集群中创建一个CephFS文件存储系统3.1.为CephFS文件存储系统创建Pool资源池3.2.创建CephFS文件系统3.3.再次观察Ceph集群…

chatgpt赋能python:从后到前查找Python字符串

从后到前查找Python字符串 Python是一种流行的编程语言&#xff0c;广泛用于Web开发、数据科学和算法设计等领域。其中&#xff0c;字符串是Python编程中的重要概念之一&#xff0c;它不仅可以表示文本&#xff0c;还可以进行各种处理。本篇文章将介绍Python字符串从后到前的查…