是时候用开源降低AI落地门槛了

news2024/11/7 19:10:59

过去三十多年,从Linux到KVM,从OpenStack到Kubernetes,IT领域众多关键技术都来自开源。开源技术不仅大幅降低了IT成本,也降低了企业技术创新的门槛。

那么,在生成式AI时代,开源能够为AI带来什么?

红帽的答案是:开源技术将推动AI更快、更广泛的应用到各行各业中。

自1993年成立至今,红帽一直是坚定的开源技术布道者和构建者。透过不久前的2024红帽论坛,「智能进化论」看到了开源技术与AI碰撞的三大关键词:简单的AI、开源的AI、混合的AI。

简单的AI:从一台Laptop开启的企业AI应用之旅

2024年9月,AI 托管平台 Hugging Face 宣布其收录的 AI 模型数量已突破 100 万个,足以证明生成式AI与大模型的火爆。

但是从通用的基础模型,到解决不同企业实际业务问题之间,仍有不小的距离。算力、人才、模型训练平台和工具、技术经验都是大模型落地过程中的普遍痛点。比如:

“能不能让基础模型使用企业自己的数据,在我选择的环境里做调优,同时只需要花费相对较小的投入?”

“我们想基于基础模型开发适配自身业务的小模型,但是团队没有AI开发经验,没有开发平台,甚至没有足够的GPU算力资源怎么开始?”

正如过去数年间,红帽通过RHEL 和 OpenShift,将Linux 和容器技术加速普及一样,用开源的方式将AI引入企业,也是AI时代红帽的愿景。

为此,红帽推出了一系列AI平台和产品,组成了企业AI应用三步曲:

第一步,借助Podman Desktop和InstructLab,用户可以在最小资源配置下试用开源AI模型和工具,比如在笔记本电脑上用CPU试跑AI模型,而不需要额外的GPU卡。

过去,很多人认为AI模型的训练不可能在一台PC上完成,必须在配备GPU卡的大型数据中心完成。红帽彻底改变了这一现实,同时也让没有IT开发经验的数据科学家和业务人员都可以参与到AI模型训练中。

借助 Podman AI Lab 扩展包,Podman Desktop可以让用户在本地环境中构建、测试和运行基础模型。只需完成几个步骤即可设置试验环境,用来试用不同的基础模型。

InstructLab是一款用于基础模型对齐的开源工具,它可以帮你从开源社区把需要的基础模型下载到本地进行训练,并大幅降低了模型微调的数据准备和技术门槛。

第二步,通过Red Hat Enterprise Linux AI(RHEL AI),在云端服务器上进一步训练模型。

如果第一步测试效果满意,用户就可以在云端服务器上进行生产级的模型训练。

RHEL AI是一个基础模型平台,它使用户能够更加便捷地开发、测试和部署生成式AI模型。

RHEL AI中整合了IBM研究院的开源授权大模型Granite、模型对齐工具InstructLab,以及包括英伟达、英特尔和AMD的GPU加速器。该解决方案被封装成一个优化的、可启动的RHEL镜像,用于在混合云环境中部署单个服务器,并已集成到OpenShift AI中。

第三步,通过OpenShift AI,在更大规模的分布式集群中进行生产级别的模型训练和部署。

如果在前面两个环节中,模型都收获了满意的效果,就可以通过更大规模的分布式集群投入生产环境。

OpenShift AI是红帽的混合机器学习运营(MLOps)平台,能够在分布式集群环境中大规模运行模型和InstructLab,可以支撑大型团队完成ML Ops的工作流程。而且,OpenShift AI支持跨云混合部署,支持本地数据中心、私有云、公有云、混合云等多种环境。

在三步曲之外,红帽还推出了丰富的AI赋能产品,比如Red Hat Lightspeed通过集成生成式人工智能(GenAI),为初学者和专家提供更顺畅的工作体验。将Red Hat Lightspeed应用于RHEL AI、OpenShift AI,用户可以通过自然语言的方式管理操作系统、容器平台甚至集群。

开源的AI:用开源社区推动大模型迭代

“你可以随处选择运行 AI 的位置,而且它将基于开源。”在2024年5月的红帽全球峰会上,红帽CEO Matt Hicks曾这样表示。

可以说,开源开放的理念,贯穿了红帽所有的AI产品与战略。

InstructLab就是一个典型的例子。InstructLab既是模型对齐的工具,也是一个开源社区,它开创了一种通过开源社区推动开源模型持续进步的新模式。

“红帽设计InstructLab有两个主要目的:第一,让客户基于Granite基础模型,使用InstructLab和自身数据训练出符合需求的模型。第二,我们邀请用户更进一步,将知识和技能反馈至上游的开源社区,将其整合到社区版本的Granite模型中。因此,InstructLab是连接社区和客户的桥梁。”红帽大中华区解决方案架构部高级总监王慧慧表示。

同时,在推动AI落地方面,开放共创是红帽坚守的理念。

“在AI应用落地方面,红帽引入了‘开放实验室’的概念,与客户的顾问团队合作,针对企业的研发、生产、市场行销和客户支持等环节,一起找出最具效能的应用场景。从一个小应用成功起步,再逐步扩展至更大的场景。”红帽全球副总裁兼大中华区总裁曹衡康表示。

“关于AI最后一公里的落地,红帽今年加速了与本土ISV及方案开发商的合作,以满足不同行业和企业的个性化需求。”红帽大中华区资深市场总监赵文斌表示。

自今年5月发布全栈AI产品以来,红帽AI系列产品在国内市场加速落地。作为红帽AI产品的首批客户之一,国内某保险行业企业在引入红帽的AI产品后,其代码合并和审查的准确率大大提升,显著提升了开发效率与客户满意度。

“去年红帽大中华区业务创下了历史新高,今年也继续以双位数增长。我们的增长来自于越来越多的企业选择开源技术,认识到开源的优势。”曹衡康表示。

红帽全球副总裁兼大中华区总裁 曹衡康

混合的AI:企业发展自主AI的必然选择

云计算时代,企业根据不同的业务负载可以灵活选择裸金属、公有云、私有云、混合云、专属云等多种部署方式。

正如云是混合的,AI也是混合的。

随着生成式AI技术的不断成熟,越来越多企业意识到,没有一款基础模型可以做到一家独大。企业根据不同业务选择最适合的模型将成为一种趋势,多个业务场景对应多个模型将成为常态。

从这个层面看,生成式AI时代也是混合AI时代。自2013年发布开放混合云战略以来,这种跨开放混合云的能力正是红帽的优势所在,其也将在AI时代进一步延续。

红帽OpenShift 产品线经理佟一舟介绍了一个金融行业客户的案例。该企业在大模型出现之前就拥有丰富的ML小模型开发实力。然而在构建生成式AI研发、生产、实施平台的时候,该企业果断选择了红帽。

一方面,大模型时代构建AI平台的难度和复杂度与小模型时代不可同日而语。另一方面,在多模型的混合场景下,企业需要找到一个中立的AI平台作为合作伙伴,才能避免被单一厂商绑定的风险。

“很多客户希望AI平台企业能够稳定为他们提供未来10年的服务,而目前很多底层技术都来自开源技术。红帽30年的开源积淀,正是很多客户看中的关键优势。”佟一舟表示。

结语

在生成式AI的时代浪潮中,开源技术正以其独特的魅力和强大的推动力,为AI的广泛应用铺设了一条坚实的道路。

开源与AI的碰撞,不仅降低了AI落地的门槛,更让企业拥有了更多的自主权和选择空间。

文中图片来自摄图网

END

本文为「智能进化论」原创作品。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2235210.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C++打怪之路Lv13】- “继承“篇

🌈 个人主页:白子寰 🔥 分类专栏:重生之我在学Linux,C打怪之路,python从入门到精通,数据结构,C语言,C语言题集👈 希望得到您的订阅和支持~ 💡 坚持…

数据特征工程:如何计算Teager能量算子(TEO)? | 基于SQL实现

目录 0 TKEO能量算子 1 数据准备 2 特征求解 3 小结 0 TKEO能量算子 TEO(Teager能量算子),由Kaiser于1990年代提出的非线性分析方法(参见Kaiser, 1990; 1993),是一种有效的非线性信号处理工具,它能即时反映信号能量的变化。通过计算相邻采样点的值,TEO能够迅速跟…

淘宝/天猫探店大冒险:用taobao.item_search_shop API把宝贝一网打尽

想象一下,你是一位勇敢的探险家,手拿藏宝图(店铺ID),准备潜入神秘的淘宝/天猫店铺,寻找那些隐藏在角落里的宝贝。今天,我们要用taobao.item_search_shop API这张神奇的藏宝图,带你走…

D60【python 接口自动化学习】- python基础之数据库

day60 数据库定义 学习日期:20241106 学习目标:MySQL数据库-- 128:数据库定义 学习笔记: 无处不在的数据库 数据库如何存储数据 数据库管理系统(数据库软件) 数据库和SQL的关系 总结 数据库就是指数据…

2024年最佳解压软件推荐:轻松管理压缩文件的必备工具

在当今数字化时代,文件的传输和存储变得日益频繁,解压软件在文件管理中扮演着至关重要的角色。 随着数据量的不断增长,大文件的压缩和解压需求也越来越高。解压软件能够将大容量的文件压缩成较小的体积,便于存储和传输&#xff0…

Kubernetes的基本构建块和最小可调度单元pod-0

文章目录 一,什么是pod1.1pod在k8s中使用方法(1)使用方法一(2)使用方法二 1.2pod中容器的进程1.3pod的网络隔离管理(1)pause容器的作用 1.4 Pod分类:(1)自主式…

vue实现天地图电子围栏

一、文档 vue3 javascript WGS84、GCj02相互转换 天地图官方文档 注册登录然后申请应用key&#xff0c;通过CDN引入 <script src"http://api.tianditu.gov.cn/api?v4.0&tk您的密钥" type"text/javascript"></script>二、分析 所谓电子围…

QT 实现绘制汽车仪表盘

1.界面实现效果 以下是具体的项目需要用到的效果展示,通常需要使用QPainter类来绘制各种图形和文本,包括一个圆形的仪表盘、刻度、指针和数字。 2.简介 分为以下几个部分,首先设置抗锯齿 painter.setRenderHint(QPainter::Antialiasing)。 QPainter p(this);p.setRender…

【网络】传输层协议TCP(下)

目录 四次挥手状态变化 流量控制 PSH标记位 URG标记位 滑动窗口 快重传 拥塞控制 延迟应答 mtu TCP异常情况 四次挥手状态变化 之前我们讲了四次挥手的具体过程以及为什么要进行四次挥手&#xff0c;下面是四次挥手的状态变化 那么我们下面可以来验证一下CLOSE_WAIT这…

阿里云docker安装禅道记录

docker network ls docker network create -d bridge cl_network sudo docker run --name zentao --restart always -p 9982:80 --networkcl_network -v /data/zentao:/data -e MYSQL_INTERNALtrue -d hub.zentao.net/app/zentao:18.5 升级禅道 推荐用按照此文档升级&a…

迈入国际舞台,AORO M8防爆手机获国际IECEx、欧盟ATEX防爆认证

近日&#xff0c;深圳市遨游通讯设备有限公司&#xff08;以下简称“遨游通讯”&#xff09;旗下5G防爆手机——AORO M8&#xff0c;通过了CSA集团的严格测试和评估&#xff0c;荣获国际IECEx及欧盟ATEX防爆认证证书。2024年11月5日&#xff0c;CSA集团和遨游通讯双方领导在遨游…

Win11家庭版 配置 WSL/Ubuntu+Docker详细步骤

最近换了台工作电脑&#xff0c;Windows系统的&#xff0c;想发挥下显卡的AI算算力&#xff0c;所以准备搞下docker环境&#xff0c;下面开始详细介绍&#xff1a; 1、准备系统 最开始是想安装Windows Docker Desktop的&#xff0c;奈何网络问题&#xff0c;死活不能下载镜像…

apache poi 实现下拉框联动校验

apache poi 提供了 DataValidation​ 接口 让我们可以轻松实现 Excel 下拉框数据局校验。但是下拉框联动校验是无法直接通过 DataValidation ​实现&#xff0c;所以我们可以通过其他方式间接实现。 ‍ 步骤如下&#xff1a; 创建一个隐藏 sheet private static void create…

LabVIEW扫描探针显微镜系统

开发了一套基于LabVIEW软件开发的扫描探针显微镜系统。该系统专为微观尺度材料的热性能测量而设计&#xff0c;特别适用于纳米材料如石墨烯、碳纳米管等的研究。系统通过LabVIEW编程实现高精度的表面形貌和热性能测量&#xff0c;广泛应用于科研和工业领域。 项目背景 随着纳…

【Python】强大的正则表达式工具:re模块详解与应用

强大的正则表达式工具&#xff1a;re模块详解与应用 在编程和数据处理中&#xff0c;字符串的处理是不可避免的一项任务。无论是从文本中提取信息、验证数据格式&#xff0c;还是进行复杂的替换操作&#xff0c;正则表达式&#xff08;Regular Expression&#xff0c;简称Rege…

Redis数据库测试和缓存穿透、雪崩、击穿

Redis数据库测试实验 实验要求 1.新建一张user表&#xff0c;在表内插入10000条数据。 2.①通过jdbc查询这10000条数据&#xff0c;记录查询时间。 ②通过redis查询这10000条数据&#xff0c;记录查询时间。 3.①再次查询这一万条数据&#xff0c;要求根据年龄进行排序&#…

今天要重新认识下注解@RequestBody

在Spring框架中&#xff0c;RequestBody是一个常用的注解&#xff0c;它用于将HTTP请求体中的数据绑定到控制器&#xff08;Controller&#xff09;处理方法的参数上。这个注解通常与RESTful Web服务一起使用&#xff0c;在处理POST或PUT请求时尤为常见&#xff0c;因为这些请求…

在vscode中如何利用git 查看某一个文件的提交记录

在 Visual Studio Code (VSCode) 中&#xff0c;你可以使用内置的 Git 集成来查看某个文件的提交历史。以下是具体步骤&#xff1a; 使用 VSCode 内置 Git 功能 打开项目&#xff1a; 打开你的项目文件夹&#xff0c;确保该项目已经是一个 Git 仓库&#xff08;即项目根目录下…

JavaScript 23种经典设计模式简介

23种JavaScript经典设计模式 JavaScript经典设计模式 通过之前的学习&#xff0c;我们知道设计模式是一种解决代码组织、代码复用和代码可维护性等问题的技术方法。它通过将代码以特定的方式组织起来&#xff0c;使代码结构更加清晰、可读性更高、易于维护和扩展。为了在开发…

LangChain Ollama实战文献检索助手(二)少样本提示FewShotPromptTemplate示例选择器

本期是用样例来提示大模型生成我们想要的答案。即在输入中给定提示的样例&#xff0c;以及提示模板&#xff0c;然后匹配较相关的样例进行文献综述。 创建示例样本FewShotPromptTemplate 这里我用GTP-o1生成了几个回答&#xff0c;作为样本 samples [{"theme": &…