是时候用开源降低AI落地门槛了

news2024/11/26 2:24:59

过去三十多年，从Linux到KVM，从OpenStack到Kubernetes，IT领域众多关键技术都来自开源。开源技术不仅大幅降低了IT成本，也降低了企业技术创新的门槛。

那么，在生成式AI时代，开源能够为AI带来什么？

红帽的答案是：开源技术将推动AI更快、更广泛的应用到各行各业中。

自1993年成立至今，红帽一直是坚定的开源技术布道者和构建者。透过不久前的2024红帽论坛，「智能进化论」看到了开源技术与AI碰撞的三大关键词：简单的AI、开源的AI、混合的AI。

简单的AI：从一台Laptop开启的企业AI应用之旅

2024年9月，AI 托管平台 Hugging Face 宣布其收录的 AI 模型数量已突破 100 万个，足以证明生成式AI与大模型的火爆。

但是从通用的基础模型，到解决不同企业实际业务问题之间，仍有不小的距离。算力、人才、模型训练平台和工具、技术经验都是大模型落地过程中的普遍痛点。比如：

“能不能让基础模型使用企业自己的数据，在我选择的环境里做调优，同时只需要花费相对较小的投入？”

“我们想基于基础模型开发适配自身业务的小模型，但是团队没有AI开发经验，没有开发平台，甚至没有足够的GPU算力资源怎么开始？”

正如过去数年间，红帽通过RHEL 和 OpenShift，将Linux 和容器技术加速普及一样，用开源的方式将AI引入企业，也是AI时代红帽的愿景。

为此，红帽推出了一系列AI平台和产品，组成了企业AI应用三步曲：

第一步，借助Podman Desktop和InstructLab，用户可以在最小资源配置下试用开源AI模型和工具，比如在笔记本电脑上用CPU试跑AI模型，而不需要额外的GPU卡。

过去，很多人认为AI模型的训练不可能在一台PC上完成，必须在配备GPU卡的大型数据中心完成。红帽彻底改变了这一现实，同时也让没有IT开发经验的数据科学家和业务人员都可以参与到AI模型训练中。

借助 Podman AI Lab 扩展包，Podman Desktop可以让用户在本地环境中构建、测试和运行基础模型。只需完成几个步骤即可设置试验环境，用来试用不同的基础模型。

InstructLab是一款用于基础模型对齐的开源工具，它可以帮你从开源社区把需要的基础模型下载到本地进行训练，并大幅降低了模型微调的数据准备和技术门槛。

第二步，通过Red Hat Enterprise Linux AI（RHEL AI），在云端服务器上进一步训练模型。

如果第一步测试效果满意，用户就可以在云端服务器上进行生产级的模型训练。

RHEL AI是一个基础模型平台，它使用户能够更加便捷地开发、测试和部署生成式AI模型。

RHEL AI中整合了IBM研究院的开源授权大模型Granite、模型对齐工具InstructLab，以及包括英伟达、英特尔和AMD的GPU加速器。该解决方案被封装成一个优化的、可启动的RHEL镜像，用于在混合云环境中部署单个服务器，并已集成到OpenShift AI中。

第三步，通过OpenShift AI，在更大规模的分布式集群中进行生产级别的模型训练和部署。

如果在前面两个环节中，模型都收获了满意的效果，就可以通过更大规模的分布式集群投入生产环境。

OpenShift AI是红帽的混合机器学习运营（MLOps）平台，能够在分布式集群环境中大规模运行模型和InstructLab，可以支撑大型团队完成ML Ops的工作流程。而且，OpenShift AI支持跨云混合部署，支持本地数据中心、私有云、公有云、混合云等多种环境。

在三步曲之外，红帽还推出了丰富的AI赋能产品，比如Red Hat Lightspeed通过集成生成式人工智能（GenAI），为初学者和专家提供更顺畅的工作体验。将Red Hat Lightspeed应用于RHEL AI、OpenShift AI，用户可以通过自然语言的方式管理操作系统、容器平台甚至集群。

开源的AI：用开源社区推动大模型迭代

“你可以随处选择运行 AI 的位置，而且它将基于开源。”在2024年5月的红帽全球峰会上，红帽CEO Matt Hicks曾这样表示。

可以说，开源开放的理念，贯穿了红帽所有的AI产品与战略。

InstructLab就是一个典型的例子。InstructLab既是模型对齐的工具，也是一个开源社区，它开创了一种通过开源社区推动开源模型持续进步的新模式。

“红帽设计InstructLab有两个主要目的：第一，让客户基于Granite基础模型，使用InstructLab和自身数据训练出符合需求的模型。第二，我们邀请用户更进一步，将知识和技能反馈至上游的开源社区，将其整合到社区版本的Granite模型中。因此，InstructLab是连接社区和客户的桥梁。”红帽大中华区解决方案架构部高级总监王慧慧表示。

同时，在推动AI落地方面，开放共创是红帽坚守的理念。

“在AI应用落地方面，红帽引入了‘开放实验室’的概念，与客户的顾问团队合作，针对企业的研发、生产、市场行销和客户支持等环节，一起找出最具效能的应用场景。从一个小应用成功起步，再逐步扩展至更大的场景。”红帽全球副总裁兼大中华区总裁曹衡康表示。

“关于AI最后一公里的落地，红帽今年加速了与本土ISV及方案开发商的合作，以满足不同行业和企业的个性化需求。”红帽大中华区资深市场总监赵文斌表示。

自今年5月发布全栈AI产品以来，红帽AI系列产品在国内市场加速落地。作为红帽AI产品的首批客户之一，国内某保险行业企业在引入红帽的AI产品后，其代码合并和审查的准确率大大提升，显著提升了开发效率与客户满意度。

“去年红帽大中华区业务创下了历史新高，今年也继续以双位数增长。我们的增长来自于越来越多的企业选择开源技术，认识到开源的优势。”曹衡康表示。