开发者活动：云原生的开源 AI 大模型基础设施

news2024/12/23 23:01:59

随着 ChatGPT 的火热，大语言模型和相关应用不断涌现。你是否了解大语言模型的技术细节？你是否曾经开发过大语言模型应用？如果你对大语言模型背后的基础设施感兴趣，那么7月8号，北京海淀中关村创业大街，云原生的开源 AI 大语言模型基础设施 meetup 等你来探讨！

此次 meetup 聚集了来自 Milvus、VMware、智源、商汤科技和 WasmEdge 等AI/云原生领域的专家，演讲将涉及大模型应用开发、联邦学习与大语言模型、向量数据库、神经网络量化、模型评测等多个方向，为你解析完整的大语言模型开发生命周期，透彻了解大语言模型背后的细节。

除了精彩的演讲内容，本次活动还得到了 CNCF（云原生计算基金会）的大力支持，会议将提供饮料和 Pizza。人民邮电出版社赞助了AI、开源和 Rust 相关的技术书籍，为你的技术学习之路提供帮助。现场还有飞盘、酷炫贴纸、帽子、搪瓷杯、T-shirt 等周边礼品，让你满载而归。

时间

2023年7月8日下午1点-6点，Pizza 将在 1点提供，欢迎小伙伴早点前来签到！

地点

北京市海淀区中关村创业大街12号楼五层

议程介绍

下午1:35 - 2:20：使用 Rust 和 Wasm 开发轻量级 AI 应用 — Michael Yuan，WasmEdge 创始人

LLM——大语言模型，例如ChatGPT，就好像没有记忆、感官或手的大脑。API 和插件允许开发者为 LLM 添加这些关键功能，从而实现 LLM 应用程序。开放AI插件和功能模板的流行表明，存在对这种服务的巨大需求。然而，当前的 LLM 插件通常建立在专为完全成熟服务设计的复杂云原生基础设施上，例如 VM、Linux 容器和 K8s 集群。这种基础设施对于大多数充当LLM和外部服务之间轻量级链路的插件/ Serverl ess应用程序来说过于笨重。WebAssembly（Wasm）已成为这种类型的函数的一种引人注目的轻量级、便携式和安全运行时。

我们将讨论 WasmEdge 社区（一个 CNCF Sandbox 项目）如何利用和构建 Wasm 容器基础设施以用于 LLM 插件。我们将涵盖主要的使用案例和应用领域，如研发管理、DevRel、营销自动化和培训/学习。然后，我们将深入探讨技术栈，以及社区创建的 Rust和 JavaScript SDK，从而实现这些 LLM 应用场景。

通过这个演讲，你将学习到如何在3分钟内使用 serverless 的方式构建开发 AI 应用。

下午2:20 - 3:05：FATE-LLM: 当联邦学习遇到大型语言模型 — 王方驰，VMware CTO 办公室高级工程师，FATE 项目 maintainer

近年来，基于 transformer 的大型语言模型越来越受欢迎，各界讨论不断升温，各路大模型也相继发布，另一方面，大型语言模型在数据和隐私问题上面临的挑战也逐渐凸显。近期，开源联邦学习框架FATE发布了联邦大模型方案FATE-LLM，将联邦学习和大模型技术相结合，为以上问题带来前瞻性的解决方案。通过FATE-LLM，各参与方可以在数据不出本地域的前提下，用各自隐私数据共同进行大模型微调并互惠互利。本次演讲将介绍FATE-LLM在将联邦学习应用于ChatGLM、 LLaMA 等大型语言模型方面的最新努力，并探讨技术和实践上的挑战、设计思路以及未来规划。

通过这个演讲，你讲学习到 1. 联邦学习与联邦大模型 2. FATE-LLM相关设计思路 3. FATE开源社区生态。

下午3:05 - 3:50：向量数据库：大模型的长期记忆体 — 李晨 Zilliz 运营及生态负责人

对于构建专有大型语言模型的组织而言，向量数据库至关重要。向量数据库的一个新型重要用例是 LLM，在文本生成过程中可用于检索领域特定事实或专有事实，用以存储、索引、搜索和检索非结构化数据的大型数据集。本次分享将重点介绍AI 基础设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是如何知识增强和赋能 LLM，并进而引出大模型与向量数据库的关系、生态集成、工具与应用等。

通过这个演讲，你将学习到 1. 了解大模型和向量数据库的集成构建 AI Native应用 2. 向量数据库如何知识增强和赋能 AIGC 领域相关

下午3:50 - 4:05：茶歇

下午4:05 - 4:50：在 AI 开发中模型量化相关的技术实践 — 张志，商汤模型量化框架 PPQ 首席工程师

神经网络量化是一种广泛应用的技术，可以在较低的成本下降低神经网络的计算代价和内存使用。目前使用最为广泛的量化技术将浮点模型转换为8位整数模型，并使用整数运算器完成网络的推理过程。量化技术目前正广泛应用于推理框架当中，大模型的压缩与部署也广泛地依赖于神经网络量化压缩，由商汤 OpenPPL 团队开发的量化框架 PPQ 是目前国内神经网络量化框架的佼佼者，其支持多个硬件后端平台的量化模拟与部署，并在此基础上抽象出一套完整的量化框架设计。我们将着重讲解大语言模型中广泛应用的量化技术，从weight only量化到groupwise kv cache量化，介绍这些技术的应用场景与性能收益。

通过这个演讲，你将学习到如何在服务器上进行网络部署以及性能调优，进而大幅降低神经网络模型的存储需求和计算成本，从而使得这些模型可以在资源要求严苛的设备上运行。通过一些在实际应用中的案例，您将更进一步地了解神经网络模型量化的实现细节与局限性。

下午4:50 - 5:35：FlagEval：大模型评测开源项目 — 玄日成，智源智能评测组算法研究员，天秤项目 core contributor

模型评测是模型生产生命周期中非常重要的一环，随着近年来基础模型相关理论和技术的高速发展，但传统的评测方法和基准在基础模型评测上正面临失效的困境，因此研发面向基础模型的评测方法和工具就显得更为重要。FlagEval 大模型开源评测体系创新构建了“能力-任务-指标”三维大语言模型评测框架，尝试细粒度的刻画基础模型的认知能力边界。

通过这个演讲，你将了解到大模型评测的基本概念，以及如何评测大模型。

下午5:35 - 6:00：集体照片和自由交流