强强联合

人工智能与大数据的迅速发展，大模型的推理应用和资产管理已成为企业数字化转型的重要组成部分，企业正寻求高效、安全的AI模型部署解决方案。为应对日益增长的计算需求和复杂的数据管理挑战，CSGHub、Nvidia和阿里云计算巢强强联手，推出了全新的私有化部署解决方案。该方案旨在为大模型应用研发团队提供全生命周期的模型、数据集和代码管理能力，以实现高效、安全的推理应用环境，助力企业在数字化浪潮中不断前行。

• CSGHub：是一个专注于大模型和数据集管理的平台，为大模型应用研发团队提供全生命周期的模型、数据集、代码等数字资产管理能力。通过CSGHub，团队能够更加高效地管理和利用庞大的数据资源，促进创新与研发。

• NVIDIA NIM： 微服务是NVIDIA提供基于NVIDIA推理软件的预构建容器，包括 Triton 推理服务器™ 和 TensorRT™-LLM，使开发者能够将部署时间从几周缩短至几分钟。并在A100,H800 等高性能显卡具有推理加速功能。

• 阿里计算巢服务：是一个开放给服务商（包括：企业应用服务商、IT集成服务商、交付服务商和管理服务提供商等）和用户的服务管理PaaS平台。计算巢服务为服务商和用户提供了高效、便捷、安全的服务使用体验，服务商能更好地在阿里云上部署、交付和管理服务，用户能集中管理在阿里云上订阅的各类服务商提供的服务。

合作亮点

01 优势互补

此次合作整合了三方的优势资源，为大模型应用研发团队提供完备的私有化部署方案。CSGHub的数字资产管理能力、Nvidia NIM的推理优化技术以及阿里云的基础设施优势，实现技术互补，确保团队在研发过程中得到最佳体验。

02 高效的私有化部署

通过在阿里计算巢进行私有化部署，用户能够享受到更高的安全性和灵活性。无论是本地计算、混合云，还是完全云化的环境，合作方案均能满足不同场景下的需求，助力效率提升。

03 强大的技术能力

借助Nvidia NIM，用户能够获得领先的模型推理优化和加速能力。而CSGHub则为用户提供了全面的模型数据集资产管理方案与丰富的资源。CSGHub社区已拥有10多万个开源模型，后续将会上架更多的优质模型和数据集，助力大模型应用的开发。

方案

01 环境准备

• 在阿里云上申请包含有GPU的ack集群用于推理服务，并绑定公网IP 用于网关服务
• 一台ecs 服务器用于部署CSGHub，并绑定一个公网IP用于外部访问
• 申请试用NVIDIA nim 服务，获取相关模型的推理镜像，本例中将使用Llama3-8b-instruct

02 ACK 集群安装

ACK 集群以及关键组件, knative，以及网关服务可以从阿里云一键安装。

代码

Note: 如果使用kourier,kourier 所在节点需要绑定公网IP用于网关服务

03 CSGHub安装

1. 参考文档https://github.com/OpenCSGs/CSGHub/tree/main/deploy/all_in_one，完成初始化部署
2. 配置coredns,使用ALB服务可跳过此步 (optional)
3. 配置proxy nginx,使用ALB服务可跳过此步 (optional）
4. 重启CSGHub

Csghub, nim, ack 基本架构如下图

04 登录并测试

1. 注册测试账号并登录
2. 上传llama3.1 和qwen2 模型
3. 选择llama-3.1 模型并点击部署
4. 测试问答效果

API 测试

UI测试

性能测试（2GPU in A10）

此次合作，CSGHub、Nvidia与阿里云计算巢共同为大模型应用研发团队提供了一个安全、高效、灵活的私有化部署解决方案，通过整合顶尖的技术和资源，企业将在快速变化的市场环境中，持续创新与前行。