如何快速落地LLM应用？通过Langchain接入千帆SDK

news2024/9/20 19:38:29

百度智能云千帆大模型平台再次史诗级升级！在原有API基础上，百度智能云正式上线Python SDK（下文均简称千帆 SDK）版本并全面开源，企业和开发者可免费下载使用！千帆SDK全面覆盖从数据集管理，模型训练，模型评估，到服务部署等方面的功能，我们可基于千帆SDK通过代码接入并调用百度智能云千帆大模型平台的能力，轻松实现LLMOps全流程的落地，快速构建自己的大语言模型应用。

一、SDK的优势

SDK当前主要的价值在于可快速使用API能力，并完善API使用的周边工具链，同时提供cookbook用于实践。
1、快速使用API能力，不需要自己实现http客户端以及鉴权逻辑；并在此基础上做了可配置重试，流量控制，提升了API功能的使用体验。
2、结合实际的案例和应用场景提供了响应的cookbook，帮助我们快速上手，甚至复用大部分已实现代码。
3、拓展了LLM应用的基础能力，例如结合LLM应用层常见的Agent等概念进行了封装，提供了基于Agent的应用模板类，极大的方便了我们开发。

二、千帆SDK：快速落地LLM应用

千帆SDK支持对话补全、续写补全、语义向量、插件、文生图等一系列功能，帮助我们轻松完成应用开发。

对话补全（ChatCompletion） ：对话模型是语言模型的一种变体。虽然在内部使用了语言模型，但它们所提供的接口有些不同。适用于对话生成，智能问答等场景。
续写补全（Completion） ：语言模型提供了基本的续写能力，结合丰富的训练语料，非常适合我们进行文档报告编写，内容创作等场景。
语义向量（Embedding） ：百度智能云千帆大模型平台在提供大模型对话续写能力的同时，应对于常见的文本检索，知识库查询等场景，也推出了文本转化成向量的能力。
插件应用（Plugin） ：为了填补大模型对于获取实时信息，多模态，垂直领域知识问答等场景的能力空白，百度智能云千帆大模型平台推出了常用的几种插件应用，包括百度搜索，知识库，天气查询，智慧图问等几个插件应用。我们可以通过大模型的决策能力进行问答文本到插件应用调用的转化，也可以直接调用插件应用以获取相应的数据。
文生图（Text2Image） ：基于开源的StableDiffusion等开源多模态大模型的基础上，百度智能云千帆大模型平台推出了一系列预置的文生图模型，我们也可以通过SDK快速调用，进行图文创作。

三、如何快速上手千帆SDK

百度智能云千帆大模型平台为我们提供了详细的操作手册，包括SDK快速启动、大模型开发基础功能快速入门和Langchain接入方法，我们可以通过以下步骤更加快速的使用千帆SDK。

1、SDK快速启动

在该模块，我们通过必要快速上手步骤，以及以Chat对话为调用示例，介绍了如何快速进入LLM的应用开发。

快速安装
目前千帆SDK已发布到PyPI，我们可使用pip命令进行安装。安装千帆SDK需要3.7.0或更高的Python版本。
在这里插入图片描述

平台鉴权
千帆SDK基于百度智能云千帆大模型平台对我们提供能力，因此在使用前需要用户使用平台指定的鉴权方式进行初始化。

如何获取AK/SK
我们可首先进行应用接入，获得AK/SK。
获取到AK和SK后，用户还需要传递它们来初始化千帆SDK，支持如下两种方式，按优先级从低到高排序：
在这里插入图片描述
以“Chat 对话”为调用示例
我们只需要提供预期使用的模型名称和对话内容，即可调用百度智能云千帆大模型平台支持的包括ERNIE-Bot在内的所有预置模型，如下所示：

2. SDK进阶指引

对于对模型有微调训练需求的用户，千帆SDK提供了模型训练和管理的能力。

大模型训练：百度智能云千帆大模型平台提供了高性能的训练，模型微调能力，可以快速的进行训练任务下发和管理。
大模型管理：主要用于自定义模型的管理和发布。
大模型服务：千帆平台提供了基础的大模型运行环境，用户可以一键式发布自己的模型服务。

3. 通过Langchain接入千帆SDK

为什么选择Langchain？
Langchain是可以帮助用户快速构建从原型到生产的LLM应用的框架。其封装了包括LLM，Embedding，Chain，Agent，Tool等一系列抽象的LLM应用组件，在其开源社区成员的不断贡献下集成了当前大部分主流的大语言模型等调用方法，是当前非常流行的开源大模型框架。它开发效率高，资源配套完善，拥有大量用户。现在，用户可以在langchain中通过千帆SDK接入并使用百度智能云千帆大模型平台的训练等一系列能力，让应用场景开发更轻松、更便捷。

在这里插入图片描述
开源社区
千帆SDK已经开源到Github，并将持续更新迭代，可以关注订阅开始做自己的大模型应用了。