《轻松玩转书生·浦语大模型趣味Demo》

教程文档：《轻松玩转书生·浦语大模型趣味 Demo·文档》

致谢

感谢助教 MING·X 的帮助～

1、InternLM-Chat-7B 智能对话：生成 300 字的小故事

本节中我们将使用InternLM-Chat-7B 模型部署一个智能对话 Demo。

1.1 环境准备

在InternStudio平台中选择 A100(1/4) 的配置，镜像选择 Cuda11.7-conda，选择的配置如下图所示：

申请成功后，可以看到开发机的状态，

然后点击【进入开发机】；

从本地克隆包含pytorch2.0.1的环境

conda create --name internlm-demo --clone=/root/share/conda_envs/internlm-base

激活环境

conda activate internlm-demo

2、熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地

2.1 设置国内镜像源

export HF_ENDPOINT=https://hf-mirror.com

Note：更多信息请访问 hf-mirror.com - Huggingface 镜像站。