【 书生·浦语大模型实战营】作业（七）：大模型实战评测

🎉AI学习星球推荐： GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料，配有全面而有深度的专栏内容，包括不限于 前沿论文解读、资料共享、行业最新动态以、实践教程、求职相关（简历撰写技巧、面经资料与心得）多方面综合学习平台，强烈推荐AI小白及AI爱好者学习，性价比非常高！加入星球➡️点击链接

【 书生·浦语大模型实战营】作业（七）：大模型实战评测

导读：本篇笔记内容主要为 【书生·浦语大模型实战营】作业（七）：大模型实战评测的作业
，主要对OpenCompass大模型实战评测部分及流程详细介绍，欢迎大家交流学习！

本次作业内容：

• 基础作业

使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能

• 进阶作业

将自定义数据集提交至OpenCompass官网

本次学习资料

1.【视频】：OpenCompass 大模型评测实战

2.【文档】：https://github.com/InternLM/Tutorial/blob/camp2/agent/lagent.md#1-lagent-web-demo

3.【作业】：https://github.com/InternLM/Tutorial

1.实践

安装环境

studio-conda -o internlm-base -t opencompass
source activate opencompass
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .

数据准备

解压评测数据集到 data/ 处

# https://github.com/open-compass/opencompass/blob/main/README_zh-CN.md
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
# scp -o StrictHostKeyChecking=no -r -P 42001 D:\Download\OpenCompassData-core-20240207.zip root@ssh.intern-ai.org.cn:/root/opencompass

unzip OpenCompassData-core-20240207.zip

将会在 OpenCompass 下看到data文件夹

查看支持的数据集和模型

列出所有跟 InternLM 及 C-Eval 相关的配置，python tools/list_configs.py internlm ceval

2. 启动评测

正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。

pip install protobuf
export MKL_SERVICE_FORCE_INTEL=1

在 --debug 模式下，任务将按顺序执行，并实时打印输出。

#详细命令解析
python run.py
--datasets ceval_gen \
--hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b \  # HuggingFace 模型路径
--tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b \  # HuggingFace tokenizer 路径（如果与模型路径相同，可以省略）
--tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True \  # 构建 tokenizer 的参数
--model-kwargs device_map='auto' trust_remote_code=True \  # 构建模型的参数
--max-seq-len 1024 \  # 模型可以接受的最大序列长度
--max-out-len 16 \  # 生成的最大 token 数
--batch-size 4  \  # 批量大小
--num-gpus 1  # 运行模型所需的 GPU 数量
--debug

最终评测效果：

总结

本篇笔记内容主要为 【书生·浦语大模型实战营】作业（七）：大模型实战评测的作业 ，主要对OpenCompass大模型实战评测部分及流程详细介绍，欢迎大家交流学习！