8G 显存玩转书生大模型 Demo
- 【书生大模型实战营】基础岛-8G 显存玩转书生大模型 Demo
- InternLM2-Chat-1.8B 模型的部署
- 代码运行
- StreamLit部署
- InternLM-XComposer2-VL-1.8B 模型的部署
- InternVL2-2B 模型的部署
【书生大模型实战营】基础岛-8G 显存玩转书生大模型 Demo
InternLM2-Chat-1.8B 模型的部署
代码运行
首先通过VSCode连接开发机,shiyconda activate /root/share/pre_envs/icamp3_demo
激活存在的环境:
创建```cli_demo.py``文件,并完成运行模型的代码:
然后运行python cli_demp.py
,可以输入用户指令,模型会给出回答:
可以看出,它的自我认知能力还不太行。
StreamLit部署
首先克隆InternLM的Tutorial到本地,使用代码git clone https://github.com/InternLM/Tutorial.git
克隆。
然后启动一个 Streamlit 服务,代码为:
streamlit run /root/Project/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006
之后VSCode会弹出一个网址,不需要我们自己在本地进行映射,如下:
然后跟大模型进行了交流,让它写一篇作文,最终得到的界面如下:
InternLM-XComposer2-VL-1.8B 模型的部署
使用如下命令进行部署:
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1
VSCode会自动对地址进行映射,最后在本地的界面为:
InternVL2-2B 模型的部署
InternVL2-2B是最新一代的视觉-语言多模态大模型,是首个综合性能媲美国际闭源商业模型的开源多模态大模型。
使用如下命令进行部署:
lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1
/share/new_models/OpenGVLab/InternVL2-2B目录下的文件为:
最终的界面如下: