1 初步介绍 XComposer2
相关知识
浦语·灵笔2
是基于 书生·浦语2
大语言模型研发的突破性的图文多模态大模型,具有非凡的图文写作和图像理解能力,在多种应用场景表现出色,总结起来其具有:
- 自由指令输入的图文写作能力:
浦语·灵笔2
可以理解自由形式的图文指令输入,包括大纲、文章细节要求、参考图片等,为用户打造图文并貌的专属文章。生成的文章文采斐然,图文相得益彰,提供沉浸式的阅读体验。 - 准确的图文问题解答能力:
浦语·灵笔2
具有海量图文知识,可以准确的回复各种图文问答难题,在识别、感知、细节描述、视觉推理等能力上表现惊人。 - 杰出的综合能力:
浦语·灵笔2-7B
基于书生·浦语2-7B
模型,在13项多模态评测中大幅领先同量级多模态模型,在其中6项评测中超过GPT-4V
和Gemini Pro
。
2 配置基础环境(开启 50% A100 权限后才可开启此章节)
InternStudio
选用 50% A100
进行开发,只有在开发机停机的时候可以调整。这个功能还是挺赞的
进入开发机,启动 conda
环境:
conda activate demo # 补充环境包 pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5
下载 InternLM-XComposer 仓库 相关的代码资源:
cd /root/demo git clone https://gitee.com/internlm/InternLM-XComposer.git # git clone https://github.com/internlm/InternLM-XComposer.git cd /root/demo/InternLM-XComposer git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626
在 terminal
中输入指令,构造软链接快捷访问方式:
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b
3 图文写作实战
继续输入指令,用于启动 InternLM-XComposer
:
cd /root/demo/InternLM-XComposer python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py \ --code_path /root/models/internlm-xcomposer2-7b \ --private \ --num_gpus 1 \ --port 6006
待程序运行的同时,对端口环境配置本地 PowerShell
。使用快捷键组合 Windows + R
(Windows 即开始菜单键)打开指令界面,(Mac 用户打开终端即可)并输入命令,按下回车键:
打开 PowerShell 后,先查询端口,再根据端口键入命令 (例如图中端口示例为 33838):
# 从本地使用 ssh 连接 studio 端口 # 将下方端口号 38374 替换成自己的端口号 ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33838
再复制下方的密码,输入到 password
中,直接回车:
最终保持在如下效果即可:
打开 http://127.0.0.1:6006 实践效果如下图所示:能够图文写作效果还是挺惊艳的