参考:
https://swift.readthedocs.io/zh-cn/latest/Instruction/LLM%E5%BE%AE%E8%B0%83%E6%96%87%E6%A1%A3.html#%E5%BE%AE%E8%B0%83%E5%90%8E%E6%A8%A1%E5%9E%8B
https://blog.csdn.net/weixin_42357472/article/details/142150209
SWIFT支持300+ LLM和50+ MLLM(多模态大模型)的训练(预训练、微调、对齐)、推理、评测和部署。
使用中遇到问题:
1、包环境安装依赖容器冲突出错
2、swift训练加载推理速度慢
3、接口训练模型不大好和第三方平滑过渡,比如和transformers
正常推理使用
model_id_or_path 指定本地模型路径
import os
os.environ