文章目录
-
-
- 前言
- 纯模型推理
- 启动服务
- 后面干什么?
- 这可咋整啊?愁死了!
- 总结
-
前言
这是咱这个系列的第三个文章了。
毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。
所以,一是希望大家耐心看下去,耐心操作下去;而是恳请各位多多关注,多多点赞,多多评论,多多转发。
制作不易,多谢大家了。
前序文章:
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(一)
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(二)
纯模型推理
继续打开官方文档,我们一起踩坑哈。
mindie官方文档
经过我们上次的努力,已经到了“进入容器”这一步。
所以下一步,要做“纯模型推理”
~了吗?
我建议这一步跳过。因为它跟后续关联不大。😂😂😂
启动服务
看到官网的介绍,是不是感觉胜利就在眼前?有手就会?
想多了~
执行:
cd $MIES_INSTALL_PATH
不出意外,没有问题。
继续执行:
./bin/mindieservice_daemon
报错了
root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Get realpath parsing failed.
Failed to get model config path real file path.
ERR: Failed to init endpoint! Please check the service log or console output.
Killed
修改一个文件,
把大模型权重路径改一下就好。
vi conf/config.json
改这里(xxx要按你的来改)。
"modelName" : "qwen2_5",
"modelWeightPath" : "/xxx/Qwen2.5",
小提示,可以先看看文章最后。通义千问2.5的0.5B的模型目前还不支持,最好直接上14B模型。
继续报错:
root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Check path: config.json faile