今天部署本地版通义千问的时候遇到一个问题。
启动他的cli_demo.py调用的一直都是CPU模式的。
检查cuda已经正确安装，后面发现是torch即PyTorch的安装问题。
我安装torch的时候，用的是默认指令，没有增加别的参数。
检测一下，输出False即是错误的。
>>> import torch
>>> torch.cuda.is_available()
# False
根据网上说的，可以在网上下载cuda118的版本，cuda可以向下兼容
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
https://pytorch.org/get-started/locally/
安装成功后，pip list查看torch的版本后面多了个cu118
再试一下
>>> import torch
>>> torch.cuda.is_available()
# True
