实验室服务器(A6000)执行curl -fsSL https://ollama.com/install.sh | sh太慢了。
而sudo snap install ollama,容易爆cudalibrt.so12无法正常使用的bug。
发现 https://www.modelscope.cn/models/modelscope/ollama-linux
使用modelscope进行ollama的下载,网速很稳定,2-3mb/s。
pip install modelscope
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.7
并且ollama拉取模型后,正常推理不报错。