Ollama(官网是https://ollama.com/)是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架。它简化了大型语言模型的部署过程,提供了轻量级与可扩展的架构,使得研究人员、开发人员和爱好者能够更加方便地在本地环境中运行和定制这些模型。
(1)Windows安装Ollama
直接在官网https://ollama.com/download下载exe文件,然后运行
下载完成之后,直接打开终端输入下列即可安装deepseek本地模型:
例如: DeepSeek R1其他模型可详见官网https://ollama.com/search
ollama run deepseek-r1:1.5b
如果想在网页端访问模型,可以下载Chrome的插件打开,插件下载地址https://www.crxsoso.com/webstore/detail/jfgfiigpkhlkbnfnbobbkinehhfdhndo 然后在设置——>扩展程序中打开开发者模式,然后把下载好的插件拖进去,打开插件配置:
然后即可访问:
(2)ubuntu安装部署ollama
一般linux系统安装部署ollama有2种方法,一种是docker容器部署,一种是直接下载部署,下面介绍的是直接安装部署。打开官网可以看到:https://ollama.com/download/linux
下载安装命令:
curl -fsSL https://ollama.com/install.sh | sh
如果遇到github下载慢可以使用以下方式尝试解决:
sudo vim /etc/hosts
# github 注意下面的IP地址和域名之间有一个空格
140.82.114.3 github.com
199.232.69.194 github.global.ssl.fastly.net
185.199.108.153 assets-cdn.github.com
185.199.109.153 assets-cdn.github.com
185.199.110.153 assets-cdn.github.com
185.199.111.153 assets-cdn.github.com
按 Esc 退出输入模式, :wq 保存完后运行安装命令。
查看ollama运行状态:
systemctl status ollama
修改以下配置文件可以在除了本地的浏览器看到运行状态:
vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
systemctl daemon-reload
systemctl restart ollama
可以http://ip:11434访问
然后就可以运行DeepSeek R1了:
ollama run deepseek-r1:1.5b