安装ollama
官网的指令太慢了,使用以下指令加速:
export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh
修改环境变量
sudo systemctl stop ollama
参考链接
vim /etc/systemd/system/ollama.service
修改Restart为No使得ollama服务不自动重启
gedit ~/.bashrc
添加以下内容
export OLLAMA_HOST=0.0.0.0:11434 #修改host,使得所有ip都可以访问。
export OLLAMA_MODELS=/media/DISK4TB/personal/lbw/.ollama/models #修改模型存储路径
export OLLAMA_KEEP_ALIVE=24h #修改模型在线时间为24h
而后运行以下指令重启ollama serve
sudo systemctl stop ollama
sudo systemctl daemon-reload
sudo systemctl start ollama
ollama serve
windosw上修改环境变量:添加链接描述
运行ollama模型
ollama run llama3.2
等待模型下载后会运行
安装dify
参考链接 添加链接描述
通过docker运行即可。
在dify中配置ollama模型
在浏览器输入网址:http://localhost/signin
第一次登录需要注册,如果注册完了,就登录即可。
在右上角点设置->模型供应商->安装模型供应商->安装ollama
参考https://docs.dify.ai/zh-hans/development/models-integration/ollama 添加ollama,如图所示。
注意,模型名称需要准确,可以通过ollama ps 获得
基础URL可以填写本地ip地址即可
添加知识库
参考:添加链接描述
首先pull一个embedding model。
ollama pull bge-m3
而后,在dify上添加一下,和添加LLM一样的步骤,只不过选择Text embedding