Ollama
1、安装ollama
Windows版本下载:2024WindowsOllama最新0.5.4版本资源-CSDN文库, 下载速度超快,官网太慢了
双击安装,安装成功后,托盘区有Ollama图标
右键View logs打开目录
C:\Users\Administrator\AppData\Local\Ollama
Ollama安装位置并添加环境变量
C:\Users\Administrator\AppData\Local\Programs\Ollama
Ollama app: C:\Users\Administrator\AppData\Local\Programs\Ollama\ollama app.exe
2、修改Ollama监听端口
如修改为8000,不修改其他机器无法访问,因为Ollama默认绑定localhost或者127.0.0.1
先结束托盘区的Ollama, 再添加环境变量OLLAMA_HOST为:18000
Windows开放8000端口访问或者关闭防火墙
netsh advfirewall set allprofiles state off
测试Ollama在运行
http://192.168.146.101:18000
3、ollama拉取镜像
ollama pull snowflake-arctic-embed2:latest
ollama pull bge-m3:latest
ollama pull qwen2.5:7b
ollama pull glm4:9b
ollama pull llama2-chinese:7b
ollama pull llama3.2:3b
4、ollama查看镜像
5、ollama部署web-ui
git clone https://github.com/open-webui/open-webui.git
cd open-webui
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://192.168.1.17:50080 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Dify
1、安装部署Dify
# 下载源码
git clone https://gitee.com/liuchuangjun/dify.git
(注意gitee中代码最新为0.6.11, 不支持chatflow)
需要去github上下载源码
https://github.com/langgenius/dify.git
cd dify
# 安装运行docker compose
cd docker
docker compose up -d
(如果失败则单独拉取镜像
docker pull langgenius/dify-api:0.6.11
docker pull langgenius/dify-web:0.6.11
docker pull langgenius/dify-sandbox:0.2.1
docker pull semitechnologies/weaviate:1.19.0
)
# 注册管理员账号
http://192.168.1.39/install