什么是Ollama
Ollama是一个开源的大型语言模型服务工具，它帮助用户快速的运行大模型。浪浪云将它做为一键部署通过简单的安装，用户可以执行一条命令就可以运行开源大型语言模型，如 llama3 ,通以千问。极大地简化了部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。
优点：通过服务器自身算力来运行大模型，无需再为API付费
缺点：非常消耗算力，低配置也就只能跑跑小模型
相关文档
- Dify知识库基于Casaos一键部署
- Dify知识库接入微信
服务器推荐
推荐使用浪浪云服务器，省心 省时 省力 稳定且安全
效果演示
一键部署ollama
接入到Dify后，无需再为api付费
选择这个最低配置就可以安装
设置端口转发访问casaos
设置Ollama端口转发
访问casaos
打开应用商店
搜索安装ollama
安装大模型
选择设置
点击终端
下载千问大模型
ollama run qwen:1.8b
安装成功
测试一下问个你好
可以看到可以回答问题了，但是使用界面不太好，现在将它接入到dify里面使用
现在将它接入到dify里面使用
打开dify 设置
找到模型供应商ollama
访问ollama的api接口
添加千问大模型
可以看到添加模型成功
系统模型设置里的推理模型换为qwen1.8b
切换模型为qwen:1.8b
询问一下看看效果如何，这就成功了
