ollma安装
官网下载直接下一步下一步即可,没有魔法的朋友可以留言,文章中所用到的文件也给打包了,大家可以直接下载使用通过云盘下载使用。
链接: https://pan.baidu.com/s/12zF9MpQtg1bnMDAQayaSyg 提取码: n9rm
官网地址:https://ollama.com/
安装完成后打开控制面板输入Download列表中的命令进行模型下载和运行,完成这步后ollma已经可以使用了在cmd中。
Model | Parameters | Size | Download |
---|---|---|---|
Llama 3.3 | 70B | 43GB | ollama run llama3.3 |
Llama 3.2 | 3B | 2.0GB | ollama run llama3.2 |
Llama 3.2 | 1B | 1.3GB | ollama run llama3.2:1b |
Llama 3.2 Vision | 11B | 7.9GB | ollama run llama3.2-vision |
Llama 3.2 Vision | 90B | 55GB | ollama run llama3.2-vision:90b |
Llama 3.1 | 8B | 4.7GB | ollama run llama3.1 |
Llama 3.1 | 405B | 231GB | ollama run llama3.1:405b |
Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
Gemma 2 | 2B | 1.6GB | ollama run gemma2:2b |
Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
Mistral | 7B | 4.1GB | ollama run mistral |
Moondream 2 | 1.4B | 829MB | ollama run moondream |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
LLaVA | 7B | 4.5GB | ollama run llava |
Solar | 10.7B | 6.1GB | ollama run solar |
Dify安装
1.docker安装
官网地址:https://www.docker.com/
下载完成后,下一步,下一步即可。
如果安装了git我们可以直接使用git命令讲Dify项目拉取到本地,如果未安装直接下载ZIP即可。
2.Dify安装
#通过docker的命令行面板进入项目的docker目录
cd dify
cd docker
#输入以下命令等待镜像下载完成即可!
cp .env.example .env
docker compose up -d
ollma与Dify集成
1.Dify设置
完成上述操作后通过 http://localhost/install 进入Dify界面,设置登录的账号和密码。
关闭操作1中咱们启动的ollama,使用ollama serve直接启动
接下来来到Dify系统的用户设置中,设置我们本地运行的ollma模型,这里要注意的是模型名称和基础 URL
因为是docker启动的Dify,基础 URL:http://host.docker.internal:11434
模型名称:使用ollma list 查看模型信息,一定要使用 NAME列中的所有字符
功能
我们可以上传自己的本地资料作为知识库的基础信息,也可以创建一些我们我自己应用。