社区版Dify + Ollama + DeepSeek-R1 (14b)实现私有化LLM推理
- 一 、LLM推理模型简介
- 为什么要用推理模型?
- DeepSeek R1简介
- 二、具体实现过程
- 三、Dify 安装和专栏的以往文章推荐

一 、LLM推理模型简介
为什么要用推理模型?
大模型本身就具备推理能力,为什么还需要推理模型,深度思考?
简单地说 ,就是推理能力相对较低,只能处理相对简单的问题,而不会深入思考更加复杂的问题,所以 OpenAI 发布了o1 ,可以做各种考试的题目。但是 o1 并不开源 ,价格看起来遥不可及。
值此,一个国内不怎么出名的公司,DeepSeek ,发布了V3,用一种低成本实现的高水准的LLM。(557万美元训练出671B的模型)开源免费可商用噢,随后不久就发布了一个初代的推理模型:DeepSeek-R1 和DeepSeek-R1-Zero。
DeepSeek R1简介
DeepSeek R1 论文 中说到,他们摒弃了SFT,通过大规模的强化学习来激励推理 ,得到了和openAI o1 不相上下的效果,这是初代的推理模型,他们开源了,并且由千问和llama 模型来蒸馏出了不同的型号(1.5b,7b,8b,8b,14b,32b,32b,70b),供大家推理使用!
图像来源:《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》
二、具体实现过程
- 如果部署了Dify和Ollama 其实很简单了。如果没有请看已成功安装Dify教程
- 然后安装Ollama 教程看篇3. 本地ollama搭建 。
记得启动:
ollama serve
- 安装好Ollama之后,到ollama-deepseek-r1 仓库复制你要的模型命令:
ollama run deepseek-r1:14b
- 随即查看是否可以给调用:
http://your_ip_addr:11434/api/tags
- 然后继续,按照这里的教程:
最后,dify 搭建工作流发布即可:
三、Dify 安装和专栏的以往文章推荐
- Dify安装时会遇到的网络问题,已成功安装Dify教程
- Dify 部署LLM 可以参考这里,Dify实现Ollama3.2-vision多模态聊天
- 社区版Dify +ComfyUI 实现 Flux 文生图
- 并且欢迎关注我的 社区版 Dify 开发专栏