一共是两个框架一个是Ktransformer,一个是dify。
Ktransformer用来部署LLM,比如Deepseek,而LLm的应用框架平台Dify主要用来快速搭建基于LLM应用。
这篇教程主要是用来介绍两个框架的交互与对接的,不是部署Ktransformer也部署部署Dify,要部署Dify、Ktransformer可以直接参考官方教程即可。
1、首先确保你的Ktransformer已经部署好且可运行,然后运行一下指令进行重新启动:
ktransformers --model_path deepseek-ai/DeepSeek-V3-0324 --gguf_path deepseek-v3/