一、安装lmstudio
1、下载网站:
LM Studio - Discover, download, and run local LLMs
2、直接安装即可,记住安装的路径
二、下载deepseek模型
2.1、下载的流程
1、下载网站
https://huggingface.co/models
2、在搜索框输入:deepseek r1 8b gguf
·
3、选择:llama-8B-GGUF
4、进入后:点击Files and versions
5、点击下载:Llama-8B-Q4_K_M.gguf
三、Lmstudio导入模型文件
3.1、找到存放的目录
1、进入软件后,切换到Power User
2、打开lmstudio软件:看到下载的标识
3、点击后弹出
4、点击:Open Downloads Directory
进入到保存AI模型文件的默认路径是:C:\Users\当前用户名\.lmstudio\models
在model目录下创建:Publisher
在Publisher目录下创建:Repository
将下载的gguf文件:放到"C:\Users\当前用户名\.lmstudio\models\Publisher\Repository" 目录
3.2、加载gguf模型文件
1、进入软件后,找到底下,切换到Power User
2、点击侧边第二个,developer
3、点击:select a model to load
4、选择一个模型文件
5、点击:Load Model
本人电脑配置:12代i5,ddr4内存16G,3060ti8G
四、测试本地模型
1、找到Chat:+号,新增一个聊天框
2、在框内输入问题
五、禁用lmstudio网络
对于不允许泄密的研究,必须要禁用掉网络,对于不涉密的直接用官方满血版更好。
5.1、禁用lmstudio
1、待禁用的应用程序
lmstudio的安装目录:D:\apps_daily\lmstudio\LM Studio\LM Studio.exe
5.2、禁用lmstudio的elavate.exe
1、待禁用的应用程序
lmstudio的安装目录下的resources:D:\apps_daily\lmstudio\LM Studio\resources\elevate.exe
5.3、禁用lmstudio的Ims.exe
1、待禁用的应用程序
当前用户下:C:\Users\Administrator\.lmstudio\bin\Ims.exe
5.4、防火墙的出站和入站
1、选择出站、入站
2、新建规则:此程序的路径是5.1、5.2、5.3的路径
3、阻止连接
4、直接下一步
5、设置好名字和描述:点击完成