LM Studio

LM Studio是一款支持离线大模型部署的推理服务框架，提供了易用的大模型部署web框架，支持Linux、Mac、Windows等平台，并提供了OpenAI兼容的SDK接口，主要使用LLama.cpp和MLX推理后端，在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。

环境信息

• 机器信息：Mac studio M2 192G， MacOS
• 部署模型：部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
• 部署框架：LM Studio 0.3.13

安装

• LM Studio官网下载安装文件，正常安装即可。
  

模型下载

通过命令行或者web界面进行大模型下载时，默认走huggingface.co，国内需要特殊设置才能访问，因此推荐换掉该源使用modelscope或者hf-mirror进行下载。

• 下载源更换：
  • 命令行进入目录：/Applications/LM Studio.app/Contents/Resources/app/.webpack，执行open . ，会以文件形式弹出该目录
  • 文本编辑器分别打开文件：main/index.js和rederer/main_window.js，选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co，全部替换，保存关闭
  • 重启LM Studio即可。
• 大模型下载：
  • 方式一：web页面下载
    在web页面选择需要下载的大模型，等待完成即可，完成后在web界面l或者命令行load（lms load [模型名称]）。
  • 方式二：命令行形式下载
    在命令窗口使用命令 lms get [model name], 模型名称需要上述下载源里面存在，完成后在web界面l或者命令行load（lms load [模型名称]）。
  • 方式三：Git lfs 下载
    上述两种方式，我这儿下载时经常遇到下载暂停的形象，为解决这个问题，推荐 Git 大文件下载方式（推荐Modelscope）。
    • 安装Git lfs、初始化git lfs，可自行deepseek问下。
    • 模型下载后（Mac上通常选择mlx-community仓库中的mlx模型）将其放入目录：~/.lmstudio/models，结构是：仓库名称(可自定义)->包含文件权重的文件夹（文件夹名称可自定义）
    • 最后在web界面l或者命令行load（lms load [模型名称]）。
    • 注意：也可通过lms imort命令去导入，但是文件夹下只能含有一个文件，而safetensors文件基本是多个，所以不是很推荐

模型服务

• 模型load完成后，可在web页面聊天，lm studio自带web聊天界面
• 模型load完成后，可使用OpenAI SDK接口调用，若提供给局域网其他使用，需开启local server模型并开启局域网访问，可在web界面操作

参考文献

• LM Studio Docs
• 在 MacOS 上为 LM Studio 更换镜像源