注：如果下面的所有操作，需要访问到 Github，可以先看这篇文章，了解如何流畅连接 Github
【Github】如何流畅链接Github.com-CSDN博客
一、下载 Ollama
1、访问网址 Ollama，点击下载 Ollama 到本地
选择自己计算机的系统类型，下载对应的即可：
二、将 DeepSeek 部署至本地
2、返回上一页，点击 DeepSeek-R1
3、选择自己电脑显存大小对应的安装选项
左侧多少多少 b：这是指该模型有多少参数量，b 是指 billion（亿）
右侧多少多少GB：这是指需要占用的显存大小，你需要根据自己电脑显存大小来安装对应大小的模型
查看自己机器的显存大小：
比如下面这台机器的显存大小为 2.0GB ，则对应安装 1.5b 的那个
安装需要一定时间，需要等待一下（有安装进度条）
三、启动运行大模型
4、启动运行大模型
打开终端，输入你安装对应模型的 启动命令，即可使用大模型
四、将本地 LLM 接入CherryStudio
经过上文指引，我们已经将DeepSeek大模型部署至本地，但是，在这个黑框框的终端上使用该大模型是不是有点不美观，下文讲解如何将我们的本地 LLM 接入CherryStudio，让本地模型在 CherryStudio上运行：
1、下载 CherryStudio
Cherry Studio - 全能的AI助手 (cherry-ai.com)
进入官网，点击下载对应自己系统的版本即可
2、找到模型服务中的 Ollama
3、选择你本地部署的那个 LLM
再点击检查，并确认：
4、选择连接上的 LLM 进行使用
至此，我们就已经将本地部署的大语言模型连接上了 CherryStudio 这个平台，之后你就可以在这个平台使用你的本地语言模型
五、使用 CherryStudio 上的其他模型服务
我们不仅可以将自己本地部署的大语言模型连接上了 CherryStudio ，然后使用。
我们也可以使用其他公司提供的模型服务，比如硅基流动
1、登录注册 硅基流动 账号
SiliconFlow, Accelerate AGI to Benefit Humanity
先注册一个账号
2、新建并复制密钥
将密钥粘贴在 CherryStudio 上
3、点击管理，选择更多模型
选择，并按加号即可
4、使用模型
六、了解：将AI大模型部署到本地有什么用？
（注：下文是由AI生成的（刚好可以试试！（doge）））
将AI大模型部署到本地有许多实际作用和优势，尤其是在特定场景下，这种部署方式可以提供更高的灵活性、隐私性和性能。以下是具体的作用和应用场景：
1. 数据隐私与安全性
- 作用: 将大模型部署到本地可以避免敏感数据通过互联网传输到云端，从而降低数据泄露的风险。
- 适用场景:
- 医疗行业：处理患者病历、影像等敏感信息。
- 金融行业：分析交易数据或客户信息。
- 政府机构：涉及国家安全或机密信息的场景。
2. 减少网络依赖
- 作用: 在没有稳定互联网连接的情况下，本地部署的大模型仍然可以正常运行。
- 适用场景:
- 工业现场：如工厂车间、矿井等环境，可能缺乏稳定的网络连接。
- 军事或野外作业：如战场、偏远地区勘探等。
3. 提高响应速度
- 作用: 数据无需上传到云端处理，减少了网络延迟，能够实现更快的推理速度。
- 适用场景:
- 实时交互应用：如智能客服、语音助手。
- 自动驾驶：需要快速决策以确保安全。
- 游戏开发：实时生成内容（Procedural Content Generation）。
4. 降低成本
- 作用: 长期使用云服务可能会产生较高的计算费用，而本地部署可以通过一次性硬件投资来降低成本。
- 适用场景:
- 中小型企业：希望在预算有限的情况下使用大模型。
- 科研机构：进行长期实验或研究。
5. 定制化与优化
- 作用: 本地部署允许开发者对模型进行深度定制，包括裁剪、优化和微调，以适应特定任务需求。
- 适用场景:
- 垂直领域应用：如法律咨询、医学诊断、教育辅导等。
- 特定硬件平台：针对嵌入式设备或高性能服务器进行优化。
6. 支持离线应用
- 作用: 本地部署使得大模型可以在完全离线的环境中运行，适用于无法联网的场景。
- 适用场景:
- 智能家居设备：如语音控制的家电。
- 车载系统：如导航、语音识别等功能。
7. 增强可控性
- 作用: 本地部署让用户对模型的运行环境有更强的控制权，可以自由调整资源分配、监控模型性能等。
- 适用场景:
- 企业内部应用：如文档生成、代码辅助开发。
- 教育培训：为学生提供专属的AI学习助手。
8. 提升用户体验
- 作用: 本地部署可以避免因网络波动导致的服务中断，提供更流畅的用户体验。
- 适用场景:
- 个人用户：如作家、设计师、程序员等需要高效创作工具的人群。
- 创意产业：如视频编辑、音乐生成等。
9. 合规性与法规要求
- 作用: 在某些国家或地区，数据存储和处理必须遵守严格的法律法规（如GDPR），本地部署可以帮助满足这些要求。
- 适用场景:
- 法律事务：确保数据符合当地法规。
- 国际业务：跨国公司需要遵守不同国家的数据保护政策。
10. 促进边缘计算
- 作用: 大模型本地化是边缘计算的重要组成部分，能够推动更多智能化设备的普及。
- 适用场景:
- 智能城市：如交通监控、安防系统。
- 工业物联网：如预测性维护、质量检测。
总结
将AI大模型部署到本地并不是简单的技术选择，而是根据具体需求做出的战略决策。它能够在隐私保护、成本控制、性能优化等方面带来显著优势，同时也能满足特定行业的特殊需求。然而，本地部署也面临一定的挑战，例如硬件资源要求高、运维复杂度增加等，因此需要综合考虑技术、经济和业务因素来决定是否采用这种方式。
