【Deepseek】Linux 本地部署 Deepseek

news2025/4/19 4:30:47

前言

本文介绍在 Linux 系统上部署 Deepseek AI。本文教程是面向所有想体验 AI 玩家的一个简易教程，因此即使是小白也可以轻松完成体验，话不多说立马着手去干。

[注]：笔者使用的系统为 Ubuntu 24.10

1. 关于 ollama

Ollama 是一款开源应用，可让你在 Windows、MacOS 和 Linux 上使用命令行界面在本地运行、创建和共享大型语言模型。Ollama 最初支持 Llama2，然后扩展了其模型库以包括 Mistral 和 Phi-2 等模型。Ollama 让您能够轻松开始在您自己的硬件上运行 LLM，专为简化大型语言模型（LLM）在本地机器上的部署和运行而设计。它通过将模型权重、配置和数据打包为 Modelfile，优化了 LLM 的设置和配置过程，使得非专业用户也能方便地管理和运行这些模型。Ollama 支持多种 LLM，并提供跨平台支持，用户可以通过简单的命令行操作或 API 来启动和运行模型。它在文本生成、翻译、问答系统和代码生成等多个应用场景中具有广泛的应用价值。

2. 下载并安装 ollama

ollama 官网链接：https://ollama.com/

进入官网映入眼帘的便是一个线条羊驼头像，正下方就是引人注目的 Download 按钮，直接点击进去。

在这里插入图片描述

这里直接点击复制官网提供的命令，粘贴到 Linux 的终端里执行。

在这里插入图片描述

如果正确安装完的日志信息将会是如下输出，由于笔者这台机器没有 GPU，因此这里会有个 WARNING，常规有 GPU 的机器则会输出 >>> NVIDIA GPU installed. 的字样。

安装完成，可以输入 ollama --version 来检验是否安装成功，如果正确安装则会输出所安装 ollama 的版本号。

在这里插入图片描述

到这里 Ollama 算是安装完成。

2.1. 安装报错的解决方法

如果在上述过程中没有报错则可以跳过此小节。若上述过程有报错的小伙伴可以尝试如下方法。

使用 curl 先下载 ollama 的安装脚本。

$ curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

为下载下来的脚本文件添加可执行权限。

$ chmod +x ollama_install.sh

用如下命令，将 ollama 的默认下载地址指向 Github 下载。

$ sed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.11/|' ollama_install.sh

[注]：该版本是笔者安装时的最新版本，当按照该方法安装时建议查询当前最新版本号，安装最新版的 Ollama。

在这里插入图片描述

[注]：只需要看红线画出的命令，其它为笔者在粘贴的时候多复制了 $ 导致执行错误。

这时用该方法 Ollama 安装完成。

3. 配置模型存储位置

希望使用默认存储位置的小伙伴可以跳过此小节，直接看后面的下载模型。

在 Linux 中 Ollama 默认的模型存储位置通常为 /usr/share/ollama/.ollama/models，当然也可以手动指定其路径。通过修改 OLLAMA_MODELS 环境变量完成。

首先关闭 ollama 服务。

sudo systemctl stop ollama

sudo systemctl disable ollama.service

[注]：若正在运行 ollama 则需要手动停止正在运行的程序 ctrl + c，对于首次安装的小伙伴则可以忽略这一点。

创建需要指定的目录，需要注意的是该目录的所属权必须全部是 root，且目录的权限为 775。

例如笔者这里创建的目录为 /usr/local/ollama/models，为其设置权限。

sudo chown -R root:root /usr/local/ollama/models

sudo chmod -R 775 /usr/local/ollama/models

修改 service 文件。

sudo vim /etc/systemd/system/ollama.service

将其中的 User 和 Group 修改为 root，同时在 [Service] 项中添加一行 Environment，用来指定模型存储路径。

Environment="OLLAMA_MODELS=*********"

[注]：**** 表示所要指定的具体完成路径。

在这里插入图片描述

重载配置并重启 ollama。

sudo systemctl daemon-reload

sudo sudo systemctl start ollama.service

sudo sudo systemctl restart ollama.service

sudo sudo systemctl enable ollama.service

可以通过如下命令查看 ollama 服务是否正常工作。


sudo sudo systemctl status ollama.service

在这里插入图片描述

这时进入新指定的目录则会看到生成了 blobs 目录。
在这里插入图片描述

到此，模型的存储位置修改完成。

4. 下载 Deepseek 模型

Ollama 拉取和使用模型的操作跟 Docker 很像，所以如果有过使用容器的经验的话，用起来会非常顺手。首先我们访问以下 Ollama 官方的模型库中的DeepSeek-R1。

在这里插入图片描述

在这里插入图片描述

这里笔者由于没有 GPU 同时也方便演示选择较小的 7b，点击右边的复制按钮，复制命令。

在这里插入图片描述

将上图中复制的命令中的 run 在终端中修改为 pull，由于 pull 是支持断点续传的，因此非常适合网络环境不稳定的小伙伴，当中断后仍然可以重新 pull 继续之前的下载。

$ ollama pull deepseek-r1:7b

[注]：这里耐心等待几分钟。

在这里插入图片描述

看到 success 字样也就说明模型下载完成了，执行如下命令可查看 ollama 目前所下载的模型列表。

$ ollama list

在这里插入图片描述

进入模型的存储路径同样也会看到下载好的模型。

在这里插入图片描述

5. 体验 Deepseek

运行如下命令进入命令行提问模式，这里的模型需要与下载的模型相同。

$ ollama run deepseek-r1:7b

我们来问个考验 AI 经典的问题吧。

在这里插入图片描述

6. 安装 Chatbox AI

https://www.chatboxai.app/zh

在这里插入图片描述
Linux 下载的文件名为 Chatbox-***.AppImage，事实上是一个可执行文件，这里需要给它修改为可执行的。
在这里插入图片描述

直接执行该文件，发现会报错，缺少一个库文件。

$ ./Chatbox-1.9.8-x86_64.AppImage 
dlopen(): error loading libfuse.so.2

AppImages require FUSE to run. 
You might still be able to extract the contents of this AppImage 
if you run it with the --appimage-extract option. 
See https://github.com/AppImage/AppImageKit/wiki/FUSE 
for more information

执行如下命令安装即可。

sudo apt install libfuse2

再次运行该程序，发现会报如下错误。

$ ./Chatbox-1.9.8-x86_64.AppImage 
[30328:0220/145555.961814:FATAL:setuid_sandbox_host.cc(157)] The SUID sandbox helper binary was found, but is not configured correctly. Rather than run without sandboxing I'm aborting now. You need to make sure that /tmp/.mount_ChatbopUEEU8/chrome-sandbox is owned by root and has mode 4755.
追踪或断点陷阱 (核心已转储)

这可能与笔者使用的系统版本有关 Ubuntu 24.10，在其它版本的 Linux 上不会报错，经过查找只能在其后添加 --no-sandbox 才可以正常启动。

$ ./Chatbox-1.9.8-x86_64.AppImage --no-sandbox

在这里插入图片描述

这里需要配置选择使用本地模型，点击保存。

在这里插入图片描述

现在就可以开始对话，这里还是用与上面同样的问题来提问。

在这里插入图片描述

它也可以解析一些静态网页，例如这里笔者将之前写的《【Deepseek】Windows本地部署Deepseek——小白版》 链接丢进去，该模型可以对该链接的内容简单解析。

在这里插入图片描述

7. 安装 AnythingLLM

官网 https://anythingllm.com/，Anythingllm 是功能强大的语言模型应用框架，它可支持很多本地部署大模型，并提供对用户友好的界面。这里作为与 ollama 搭配，作为本地知识库使用。

在这里插入图片描述

执行如下命令，下载 Linux 版本的 AnythingLLM。

curl -fsSL https://cdn.anythingllm.com/latest/installer.sh | sh

下载好的文件会默认保存在 ~/AnythingLLMDesktop 目录下，进入该目录。

~$ cd AnythingLLMDesktop/

AnythingLLMDesktop$ ls
anythingllm-desktop  start

直接运行，start 脚本，这里可能是因为笔者所使用的系统版本原因，会报如下错误。

AnythingLLMDesktop$ ./start 
[57804:0220/154849.629752:FATAL:setuid_sandbox_host.cc(158)] The SUID sandbox helper binary was found, but is not configured correctly. Rather than run without sandboxing I'm aborting now. You need to make sure that /home/imaginemiracle/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox is owned by root and has mode 4755.
追踪或断点陷阱 (核心已转储)

解决方法如下，进入 ~/AnythingLLMDesktop/anythingllm-desktop/ 目录。

AnythingLLMDesktop$ cd anythingllm-desktop/

anythingllm-desktop$ ls
anythingllm-desktop          icudtl.dat              locales
anythingllm-desktop.desktop  libEGL.so               resources
anythingllm-desktop.png      libffmpeg.so            resources.pak
AppRun                       libGLESv2.so            snapshot_blob.bin
chrome_100_percent.pak       libvk_swiftshader.so    usr
chrome_200_percent.pak       libvulkan.so.1          v8_context_snapshot.bin
chrome_crashpad_handler      LICENSE.electron.txt    vk_swiftshader_icd.json
chrome-sandbox               LICENSES.chromium.html

修改 chrome-sandbox 文件权限，并退出该目录。

$ sudo chown root:root chrome-sandbox
$ sudo chmod 4755 chrome-sandbox
$ cd ~/AnythingLLMDesktop

再次执行 start 脚本。

$ ./start

成功启动 AnythingLLM。

在这里插入图片描述

在这里插入图片描述

接下来在填写邮箱并选择相应选项进入使用，打开设置可以看到这里使用的是本地的模型。

在这里插入图片描述

可以在这里选择上传本地知识库，为模型添加知识库，不过在提问的时候可能需要添加一些提示，模型才会联系到本地的知识库文件。

在这里插入图片描述

#到此恭喜你已经完成了在 Linux 上本地部署 Deepseek。

#完

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2304569.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

git,bash - 从一个远端git库只下载一个文件的方法

git,bash - 从一个远端git库只下载一个文件的方法

文章目录 git,bash - 从一个远端git库只下载一个文件的方法概述笔记写一个bash脚本来自动下载get_github_raw_file_from_url.shreanme_file.shfind_key_value.sh执行命令 END git,bash - 从一个远端git库只下载一个文件的方法 概述 github上有很多大佬上传了电子书库&#xf…
阅读更多...
臻识相机，华夏相机，芊熠车牌识别相机加密解密

臻识相机，华夏相机，芊熠车牌识别相机加密解密

臻识，华夏，芊熠这三种车牌识别相机解密我都试过了，可以正常解密成功，其它品牌我暂时没有测试。超级简单，免费的，白嫖无敌！ 流程： ①：先导出配置文件，例如我以…
阅读更多...
网络安全与措施

网络安全与措施

🍅 点击文末小卡片 ，免费获取网络安全全套资料，资料在手，涨薪更快 # 网络安全问题概述 1) 数据安全 访问（授权访问）；存储（容灾、备份或异地备份等） 2) 应用程序 不能…
阅读更多...
前后端分离系统架构：基于Spring Boot的最佳实践

前后端分离系统架构：基于Spring Boot的最佳实践

前后端分离系统架构图描绘了一个基于Springboot的前端后台分离的系统架构。它强调了前端（客户端）与远程（服务器）的解耦，通过API接口进行交互，分别独立开发和部署。 前后端分离系统架构图 从上到下&#xff…
阅读更多...
内外网文件传输 安全、可控、便捷的跨网数据传输方案

内外网文件传输 安全、可控、便捷的跨网数据传输方案

一、背景与痛点 在内外网隔离的企业网络环境中，员工与外部协作伙伴（如钉钉用户）的文件传输面临以下挑战： 安全性风险：内外网直连可能导致病毒传播、数据泄露。 操作繁琐：传统方式需频繁切换网络环境&…
阅读更多...
抖音试水AI分身；腾讯 AI 战略调整架构；百度旗下小度官宣接入DeepSeek...|网易数智日报

抖音试水AI分身；腾讯 AI 战略调整架构；百度旗下小度官宣接入DeepSeek...|网易数智日报

抖音试水AI分身，字节旗下AI智能体平台扣子已与抖音打通，相关功能内测中 2月19日消息，钛媒体App独家获悉，字节旗下AI智能体开发平台扣子（Coze）已与抖音打通，抖音创作者可在扣子智能体平台打造AI分…
阅读更多...
红帽7基于kickstart搭建PXE环境

红帽7基于kickstart搭建PXE环境

Kickstart 文件是一种配置文件，用于定义 Linux 系统安装过程中的各种参数，如分区、网络配置、软件包选择等。system-config-kickstart 提供了一个图形界面，方便用户快速生成这些配置文件。 用户可以通过图形界面进行系统安装的详细配置&…
阅读更多...
安装PHPStudy 并搭建DVWA靶场

安装PHPStudy 并搭建DVWA靶场

目录 一、PHPStudy 简介 二、DVWA 简介 三、安装 PHPStudy 四：安装 DVWA 一、PHPStudy 简介 phpstudy傻瓜式的一键启动，支持WAMP、WNMP、LAMP、LNMP，一键切换环境（nginxapahce）,一键切换PHP版本（5.1-7…
阅读更多...
SQL写法技巧

SQL写法技巧

目录 1.批量插入，查询，删除数据 缺点 实现方法 1.批量插入数据 2.批量查询数据 3.批量删除数据 4.批量修改数据 解释 2.树型表查询 方法一：递归(适用于多级的情况) 方法二：表的自连接 方法三：MySQL递归&am…
阅读更多...
Ryu：轻量开源，开启 SDN 新程

Ryu：轻量开源，开启 SDN 新程

1. Ryu 控制器概述 定位：轻量级、开源的SDN控制器，专为开发者和研究人员设计，基于Python实现。开发者：由日本NTT实验室主导开发，遵循Apache 2.0开源协议。核心理念：简化SDN应用开发，提供友好的…
阅读更多...
【核心算法篇十四】《深度解密DeepSeek量子机器学习：VQE算法加速的黑科技与工程实践》

【核心算法篇十四】《深度解密DeepSeek量子机器学习：VQE算法加速的黑科技与工程实践》

在经典计算机逼近物理极限的今天，量子计算正以指数级加速潜力颠覆传统计算范式。想象一下，一个需要超级计算机运算千年的化学分子模拟问题，用量子计算机可能只需几分钟——这就是DeepSeek团队在VQE（Variational Quantum Eigensolver）算法加速实践中创造的奇迹。根据，VQE作…
阅读更多...
“国补”带火手机换新，出售旧手机应如何保护个人信息安全

“国补”带火手机换新，出售旧手机应如何保护个人信息安全

在“国补”政策的推动下，手机换新热潮正席卷而来。“国补”以其诱人的补贴力度，成功激发了消费者更换手机的热情。无论是渴望体验最新技术的科技爱好者，还是对旧手机性能不满的普通用户，都纷纷投身到这场手机换新的浪潮之中。 随着大量消费者参与手机换新，二手手机市场迎来…
阅读更多...
数据结构：基数排序(c++实现)

数据结构：基数排序(c++实现)

个人主页 ： 个人主页 个人专栏 ： 《数据结构》 《C语言》《C》《Linux》《网络》 《redis学习笔记》 文章目录 基数排序的定义和基本原理基本原理具体步骤 基数排序的优缺点：代码实现总结 基数排序的定义和基本原理 基数排序(Radix Sort)是一…
阅读更多...
eNSP下载安装（eNsp、WinPcap、Wireshark、VirtualBox下载安装）

eNSP下载安装（eNsp、WinPcap、Wireshark、VirtualBox下载安装）

一、下载 下载网址：https://cloud.grbj.cn/softlink/eNSP%20V100R003C00SPC100%20Setup.exe 备用临时网址：https://linshi.grbj.cn/abdpana/softlink 二、准备工作 系统要求 关闭防火墙 三、安装 3.1安装WinPcap 基本都是下一步，双击&…
阅读更多...
【Linux系统】—— 冯诺依曼体系结构与操作系统初理解

【Linux系统】—— 冯诺依曼体系结构与操作系统初理解

【Linux系统】—— 冯诺依曼体系结构与操作系统初理解 1 冯诺依曼体系结构1.1 基本概念理解1.2 CPU只和内存打交道1.3 为什么冯诺依曼是这种结构1.4 理解数据流动 2 操作系统2.1 什么是操作系统2.2 设计OS的目的2.3 操作系统小知识点2.4 如何理解"管理"2.5 系统调用和…
阅读更多...
Linux 权限系统和软件安装（二）：深入理解 Linux 权限系统

Linux 权限系统和软件安装（二）：深入理解 Linux 权限系统

在 Linux 的世界里，权限系统犹如一位忠诚的卫士，严密守护着系统中的文件与目录，确保只有具备相应权限的用户才能进行操作。与其他一些操作系统不同，Linux 并不依据文件后缀名来标识文件的操作权限，而是构建了一套独特且…
阅读更多...
Windows 中的启动项如何打开？管理电脑启动程序的三种方法

Windows 中的启动项如何打开？管理电脑启动程序的三种方法

在日常使用电脑时，我们经常会发现一些应用程序在开机时自动启动，这不仅会拖慢系统的启动速度，还可能占用不必要的系统资源。幸运的是，通过几个简单的步骤，你可以轻松管理这些开机自启的应用程序。接下来，我…
阅读更多...
uniapp邪门事件

uniapp邪门事件

很久之前在这篇《THREEJS 在 uni-app 中使用（微信小程序）》：THREEJS 在 uni-app 中使用（微信小程序）_uni-app_帶刺的小葡萄-华为开发者空间 中学到了如何在uniapp的微信小程序里接入three.js的3d模型 由于小程序自身很…
阅读更多...
百度首页上线 DeepSeek 入口，免费使用

百度首页上线 DeepSeek 入口，免费使用

大家好，我是小悟。 百度首页正式上线了 DeepSeek 入口，这一重磅消息瞬间在技术圈掀起了惊涛骇浪，各大平台都被刷爆了屏。 百度这次可太给力了，PC 端开放仅 1 小时，就有超千万人涌入体验。这速度，简直比火…
阅读更多...
PLC通讯

PLC通讯

PPI通讯 是西门子公司专为s7-200系列plc开发的通讯协议。内置于s7-200 CPU中。PPI协议物理上基于RS-485口，通过屏蔽双绞线就可以实现PPI通讯。PPI协议是一种主-从协议。主站设备发送要求到从站设备，从站设备响应，从站不能主动发出信息。主站…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023