（linux系统环境下）ollama + fastgpt搭建本地私有大模型

news2025/4/21 4:39:54

一、安装VM虚拟机

1、安装VM

本文提供的15版本：以及CentOS7

链接: https://pan.baidu.com/s/15z4_8S1U21v_fQTSO1zZuw?pwd=9hrn 提取码: 9hrn

可参照以下安装方式，不在赘述。

地址：https://blog.csdn.net/weixin_74195551/article/details/127288338

二、安装ollama

1、在ollama官网下载找到linux点击复制，然偶在命令行右键复制（注意如果只是虚拟机的话没法直接复制，建议安装一个远程控制终端）

等待下载完成，建议早上或者晚上下载（因为本机已经下载所以不在下载）

2、下载模型

ollama官网顶部Models，进入模型列表界面。

复制完成后进入linux终端，并开始下载模型，将复制的模型 粘贴并回车。

等待就行

上图为拉取进度，完成后会自动进行编译。

经过以上步骤本地大模型llama3以安装完成，接下来我们通过docker进行搭建fastgpt。

三、安装docker

注：在安装docker之前如果没有安装git建议安装git。具体操作（可以百度，一大堆）：https://blog.csdn.net/m0_52985087/article/details/136205445

1、具体安装：
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
# 如失效，自行百度

四、部署Fastgpt

1、开始部署

Fastgpt开源项目地址：https://github.com/labring/FastGPT

Fastgpt官方docker模式部署地址：https://doc.fastgpt.in/docs/development/docker/

方法如下：按下边步骤在虚拟机终端输入

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# pgvector 版本(测试推荐，简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

最后通过ls查看下载是否成果：

注意：执行前修改docker-compose.yml中的内容,取消阿里云的注释，将dockerc hub的源注释。（“自从2023年5月中旬，著名Docker 容器平台： http://hub.docker.com “不知” 何种原因国内均无法正常访问了。”）

本人修改如下：可直接复制

注意如果mysql端口冲突请修改端口
# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
# 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
# 如何无法访问 dockerhub 和 git，可以用阿里云（阿里云没有arm包）

version: '3.3'
services:
  # db
  pg:
    # image: pgvector/pgvector:0.7.0-pg15 # docker hub
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
    container_name: pg
    restart: always
    ports: # 生产环境建议不要暴露
      - 5432:5432
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  mongo:
    # image: mongo:5.0.18 # dockerhub
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    # image: mongo:4.4.29 # cpu不支持AVX时候使用
    container_name: mongo
    restart: always
    ports:
      - 27017:27017
    networks:
      - fastgpt
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=myusername
      - MONGO_INITDB_ROOT_PASSWORD=mypassword
    volumes:
      - ./mongo/data:/data/db
    entrypoint:
      - bash
      - -c
      - |
        openssl rand -base64 128 > /data/mongodb.key
        chmod 400 /data/mongodb.key
        chown 999:999 /data/mongodb.key
        echo 'const isInited = rs.status().ok === 1
        if(!isInited){
          rs.initiate({
              _id: "rs0",
              members: [
                  { _id: 0, host: "mongo:27017" }
              ]
          })
        }' > /data/initReplicaSet.js
        # 启动MongoDB服务
        exec docker-entrypoint.sh "$$@" &

        # 等待MongoDB服务启动
        until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
          echo "Waiting for MongoDB to start..."
          sleep 2
        done

        # 执行初始化副本集的脚本
        mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js

        # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
        wait $$!

  # fastgpt
  sandbox:
    container_name: sandbox
    # image: ghcr.io/labring/fastgpt-sandbox:latest # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest # 阿里云
    networks:
      - fastgpt
    restart: always
  fastgpt:
    container_name: fastgpt
    # image: ghcr.io/labring/fastgpt:v4.8.7 # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.7 # 阿里云
    ports:
      - 3000:3000
    networks:
      - fastgpt
    depends_on:
      - mongo
      - pg
      - sandbox
    restart: always
    environment:
      # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
      - DEFAULT_ROOT_PSW=1234
      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
      - OPENAI_BASE_URL=http://oneapi:3000/v1
      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
      - CHAT_API_KEY=sk-fastgpt
      # 数据库最大连接数
      - DB_MAX_LINK=30
      # 登录凭证密钥
      - TOKEN_KEY=any
      # root的密钥，常用于升级时候的初始化请求
      - ROOT_KEY=root_key
      # 文件阅读加密
      - FILE_TOKEN_KEY=filetoken
      # MongoDB 连接参数. 用户名myusername,密码mypassword。
      - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
      # pg 连接参数
      - PG_URL=postgresql://username:password@pg:5432/postgres
      # sandbox 地址
      - SANDBOX_URL=http://sandbox:3000
      # 日志等级: debug, info, warn, error
      - LOG_LEVEL=info
      - STORE_LOG_LEVEL=warn
    volumes:
      - ./config.json:/app/data/config.json

  # oneapi
  mysql:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
    # image: mysql:8.0.36
    container_name: mysql
    restart: always
    ports:
      - 3307:3307
    networks:
      - fastgpt
    command: --default-authentication-plugin=mysql_native_password
    environment:
      # 默认root密码，仅首次运行有效
      MYSQL_ROOT_PASSWORD: oneapimmysql
      MYSQL_DATABASE: oneapi
    volumes:
      - ./mysql:/var/lib/mysql
  oneapi:
    container_name: oneapi
    # image: ghcr.io/songquanpeng/one-api:0.6.7
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
    ports:
      - 3001:3000
    depends_on:
      - mysql
    networks:
      - fastgpt
    restart: always
    environment:
      # mysql 连接参数
      - SQL_DSN=root:oneapimmysql@tcp(mysql:3307)/oneapi
      # 登录凭证加密密钥
      - SESSION_SECRET=oneapikey
      # 内存缓存
      - MEMORY_CACHE_ENABLED=true
      # 启动聚合更新，减少数据交互频率
      - BATCH_UPDATE_ENABLED=true
      # 聚合更新时长
      - BATCH_UPDATE_INTERVAL=10
      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
      - INITIAL_ROOT_TOKEN=fastgpt
    volumes:
      - ./oneapi:/data
networks:
  fastgpt:

文件创建好并拷贝出git上对应的两个文件内容，并终端进入当前文件夹执行代码：docker-compose up -d

然后等待安装完成（由于我电脑已经完成安装，就不演示了）。如图11

安装完成后

2、配置本地llama3大模型

接下来配置Fastgpt并使用咱们导入的本地大模型llama3来进行创建chat 或者 agent了。

如果没有终端工具可直接在虚拟机CentOS终端按如下操作：

回车进入后：删除所有内容复制本文提供的，或者挨个取消阿里云注释，然后将dokcer Hub源注释

（注，如果没有安装Vim需要安装Vim编辑器，百度）

3、配置fastgpt的模型

进入最开始的fastgpt文件夹。找到config.json,配置llama3模型，位置和代码如下：

如果没有终端工具可直接在虚拟机CentOS终端按如下操作：

4、启动容器

在 docker-compose.yml 同级目录下执行。请确保docker-compose版本最好在2.17以上，否则可能无法执行自动化命令。

# 启动容器
docker-compose up -d
# 等待10s，OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题，不重启的话会提示找不到渠道，临时手动重启一次解决，等待作者修复)
docker restart oneapi
5、访问fastgpt

在终端CentOS中输入ipconfig或者百度如何查询自己的ip地址

地址：ip：3000，默认用户名：root 密码：1234

2、配置应用chat、agent等：

选择一个大模型，配置到你创建的应用中。

完成模型选择后进行 发布，发布后即可在右变边的聊天框中输入信息，进行对话。

欢迎您关注我的原创公众号【GISer世界】，不定期分享资源以及GIS面试题，本期分享到这里就结束了。**

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1954321.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于Java的房租租赁小程序/SSM的租房系统/房屋租赁平台/Springboot的公寓出租管理系统/课程设计/附源码

基于Java的房租租赁小程序/SSM的租房系统/房屋租赁平台/Springboot的公寓出租管理系统/课程设计/附源码

摘要 二十一世纪以来，随着互联网技术的不断发展，各种互联网应用已经普及大众。传统租房需要去房产中介，不仅花费更多的时间经历，而且房源选择少，价格并不透明，租客能选到满意房屋的难度大，应用…
阅读更多...
必须忘记: 遗忘的重要性

必须忘记: 遗忘的重要性

必须忘记: 遗忘的重要性 1. 为什么可以举一反三? 1.1. 过度拟合 有一个 AI 概念叫 “过度拟合”: 在训练数据上表现过于良好, 而无法预测其他数据了[2] 1.2. 隐藏坦克 1980 年的机器学习项目, 目标判断树林中是否有隐藏坦克[3] 他们收集了200照片，100张隐藏了…
阅读更多...
探索科技新境界，体验系统维护的极致自由—蓝屏工具箱4.0全新登场

探索科技新境界，体验系统维护的极致自由—蓝屏工具箱4.0全新登场

官网：蓝屏工具箱官网 下载链接：蓝屏工具箱最新版安装包官方版下载 在数字化浪潮席卷全球的今天，软件工具已不仅仅是简单的代码集合，它们如同工匠手中的雕刻刀，精细打磨、雕琢着数字世界的每一个角落。创峄公司深谙此道…
阅读更多...
【NPU 系列专栏 3.2 -- ARM NPU 周易(Zhouyi) 与 周易 X2 详细介绍】

【NPU 系列专栏 3.2 -- ARM NPU 周易(Zhouyi) 与 周易 X2 详细介绍】

请阅读【嵌入式及芯片开发学必备专栏】 文章目录 周易（Zhouyi）NPU 简介周易 NPU周易 NPU 型号和算力周易 NPU 应用场景周易 X2 NPU 简介周易 X2 NPU主要特点周易 X2 NPU型号和算力周易 X2 NPU 应用场景周易 NPU 和 周易 X2 NPU 的对比使用周易 NPU 进行图像分类使用周易 X2 N…
阅读更多...
【C++】选择语句-多行if语句

【C++】选择语句-多行if语句

语法格式 if(条件) {条件满足后执行的操作} else {条件不满足执行的操作} 下面是一个实例 #include<iostream> using namespace std;int main() {//选择结构 - 多行if语句//输入考试分数&#xff0c;如果考试分数大于600&#xff0c;视为考上一本大学&#xff0c;在屏…
阅读更多...
spring IOC DI -- IOC详解

spring IOC DI -- IOC详解

T04BF &#x1f44b;专栏: 算法|JAVA|MySQL|C语言 &#x1faf5; 今天你敲代码了吗 文章目录 4.2 Ioc 详解4.2.1 Bean的存储Controller(控制器存储)Service (服务存储)Repository(仓库存储)Component(组件存储)Configuration(配置存储) 4.2.2 为什么需要这么多类注解?4.2.3方法…
阅读更多...
工程人的“恐惧”

工程人的“恐惧”

说实话&#xff0c;工程人可真是不容易啊&#xff01;他们得面对一大堆的挑战和难题&#xff0c;有时候&#xff0c;这些事情足以让任何人感到心惊胆战。想象一下&#xff0c;在施工现场&#xff0c;安全可是头等大事。万一出了啥岔子&#xff0c;后果真是不堪设想。所以呢&…
阅读更多...
FPGA实现LVDS接口（2）--IDDR原语的介绍及使用（仿真/源码）

FPGA实现LVDS接口（2）--IDDR原语的介绍及使用（仿真/源码）

目录 1、IDDR是什么？ 2、IDDR的使用 2.1、OPPOSITE_EDGE模式 2.2、SAME_EDGE模式 2.3、SAME_EDGE_PIPELINED模式 3、对IDDR的仿真分析 3.1、OPPOSITE_EDGE模式的仿真结果 3.2、SAME_EDGE模式的仿真结果 3.3、SAME_EDGE_PIPELINED模式 4、IDDR在FPGA底层的布局和布线…
阅读更多...
Android studio下载与安装（Windows）

Android studio下载与安装（Windows）

一、安装前依赖 需要在安装前先部署上java环境。 二、下载安装 下载主要是从官网上下载&#xff0c;以下提供一个下载途径&#xff1a;我用夸克网盘分享了「android-studio-2022.3.1.15-windows.zip」&#xff0c;链接&#xff1a;https://pan.quark.cn/s/2021fa13e7ac 我提供…
阅读更多...
Golang | Leetcode Golang题解之第295题数据流的中位数

Golang | Leetcode Golang题解之第295题数据流的中位数

题目&#xff1a; 题解&#xff1a; type MedianFinder struct {nums *redblacktree.Treetotal intleft, right iterator }func Constructor() MedianFinder {return MedianFinder{nums: redblacktree.NewWithIntComparator()} }func (mf *MedianFinder) AddNum(…
阅读更多...
全国城市每日气温历史数据（1990-2023.12）

全国城市每日气温历史数据（1990-2023.12）

中国城市每日气温历史数据1990-2023.12一、数据介绍 数据名称&#xff1a;中国城市每日气温历史数据 数据范围&#xff1a;371个城市 样本数量&#xff1a;4607078条 指标范围&#xff1a;每日平均气温、最高/低气温 数据日期&#xff1a;1990.1-2023.12 二、数据指标 行…
阅读更多...
IOS-05 Swift循环控制语句

IOS-05 Swift循环控制语句

在 Swift 编程语言中&#xff0c;控制语句用于决定程序的执行流程&#xff0c;使我们能够根据不同的条件和情况来控制代码的执行顺序。下面我们将详细介绍几种常见的控制语句 一、for 循环 let names ["zhangsan","lisi"] for name in names{print(name…
阅读更多...
eclipse ui bug

eclipse ui bug

eclipse ui bug界面缺陷&#xff0c;可能项目过多&#xff0c;特别maven项目过多&#xff0c;下载&#xff0c;自动编译&#xff0c;加载更新界面异常 所有窗口死活Restore不回去了 1&#xff09;尝试创建项目&#xff0c;还原界面&#xff0c;失败 2&#xff09;关闭所有窗口&…
阅读更多...
Windows搭建Nginx代理本地盘的文件 共享本地文件

Windows搭建Nginx代理本地盘的文件 共享本地文件

一、查询自己的内网IP和外网IP的方法&#xff0c;以及判断是否直接连接到公网 内网IP&#xff0c;即局域网IP&#xff1a; 打开cmd窗口&#xff0c; 输入 ipconfig 后回车 外网IP&#xff0c;即公网IP&#xff1a; 打开cmd窗口&#xff0c;输入curl ifconfig.me指令访问ifconfi…
阅读更多...
新160个crackme - 014-Splish

新160个crackme - 014-Splish

运行分析 需要破解Hard Coded和NameSerial PE分析 ASM程序&#xff0c;32位&#xff0c;无壳 静态分析&动态调试 Hard Coded ida发现关键字符串&#xff0c;进入Hard Code函数 LRESULT __stdcall sub_401178(HWND hWndParent, UINT Msg, WPARAM wParam, LPARAM lParam) {c…
阅读更多...
vue elementui 上传视频 以及上传视频失败重新上传没反应的处理方法

vue elementui 上传视频 以及上传视频失败重新上传没反应的处理方法

<template><el-drawertitle"上传视频"size"50%":visible.sync"drawer":direction"direction"><div class"content"><div class"upload-box" v-if"!secondStep"><!--on-exce…
阅读更多...
谷粒商城实战笔记-72-商品服务-API-属性分组-获取分类属性分组

谷粒商城实战笔记-72-商品服务-API-属性分组-获取分类属性分组

文章目录 一&#xff0c;后端接口开发Controller层修改接口接口测试 二&#xff0c;前端开发 这一节的内容是开发获取分类属性分组的接口。 一&#xff0c;后端接口开发 Controller层修改接口 修改AttrGroupController接口。 RequestMapping("/list/{catelogId}")p…
阅读更多...
Linuxnat网络配置

Linuxnat网络配置

&#x1f4d1;打牌 &#xff1a; da pai ge的个人主页 &#x1f324;️个人专栏 &#xff1a; da pai ge的博客专栏 ☁️宝剑锋从磨砺出&#xff0c;梅花香自苦寒来 ☁️运维工程师的职责&#xff1a;监…
阅读更多...
python—pandas基础（3）

python—pandas基础（3）

文章目录 虚拟变量变换数值变量分段数据分组基于拆分进行筛选分组汇总使用 agg 函数进行汇总引用自定义函数 长宽格式转换长宽型格式的自由互转 多个数据源的合并数据的横向合并concat 命令一维的Series拼接df对象拼接两个df对象拼接&#xff0c;按列进行拼接两个df对象拼接&am…
阅读更多...
55事务、批处理、CBLOB

55事务、批处理、CBLOB

day55 事务 MySQL&#xff1a;每一条语句都属于独立事务,默认自动管理提交的。 如果需要把多条语句当成一个整体&#xff0c;那么就需要把多条语句放在一个事务里面 开启事务&#xff1a;start transaction 提交事务&#xff1a;commit; 回滚事务&#xff1a;rollback 封装事务…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023