OLLAMA+FASTGPT+M3E 大模型本地化部署手记

news2024/12/15 1:03:06

目录

1.安装ollama 0.5.1

2.下载大模型 qwen2.5 3b

3.开启WSL

4.更新wsl

5.安装ubuntu

6.docker下载

6.1 修改docker镜像源

6.2 开启WSL integration

7.安装fastgpt 

7.1 创建fastgpt文件夹

7.2 下载fastgpt配置文件

8.启动容器

9.M3E下载

9.1 下载运行命令

9.2 开机自动运行

10.oneapi配置

10.1 配置ollama渠道

10.2 配置渠道m3e

10.3 创建令牌 

10. 4 将创建的fastGPT令牌放置docker-compose.yml文件中

10.5 修改config.json

10.5 重启容器

11. FastGTP配置与使用

11.0 登录

11.1 创建知识库

11.2 添加知识库内容

12.创建应用

13. 知识问答

1.安装ollama 0.5.1

官网地址 ollama.com  

直接下载速度太慢，使用加速：

  • https://mirror.ghproxy.com/https://github.com/ollama/ollama/releases/download/v0.5.1/OllamaSetup.exeGitHub Proxy 代理加速【实测速度超快】

2.下载大模型 qwen2.5 3b

ollama run qwen2.5:3b

3.开启WSL

因为这里使用的win部署，所以要安装wsl,如果是linux系统就没那么麻烦 控制面板->程序->程序和功能 ​

4.更新wsl

wsl --set-default-version 2


wsl --update --web-download

5.安装ubuntu

wsl --install -d Ubuntu

 反馈：

解决办法：ip138.com 查询 域名对应的IP地址，然后修改host，添加对上面地址的解析。

用户名 密码 wf

6.docker下载


官网下载：  docker官网

然后安装即可

安装好后，启动docker desktop

6.1 修改docker镜像源


因为docker下载的镜像源默认是国外的地址，所以下载比较慢，换成国内的镜像源下载会比较快一点

{
    "registry-mirrors": [
        "https://docker.m.daocloud.io",
        "https://docker.1panel.live",
        "https://hub.rat.dev"
    ]
}

6.2 开启WSL integration

7.安装fastgpt 

7.1 创建fastgpt文件夹

先创建一个文件夹来放置一些配置文件

mkdir fastgpt
cd fastgpt

7.2 下载fastgpt配置文件

用命令下载fastgpt配置文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

curl -O https://raw.gitmirror.com/labring/FastGPT/main/projects/app/data/config.json

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json 下载不下来的话，重新配置host：185.199.108.133 raw.githubusercontent.com

或者镜像： curl -o docker-compose.yml https://raw.fastgit.org/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

raw.fastgit.org 地址无法解析的话，ip138.com 查询解析，然后配host：

 

用命令下载docker的部署文件

# pgvector 版本(测试推荐，简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

curl -O https://raw.gitmirror.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

8.启动容器

docker-compose up -d

9.M3E下载

9.1 下载运行命令

#查看网络 
docker network ls
# GPU模式启动，并把m3e加载到fastgpt同一个网络
docker run -d -p 6008:6008 --gpus all --name m3e --network fastgpt_fastgpt(这里你们的网络名称可能不是这个，如果不是这个就按照你们查到的网络去填) stawky/m3e-large-api
# CPU模式启动，并把m3e加载到fastgpt同一个网络
docker run -d -p 6008:6008 --name m3e --network fastgpt_fastgpt stawky/m3e-large-api

9.2 m3e 开机自动运行,自动重启设置

docker run -d --restart always -p 6008:6008 --name m3e --network fastgpt_fastgpt stawky/m3e-large-api

10.oneapi配置

模型的处理我们用的是oneapi来处理模型

本机地址：http://localhost:3001/     oneapi登录账号：root 默认密码：123456   登录后立即修改密码为 baxcy516193@z1k3t7w

10.1 配置ollama渠道

或者选择 ollama 类型 但要配置代理，代理地址与上面的BASE URL 一致。

通过测试发现，ollama 类型方式，测试的响应时间要慢。

ollama响应时间普遍在一秒以上：

而自定义渠道方式测试响应时间在一秒以内：

另外就是直接写本机局域网ip地址，会提示连接被拒绝， 

使用docker自动在hosts里面生成的域名host.docker.internal可以正常连接.

base url那里使用docker自动在hosts里面生成的域名host.docker.internal可以正常连接；选择的模型要选择你本地ollama下载的模型，并且要带上参数。比如：qwen2.5:3b

 密钥可以随便填

添加完渠道，记得要点一下测试，测试通过了才能正常使用.

10.2 配置渠道m3e

base url要像我这样填写才行，不然回出问题 模型要选m3e

密钥填：sk-aaabbbcccdddeeefffggghhhiiijjjkkk

提交之后也要点测试，看能不能通

10.3 创建令牌 

选无限额度和永不过期

10. 4 将创建的fastGPT令牌放置docker-compose.yml文件中

复制刚创建的fastGPT令牌放置docker-compose.yml文件中，

文件位置在 d:\fastgpt\docker-compose.yml ：

# root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
      - DEFAULT_ROOT_PSW=1234
      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
      - OPENAI_BASE_URL=http://oneapi:3000/v1
      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
      - CHAT_API_KEY=sk-8Nf0ICoXYi3MtyIJD499F97eFf434387A1D44e307a423291

10.5 修改config.json

首先是加入ollama的本地模型，像我用的是qwen2.5:3b，你们可以根据自己的模型进行填写

"llmModels": [
    {
      "model": "qwen2.5:3b", // 模型名(对应OneAPI中渠道的模型名)
      "name": "ollama", // 模型别名
      "avatar": "/imgs/model/openai.svg", // 模型的logo
      "maxContext": 125000, // 最大上下文
      "maxResponse": 16000, // 最大回复
      "quoteMaxToken": 120000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": true, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
      "usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
      "usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
      "usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
      "usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
      "toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。目前只有gpt支持）
      "functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
      "fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
    },

然后加入向量模型vectorModels

"vectorModels": [
    {
      "model": "m3e", // 模型名（与OneAPI对应）
      "name": "m3e", // 模型展示名
      "avatar": "/imgs/model/openai.svg", // logo
      "charsPointsPrice": 0, // n积分/1k token
      "defaultToken": 700, // 默认文本分割时候的 token
      "maxToken": 3000, // 最大 token
      "weight": 100, // 优先训练权重
      "defaultConfig":{},  // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
      "dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
      "queryConfig": {} // 参训时的额外参数
    },

10.5 重启容器

docker-compose down
docker-compose up -d

11. FastGTP配置与使用

11.0 登录

本机地址：http://localhost:3000

账号：root 密码：1234

11.1 创建知识库

选用通用知识库 索引模型也就是向量模型 文件处理模型就是用来做回答的模型

11.2 添加知识库内容

新建导入，选择   文本数据集，然后选择本地文件，从本地文件夹上传文件。然后上传

根据提示，点击下一步，下一步，确认文件上传。

最后 状态从索引中  变为  已就绪  表示索引创建完成。就可以使用这个知识库了。后续还可以不断添加文件到这个知识库。

12.创建应用

13. 知识问答

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2259645.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[创业之路-190]：《华为战略管理法-DSTE实战体系》-2-华为DSTE战略管理体系概要

[创业之路-190]：《华为战略管理法-DSTE实战体系》-2-华为DSTE战略管理体系概要

目录 一、DSTE战略管理体系与BLM的关系 1、DSTE战略管理体系概述 2、BLM模型概述 3、DSTE与BLM的关系 二、重新认识流程 1. 流程就是业务本身，流程是业务过程的可视化： 2. 流程是业务最佳路径的经验教训总结： 3. 流程是战略知识资产、…
阅读更多...
强化学习路径规划：基于SARSA算法的移动机器人路径规划，可以更改地图大小及起始点，可以自定义障碍物，MATLAB代码

强化学习路径规划：基于SARSA算法的移动机器人路径规划，可以更改地图大小及起始点，可以自定义障碍物，MATLAB代码

一、SARSA算法概述 SARSA（State-Action-Reward-State-Action）是一种在线强化学习算法，用于解决决策问题，特别是在部分可观测的马尔可夫决策过程（POMDPs）中。SARSA算法的核心思想是通过与环境的交互来学习一…
阅读更多...
ABAQUS进行焊接仿真分析（含子程序）

ABAQUS进行焊接仿真分析（含子程序）

0 前言 焊接技术作为现代制造业中的重要连接工艺，广泛应用于汽车、船舶、航空航天、能源等多个行业。焊接接头的质量和性能直接影响到结构件的安全性、可靠性和使用寿命。因此，在焊接过程中如何有效预测和优化焊接过程中的热效应、应力变化以及材料变形等问题，成为了焊接研…
阅读更多...
electron常用方法

electron常用方法

一，,electron设置去除顶部导航栏和menu 1，electron项目 在创建BrowserWindow实例的main.js页面添加frame：false属性 2，electron-vue项目 在src/main/index.js文件下找到创建窗口的方法（createWindow）&…
阅读更多...
location和重定向、代理

location和重定向、代理

location匹配的规则和优先级 在nginx当中，匹配的对象一般是URI来匹配 http://192.168.233.62/usr/local/nginx/html/index.html 182.168.233.61/ location匹配的分类： 多个location一旦匹配其中之一，不在匹配其他location 1、精确匹配 …
阅读更多...
用拉普拉斯变换的方差算法实现相机自动对焦

用拉普拉斯变换的方差算法实现相机自动对焦

使用拉普拉斯变换的方差来计算图像的清晰度的主要原因是拉普拉斯算子可以有效检测图像的边缘和高频细节。图像的清晰度与边缘强度和高频分量的丰富程度密切相关，以下是更详细的解释： 1. 拉普拉斯算子的作用 拉普拉斯算子是一种二阶导数算子，定义为： 它可以在图像中检测快…
阅读更多...
【考前预习】3.计算机网络—数据链路层

【考前预习】3.计算机网络—数据链路层

往期推荐 【考前预习】2.计算机网络—物理层-CSDN博客 【考前预习】1.计算机网络概述-CSDN博客 浅谈云原生--微服务、CICD、Serverless、服务网格_云原生cicd-CSDN博客 子网掩码、网络地址、广播地址、子网划分及计算_子网广播地址-CSDN博客 浅学React和JSX-CSDN博客 目录 1.数…
阅读更多...
【Kafka】Kafka-Eagle 和 Kafka-UI 的安装使用

【Kafka】Kafka-Eagle 和 Kafka-UI 的安装使用

前言 Kafka Eagle 提供了完善的管理页面，可以监控 Kafka 集群的整体运行情况，很方便的去管理和可视化 Kafka 集群的一些信息，例如 Broker 详情、性能指标趋势、Topic 集合、消费者信息等，在生产环境中经常使用。 一、MySQL 环境…
阅读更多...
HCIA-Access V2.5_2_2_2网络通信基础_IP编址与路由

HCIA-Access V2.5_2_2_2网络通信基础_IP编址与路由

网络层数据封装 首先IP地址封装在网络层，它用于标识一台网络设备，其中IP地址分为两个部分，网络地址和主机地址，通过我们采用点分十进制的形式进行表示。 IP地址分类 对IP地址而言，它细分为五类，A,B,C,D,E,…
阅读更多...
TÜLU 3: Pushing Frontiers inOpen Language Model Post-Training

TÜLU 3: Pushing Frontiers inOpen Language Model Post-Training

模型：https://huggingface.co/allenai 技术报告：https://allenai.org/papers/tulu-3-report.pdf 数据集：https://huggingface.co/collections/allenai/tulu-3-datasets-673b8df14442393f7213f372 GitHub：https://github.com/al…
阅读更多...
【卷积神经网络】LeNet实践

【卷积神经网络】LeNet实践

模型建立 数据初始化根据模型搭建前向传播打印模型结构 前向传播数据初始化 def __init__(self):super(LeNet, self).__init__()# 第一层卷积层：# 输入：灰度图像 (1通道，大小 28x28)# 输出：6个特征图 (大小 28x28, 通过padding2保…
阅读更多...
ubuntu20.04复现 Leg-KILO

ubuntu20.04复现 Leg-KILO

这里写目录标题 opencv版本问题下载3.2.0源代码进入解压后的目录创建构建目录运行 CMake 配置 配置时指定一个独立的安装目录，例如 /opt/opencv-3.2：出错： 使用多线程编译错误1： stdlib.h: 没有那个文件或目录错误2：er…
阅读更多...
python学习笔记—7—变量拼接

python学习笔记—7—变量拼接

1. 字符串的拼接 print(var_1 var_2) print("supercarry" "doinb") name "doinb" sex "man" score "100" print("sex:" sex " name:" name " score:" score) 注意： …
阅读更多...
Redis - 消息队列 Stream

Redis - 消息队列 Stream

一、概述 消息队列 定义 消息队列模型：一种分布式系统中的消息传递方案，由消息队列、生产者和消费者组成消息队列：负责存储和管理消息的中间件，也称为消息代理（Message Broker）生产者：负责 产…
阅读更多...
3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf

3D 生成重建034-NerfDiff借助扩散模型直接生成nerf 文章目录 0 论文工作1 论文方法2 实验结果 0 论文工作 感觉这个论文可能能shapE差不多同时期工作，但是shapE是生成任意种类。 本文提出了一种新颖的单图像视图合成方法NerfDiff，该方法利用神经辐射场 …
阅读更多...
聊聊Oracle自适应查询优化

聊聊Oracle自适应查询优化

成也AQO败也AQO 因为工作的原因，我们接触到的客户大部分是金融和运营商行业，这些客户有个最大的特点是追求稳定，对于使用数据库新特性持保守的态度，不会轻易尝试某些可能会导致生产系统不稳定的新特性。上线前通常都会将一些新特…
阅读更多...
【数据库】选择题+填空+简答

【数据库】选择题+填空+简答

1.关于冗余数据的叙述中，不正确的是（） A.冗余的存在容易破坏数据库的完整新 B.冗余的存在给数据库的维护增加困难 C.不应该在数据库中存储任何冗余数据 D.冗余数据是指由基本数据导出的数据 C 2.最终用户使用的数据视图称为（&…
阅读更多...
Comparator.comparing 排序注意

Comparator.comparing 排序注意

1. 对数字型字符串排序 List<String> values new ArrayList<>();values.add("10");values.add("6");values.add("20");values.add("30");values.add("50");//方法1 &#xff08;正确的排序方法&#xff09;//倒…
阅读更多...
R语言的数据结构-矩阵

R语言的数据结构-矩阵

【图书推荐】《R语言医学数据分析实践》-CSDN博客 《R语言医学数据分析实践 李丹 宋立桓 蔡伟祺 清华大学出版社9787302673484》【摘要 书评 试读】- 京东图书 (jd.com) R语言医学数据分析实践-R语言的数据结构-CSDN博客 矩阵是一个二维数组&#xff0c;矩阵中的元素都具有相…
阅读更多...
动态分区存储管理

动态分区存储管理

一、实验目的 目的&#xff1a;熟悉并掌握动态分区分配的各种算法&#xff0c;熟悉并掌握动态分区中分区回收的各种情况&#xff0c;并能够实现分区合并。 任务&#xff1a;用高级语言模拟实现动态分区存储管理。 二、实验内容 1、实验内容 分区分配算法至少实现首次适应算法、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023