win10 安装 Langchain-Chatchat 避坑指南(2023年9月18日v0.2.4版本,包含全部下载内容!)

news2024/11/27 11:44:06

网上教程都是基于外网或者翻墙的,而且细节极其不清晰,尤其是最关键的模型下载。
另外提一句,我的显卡是:3080Ti 16GB版本,运行之后,显存占用13-14GB

1、安装Anaconda(这个就不啰嗦了,网上安装教程一堆)

1.1、先安装Anaconda(https://www.anaconda.com/download/)
1.2、点击“开始”-打开Anaconda Powershell Prompt
1.3、更新 Conda 至最新版本

conda update conda

测试是否安装成功

conda list

如果显示 Conda 及其内部包的列表,则说明安装成功。
1.4、创建虚拟环境

conda create -n Chatchat python==3.10
conda activate Chatchat

2、部署 Langchain-Chatchat

2.1、下载 Langchain-Chatchat

如果GitHub连不上也可以下载这个(v0.2.4版本):https://wwoo.lanzouj.com/iLddg193achi

md D:\Chatchat
cd D:\Chatchat
git clone https://github.com/chatchat-space/Langchain-Chatchat
cd Langchain-Chatchat

2.2、安装其他Python第三方库

# -i http://pypi.douban.com --trusted-host pypi.douban.com:使用豆瓣源进行加速
pip install -r requirements.txt -i http://pypi.douban.com --trusted-host pypi.douban.com

2.3、下载 GPU版 torch(如果使用CPU,就可以略过这一步)

下载地址:https://www.aliyundrive.com/s/v5oLJ3DyWS4
提取码: m0y4

  • pip安装torch(exe文件是压缩文件,双击解压,因为阿里云盘不支持分享压缩文件,百度盘又限速)
# 文件解压到 D:\Chatchat\Langchain-Chatchat
# 之所以使用这个版本,是因为这个版本支持GPU加速(cp310即Python3.10版本)
pip install torch-2.0.1+cu117-cp310-cp310-win_amd64.whl

如果上面提供的torch安装报错,大概率是当前硬件不匹配
我的安装环境:Python3.10 + intel(CPU) + N卡(GPU)
其他硬件可以自己去找一下:https://download.pytorch.org/whl/torch_stable.html

2.4、模型下载(提供阿里云或百度云下载)

网上都是从内地封禁的地址下载(https://huggingface.co),其他指导书改都不改就直接抄过来,极其不厚道
如果不翻墙,下载模型是最耗时的,下面提供官网下载命令(如果能翻墙的话)

  • THUDM/chatglm2-6b 模型:git clone https://huggingface.co/THUDM/chatglm2-6b
  • moka-ai/m3e-base 模型:git clone https://huggingface.co/moka-ai/m3e-base
  • m3e-base下载地址(阿里云):
    • https://www.aliyundrive.com/s/Ea8f7tvDptd 提取码: 59ev
    • exe文件是压缩文件,双击解压
    • Github(应该不是官方库):https://github.com/wangyingdong/m3e-base
  • chatglm2-6b下载地址(百度云):
    • https://pan.baidu.com/s/1rmKUVXuRWt1K67A2QHb24g?pwd=bu5d 提取码: bu5d
    • exe文件是压缩文件,双击解压,坑爹的阿里云盘不支持分享这个文件,所以改成百度云分享了
    • Github:https://github.com/thudm/chatglm2-6b

2.4.1、m3e-base 模型简介

在这里插入图片描述

2.4.2、chatglm2-6b 模型简介

在这里插入图片描述

2.5、修改配置文件

  • 自行创建「models」文件夹
  • 下载模型解压到「models」文件夹中
  • 下面截图有案例

复制模型相关参数配置模板文件 configs/model_config.py.example 存储至项目路径下 ./configs 路径下,并重命名为 model_config.py
复制服务相关参数配置模板文件 configs/server_config.py.example 存储至项目路径下 ./configs 路径下,并重命名为 server_config.py
在这里插入图片描述

2.5.1、修改下载到本地的模型路径

  • model_config.py 模型配置文件修改
    • 其他参数可以根据配置文件中的注释修改,作者很良心,注释写的很详细,给作者点赞!

在这里插入图片描述
在这里插入图片描述

2.5.2、修改启动URL地址

  • server_config.py 服务配置修改

在这里插入图片描述

3、知识库初始化与迁移

知识库迁移目前我没找到具体方法。

当前项目的知识库信息存储在数据库中,在正式运行项目之前请先初始化数据库(我们强烈建议您在执行操作前备份您的知识文件)。

  • 如果您是从 0.1.x 版本升级过来的用户,针对已建立的知识库,请确认知识库的向量库类型、Embedding 模型与 configs/model_config.py 中默认设置一致,如无变化只需以下命令将现有知识库信息添加到数据库即可:
$ python init_database.py
  • 如果您是第一次运行本项目,知识库尚未建立,或者配置文件中的知识库类型、嵌入模型发生变化,或者之前的向量库没有开启 normalize_L2,需要以下命令初始化或重建知识库:
$ python init_database.py --recreate-vs

4、启动webui.py

一键启动脚本 startup.py,一键启动所有 Fastchat 服务、API 服务、WebUI 服务,示例代码:

$ python startup.py -a

并可使用 Ctrl + C 直接关闭所有运行服务。如果一次结束不了,可以多按几次。

可选参数包括 -a (或–all-webui), --all-api, --llm-api, -c (或–controller), --openai-api, -m (或–model-worker), --api, --webui,其中:

  • –all-webui 为一键启动 WebUI 所有依赖服务;
  • –all-api 为一键启动 API 所有依赖服务;
  • –llm-api 为一键启动 Fastchat 所有依赖的 LLM 服务;
  • –openai-api 为仅启动 FastChat 的 controller 和 openai-api-server 服务;
  • 其他为单独服务启动选项。

4.1、或者使用脚本一键启动

  • Langchain.bat 文件内容
call conda activate Chatchat
call python.exe startup.py -a

在这里插入图片描述

  • 双击Langchain.bat,首次启动,会让你输入邮箱,直接回车跳过就行,不跳过,服务不能启动

在这里插入图片描述

  • 正常启动后,会自动打开Web网页

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1023354.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【SpringMVC】JSON注解全局异常处理机制

🎉🎉欢迎来到我的CSDN主页!🎉🎉 🏅我是Java方文山,一个在CSDN分享笔记的博主。📚📚 🌟在这里,我要推荐给大家我的专栏《Spring MVC》。&#x1f3…

Nue JS 造全新的 Web 生态

Nue JS 是最近开源的 Web 前端项目,用于构建用户界面,体积非常小(压缩后 2.3kb)。Nue JS 支持服务器端渲染 (SSR)、反应式组件和 “同构” 组合 ("isomorphic" combinations)。 Vue.js、React.js 或 Svelte,…

Day 01 python学习笔记

1、引入 让我们先写第一个python程序(如果是纯小白的话) 因为我们之前安装了python解释器 所以我们直接win r ---->输入cmd(打开运行终端) >python #(在终端中打开python解释器)>>>pri…

CSDN博客可以添加联系方式了

csdn博客一直不允许留一些联系方式,结果是官方有联系方式路径 在首页,往下拉,左侧就有 点击这个即可添加好友了~ 美滋滋,一起交流, 学习技术 ~

详细介绍如何微调 YOLOv8 姿势模型以进行动物姿势估计--附完整源码

动物姿势估计是计算机视觉的一个研究领域,是人工智能的一个子领域,专注于自动检测和分析图像或视频片段中动物的姿势和位置。目标是确定一只或多只动物身体部位的空间排列,例如头部、四肢和尾巴。这项技术具有广泛的应用,从研究动物行为和生物力学到野生动物保护和监测。 …

CS 创世SD NAND FLASH 存储芯片,比TF卡更小巧轻便易用的大容量存储,TF卡替代方案

文章目录 介绍创世SD卡引脚与NOR Flash存储比较 介绍 SD NAND FLASH(Secure Digital NAND Flash)是一种安全数字 NAND 闪存技术,通常用于存储数据,并且具有一些额外的安全特性。这种技术结合了 NAND 闪存的高密度存储能力和安全性…

JavaScript 期约与异步函数的学习笔记

同步与异步的概念 JavaScript 是一门单线程的语言,这意味着它在任何给定的时间只能执行一个任务。 然而,JavaScript 通过异步编程技术来处理并发操作,以避免阻塞主线程的情况。 在上图中,同步行为的进程 A 因为等待进程 B 执行完…

敏捷开发的优势

在现今这个快速变化的时代,企业对于软件开发的需求也在不断变化。为了满足市场需求,开发出高质量、具有竞争力的软件产品,越来越多的企业开始采用敏捷开发方法。 敏捷开发的优势在于其能够灵活响应变化,提升软件项目的成功率。 敏…

中国艺术溟㠭篆刻作品《止语》

孙溟㠭先生篆刻作品《止语》:“一出生先学说话,却用一生来学闭口,知者不言,言者不知,智者语迟,愚着话多,人不贵牙尖嘴硬,而贵在耳聪目明,癸卯秋月寒舍小窗下溟㠭刊。” 孙…

JDK21发布了!面试官:来,谈下jdk21的新特性!

1.前言 JDK21 计划23年9月19日正式发布,尽管一直以来都是“版随意出,换 8 算我输”,但这么多年这么多版本的折腾,若是之前的 LTS 版本JDK17你还觉得不错,那 JDK21还是有必要关注一下,因为会有一批重要更新…

安全帽检测数据集-VOC-5000张

安全帽的作用是防止物体从天而降。安全帽可以缓冲和减震,分散一定的压力,对于保护人的头部来说功效很大。此外,安全帽还可以预防意外事故,保护工人的身体健康。在户外作业时,安全帽还可以防止阳光和雨水对头部的伤害。…

【每日一题】154. 寻找旋转排序数组中的最小值 II

154. 寻找旋转排序数组中的最小值 II - 力扣(LeetCode) 已知一个长度为 n 的数组,预先按照升序排列,经由 1 到 n 次 旋转 后,得到输入数组。例如,原数组 nums [0,1,4,4,5,6,7] 在变化后可能得到&#xff1…

指数渐变线

指数渐变线是非均匀传输线的一种。为何叫指数渐变线呢?其分布参数变化规律为指数规律,比如:单位长度的电感、电容、特性阻抗。 1、分析过程 从非均匀线的微分方程出发: 对方程两侧同时取微分: 化简得: …

Linux内核源码分析 (B.1)深入理解 Linux 虚拟内存管理

Linux内核源码分析 (B.1)深入理解 Linux 虚拟内存管理 文章目录 Linux内核源码分析 (B.1)深入理解 Linux 虚拟内存管理写在本文开始之前....1. 到底什么是虚拟内存地址2. 为什么要使用虚拟地址访问内存3. 进程虚拟内存空间4\. Linux 进程虚拟内存空间4.1 32 位机器上进程虚拟内…

【Java 基础篇】Properties 结合集合类的使用详解

Java 中的 Properties 类是一个常见的用于管理配置信息的工具,它可以被看作是一种键值对的集合。虽然 Properties 通常用于处理配置文件,但它实际上也可以作为通用的 Map 集合来使用。在本文中,我们将详细探讨如何使用 Properties 作为 Map 集…

逼自己看完,Redis的事务你就掌握了!!!

目录 1、对于事务的理解 1.1、回顾MySQL的事务 1.2、Redis的事务 2、事务命令使用 3、watch的实现原理 3.1、watch用来干什么的? 3.2、watch的实现原理 1、对于事务的理解 1.1、回顾MySQL的事务 在MySQL中,事务有4个特性: 原子性&a…

无人机航测没信号?北斗卫星来解决

无人机航测是利用无人机进行地理信息的采集和处理的航测方式。相比传统的航测手段,无人机航测具备更高的灵活性、更低的成本和更广阔的适应性。无人机航测可以应用于土地测绘、农业植保、城市规划、自然资源调查等多个领域,极大地提高了测绘的效率和准确…

【红包雨功能的】环境部署(弹性伸缩、负载均衡、Redis读写分离、云服务器部署)

文章目录 创建环境创建专用网络VPC安全组创建云服务器打包部署2. Java环境启动项目开机启动任意服务1. 制作服务文件2. 制作启动脚本3. 制作停止脚本4. 增加执行权限5. 设置开机启动 创建镜像继续创建多台云服务器负载均衡弹性伸缩redis的报警规则白名单1. LAMP 环境1. 安装Apa…

Leetcode每日一题:打家劫舍系列Ⅰ、Ⅱ、Ⅲ、Ⅳ(2023.9.16~2023.9.19 C++)

由于之前写过打家劫舍系列,这里直接弄个合集,后面应该还有个iv。 目录 198. 打家劫舍 213. 打家劫舍 II 337. 打家劫舍 III 2560. 打家劫舍 IV 198. 打家劫舍 题目描述: 你是一个专业的小偷,计划偷窃沿街的房屋。每间房内都…

详解TCP/IP协议第四篇:数据在网络中传输方式的分类概述

文章目录 前言 一:面向有连接型与面向无连接型 1:大致概念 2:面向有连接型 3:面向无连接型 二:电路交换与分组交换 1:分组交换概念 2:分组交交换过程 三:根据接收端数量分…