Langchain Chatchat：开源代码与离线部署的完美融合

news2024/9/24 23:32:37

写在前面

image-20240708225919384

一.好易智算介绍

1.官网网址

好易智算官网

好易智算共有算力市场、应用市场、交流社区三大功能模式。

image-20240709140507818

2.应用市场

好易智算的应用市场提供了包含 Stable Diffusion WebUI、SadTalker、ComfyUI、Facefusion、Langchain Chatchat、Musetalk、Wav2lip、Fooocus、lora-scripts 等在内的多款应用，涵盖 AI 绘图、视频生成、图片生成及音频生成等多元化场景制作应用，无需部署、开箱即用、即点即用，为用户提供流畅、便捷的创作体验。

image-20240707212319250

3.算力市场

好易智算提供多样化的显卡类型，以及弹性、可扩展的云计算资源，例如：RTX3090、RTX4090d、A100、Atlas 300V、Atlas 300T 等，旨在满足用户对于低成本、高效率的使用需求，确保每一个创新想法都能迅速转化为现实。

image-20240707212303746

二.Langchain Chatchat 介绍

1.什么是 Langchain Chatchat?

Langchain-Chatchat 是一个基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现的，开源、可离线部署的检索增强生成（RAG）大模型知识库项目，

是一个集成多模型的对话平台，实现自然语言交互。 Langchain-Chatchat 是在 Langchain 基础上封装了一层聊天服务，可以对接底层多种离线 LLM（大语言模型）

和在线的 LLM（也可以对接自定义的在线 LLM），提供基于知识库聊天功能相关的一系列 API。

image-20240707213005726

2.Langchain Chatchat 特点

Langchain-Chatchat 构建高 可复用
可自由上传细分专业领域语料自由训练模型，实现不同领域的自然语言深度交互。

  1. 开源代码，随取随用
  2. 支持离线部署，数据隐私性强
  3. 多语言无障碍交流，消除沟通障碍

三.Langchain Chatchat 构建步骤

1.应用入口

在应用市场中找到如图所示的 Langchain Chatchat 应用,点击立即使用。

image-20240707214914537

2.创建应用

在创建应用页面选择合适的机器,主要有计费方式、选择 GPU 等。

计费方式我们这里选择按量计费，创建新应用是默认的,就是我们要创建的Langchain Chatchat应用。

GPU 选择

  • RTX 4090D/24GB
  • CPU: 12 核 内存：60 GB
  • 数据盘：50GB

可以看到价格是 1.88 每小时,未优惠的价格为 2.35 每小时,性价比还是很高的，确认好信息后，我们点击立即创建。

image-20240707215006002

3.我的应用

立即创建后，会自动跳转到我的应用界面，创建新应用会花费一些时间,大概需要 1 分钟的时间引用就创建好了，我们可以点击如图所示的打开应用按钮，会跳转到应用的页面。

image-20240707215301139

四.Langchain Chatchat 会话

1.会话首页

点击打开应用后，会跳转到会话首页，是一个聊天对话框，左侧可以设置一些参数，下面我会详细介绍一下这些参数的作用

image-20240707215328034

2.系统按键区

如图右侧隐藏起来的是系统功能按键区，主要是一些帮助服务，为了体验更好而设置。

image-20240707215353055

3.知识库管理

知识库管理就是我们可以自定义的上传各种各样格式的文件，这些文件通过 embedding 后会存入到向量数据库中供后续问答的时候使用，回答的结果会基于和问题相关的知识库切片进行回答。

知识库管理首页:

image-20240707215712718

4.会话模式

Chatchat 的会话模式多种多样，灵活多样，满足各种需求，主要有如下几类会话类型:

  • LLM 对话

  • 知识库问答

  • 文件对话

  • 搜索引擎问答

  • 自定义 Agent 问答

image-20240707215439869

5.模型种类

模型的种类目前有三种，不同的模型由于训练的参数量不同，会导致回答效果不一样。

LLM 模型

  • chatglm3-6b (Running)

  • zhipu-api (Running)

  • openai-api

image-20240707215458660

6.prompt 设置

prompt 设置主要是为了我们在对面前，告诉大模型一些公共的基础信息或者回答格式，需要基于这些基础信息和回答格式风格进行回答，满足使用者的要求。

image-20240707215514770

7.Temperature 设置

Temperature 主要是控制大模型的发散度的，Temperature 值越小，大模型越严谨，不会随意发散回答，Temperature 值越大，则大模型会根据自己的理解进行发散性的总结回答，我们需要根据不同的需求场景对 Temperature 进行不同的设置。

image-20240707215541391

8.多轮对话

历史对话轮数就是控制多轮对话，对话轮数越大，大模型在回答的时候参考的上下文就越长，回答的时候会基于之前的问答进行参考，进而对新问题有一个更加准确的回答，当然历史对话轮数越大，传给大模型的 token 数也就越大，我们在使用的时候也需要根据自己的需求设置合适的大小。

image-20240707215605985

9.问答效果图

如何指定小学1年级的学习计划

image-20240707215851980

编写一个红黑树的代码

image-20240707220001786

10.关闭应用

使用完成注意关闭应用，避免资源浪费。

image-20240707224210599

五.自定义知识库

1.新建知识库

选择新建知识库，填写新建知识库的名称，给知识库添加简介，并选择合适的向量库类型和 Embedding 模型。

image-20240708230447371

向量库类型

  • es

  • faiss

  • milvus

  • zilliz

  • pg

  • es

  • milvus_kwargs

Embedding 模型

  • ernie-tiny

  • ernie-base

  • text2vec-base

  • text2vec

  • text2vec-paraphrase

  • text2vec-sentence

  • text2vec-multilingual

  • text2vec-bge-large-chinese

  • m3e-small

  • m3e-base

  • m3e-large

  • bge-small-zh

  • bge-base-zh

  • bge-large-zh

  • bge-large-zh-noinstruct

  • bge-base-zh-v1.5

  • bge-large-zh-v1.5

  • piccolo-base-zh

  • piccolo-large-zh

  • nip_gte_sentence-embedding_chinese-large

  • text-embedding-ada-002

  • minimax-api

  • qianfan-api

  • qwen-api

2.上传文件

筛选准备好和当前知识库相关的文件资料，把资料文件上传到知识库，点击添加文件到知识库，同一个知识库可以添加多个文件。

image-20240708231313307

3.向量知识库

可以对文件进行切片处理，其中单文本最大长度和相邻文本重合长度是动态调整的，并且可以自定义是否开启中文标题加强。切片后的结果如下图所示，主要是 JVM 基础知识的一些切片信息。

image-20240708231609415

4.chat 端

在聊天对话框选择对话模式为知识库问答，然后在知识库配置中选择知识库，并且选择召回的条数，以及知识匹配分数阈值，问了一些和知识库 PDF 相关的问题，发现可以很好的回答出来，检索知识库起到了明显的作用。

image-20240708231954851

5.知识库出处

通过点击知识库匹配结果，我们可以看到切片在 PDF 中的出处，进而根据切片进行总结回答，为用户提供一个满意的答案。

image-20240708232223710

六.Langchain Chatchat 使用总结

1.Chatchat 使用总结

在使用 Langchain Chatchat 过程中，我们可以发现 Langchain Chatchat 功能多样，有很多自定义参数可以进行配置，然后流式输出的速度很快，主要原因是运载应用的机器算力强大，非常值得尝试使用。

Langchain Chatchat优点:

  1. 应用运载机器每小时 1.8 元，性价比非常高
  2. 开源代码，随取随用
  3. 支持离线部署，数据隐私性强
  4. 多语言无障碍交流，消除沟通障碍
  5. 支持自定义知识库
  6. 流式输出答案如流水一样,速度非常快，体验很棒

2.好易平台优势点总结

竞品名称劣势我们应对优势
A***L卡源紧张，很难抢到❌卡量充足，随时开机✅
A***L开机无卡，重新开卡需要拷贝数据，操作麻烦❌无缝开机，原数据自动流转，无需拷贝转移✅
***脑仅有应用模式，深度使用层面不够灵活❌镜像/应用均有，按需使用更灵活✅
***脑3 天释放数据❌数据保存 15 天，安心过年、安心度过黄金周，不用担心数据被清空✅
恒***云算力资源非直营，产品质量良莠不齐❌显卡全直营，品质有保障✅
恒***云机主素质不一，定价很随意，很容易遇到矿机改装❌全直营，定价体系规范统一，0 矿机，0 风险✅
揽***舟10GB 免费储存空间❌免费网盘容量 50GB，大容量✅
揽***舟应用只有 6 个，可用应用比较少❌应用丰富，涵盖范围广，除了已经上线的 9 个，还即将计划上线✅
揽***舟算力资源价格贵，4090 高达 3.1 元小时❌价格低，还享受 95 折优惠，2.12 元/小时✅
仙***云25GB 免费储存空间❌免费网盘容量 50GB，大容量✅

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1910225.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

案例|180套设备24小时监测，守护某油气管线安全

案例|180套设备24小时监测，守护某油气管线安全

油气管道跨越工程是我国重要的能源基础设施，也是油气上下游衔接协调发展的关键环节，还是我国现代能源体系和现代综合交通运输体系的重要组成部分。守护能源安全大动脉，筑牢油气管网基础设施安全具有重要意义。 一、项目背景 某油气管线是我国…
阅读更多...
泰勒雷达图2

泰勒雷达图2

matplotlib绘制泰勒雷达图 import matplotlib.pyplot as plt import numpy as np from numpy.core.fromnumeric import shape import pandas as pd import dask.dataframe as dd from matplotlib.projections import PolarAxes import mpl_toolkits.axisartist.floating_axes a…
阅读更多...
RISC-V 指令系统

RISC-V 指令系统

指令系统 指令集 指令集从本质上可以分为复杂指令集（Complex Instruction Set Computing，CISC）和精简指令集（Reduced Instruction Set Computing，RISC）两种。复杂指令集的特点是能够在一条指令内完成很多…
阅读更多...
TAGE predictor

TAGE predictor

参考文档：分支预测算法（一）：TAGE|SunnyChen的小窝 TAGE的基础概念 TAGE是现今最经典的分支预测算法，TAGE及其后续的变体都是当今高性能微处理器的分支预测算法基础。因此，要聊分支预测算法的话题必定绕不开…
阅读更多...
【算法】（C语言）：快速排序（递归）、归并排序（递归）、希尔排序

【算法】（C语言）：快速排序（递归）、归并排序（递归）、希尔排序

快速排序（递归） 左指针指向第一个数据，右指针指向最后一个数据。取第一个数据作为中间值。右指针指向的数据 循环与中间值比对，若大于中间值，右指针往左移动一位，若小于中间值，右指针停住。右…
阅读更多...
【学术会议征稿】第五届大数据、人工智能与物联网工程国际会议

【学术会议征稿】第五届大数据、人工智能与物联网工程国际会议

第五届大数据、人工智能与物联网工程国际会议 2024 5th International Conference on Big Data, Artificial Intelligence and Internet of Things 第五届大数据、人工智能与物联网工程国际会议（ICBAIE 2024）定于2024年10月25-27号在中国深圳隆重举行。…
阅读更多...
新功能上线 | 自定义工作台，成就个性化办公

新功能上线 | 自定义工作台，成就个性化办公

为进一步优化用户操作体验，帮助用户更轻松、便捷的使用采购系统，隆道平台面向用户推出自定义工作台。根据个人的工作习惯和需求，轻松定制专属的工作界面。无论您需要快速查看待办事项，还是实时追踪业务进度，或是全面掌…
阅读更多...
掌握这五大关键，轻松驾驭AI大模型项目落地

掌握这五大关键，轻松驾驭AI大模型项目落地

随着AI技术的蓬勃发展，众多企业纷纷投身于大模型项目的浪潮中，力求在这场技术革新中占据一席之地。然而，成功与失败并存，背后的原因引人深思。本文将为您揭示五大关键因素，助您轻松驾驭AI大模型项目的落地过程。 一、…
阅读更多...
FL Studio 24.1.1.4234 Crack

FL Studio 24.1.1.4234 Crack

Image-Line bvba 的 FL Studio 是一款数字音频工作站（DAW）软件，是音乐家、制作人和音频工程师的完整音乐制作解决方案。FL Studio 以其直观的界面、强大的功能和广泛的性能而著称，用户可以利用它高效、创造性地进行作曲、编曲、录…
阅读更多...
动手学深度学习53 语言模型

动手学深度学习53 语言模型

动手学深度学习53 语言模型 语言模型代码QA 语言模型 核心：预测文本出现的概率 最常见应用：做预训练模型 当数据序列很长怎么办？常用n-gram 。 一元语法：马尔科夫假设tao0 基本认为每一个字是独立的，不管前面的东西。…
阅读更多...
zabbix“专家坐诊”第245期问答

zabbix“专家坐诊”第245期问答

问题一 Q：vfs.dev.discovery拿的是哪里的文件，我看源码里面获取的是/proc/parttions里面的信息，但是我没有这个device，是怎么获取出来的？ 在这里插入图片描述 A：检查下系统内核版本或者agent程序版本&…
阅读更多...
收银系统源码

收银系统源码

千呼新零售2.0系统是零售行业连锁店一体化收银系统，包括线下收银线上商城连锁店管理ERP管理商品管理供应商管理会员营销等功能为一体，线上线下数据全部打通。 私有化独立部署/全开源源码，系统开发语言： 核心开发语言: PHP、HTML…
阅读更多...
在OLED上显示一个点

在OLED上显示一个点

阅读更多...
数据结构（初阶1）

数据结构（初阶1）

文章目录 一、复杂度概念 二、时间复杂度 2.1 大O的渐进表示法 2.2 时间复杂度计算示例 2.2.1. // 计算Func2的时间复杂度？ 2.2.2.// 计算Func3的时间复杂度？ 2.2.3.// 计算Func4的时间复杂度？ 2.2.4.// 计算strchr的时间复杂度？ …
阅读更多...
区间贪心

区间贪心

目录 1.贪心算法的思想 2.区间贪心算法常用的一些题目类型 1.选择最多不相交区间问题 P2970 [USACO09DEC] Selfish Grazing S 1.思路分析 2.上代码 2.区间选点问题 P1250 种树 1.题目 2.方法一 1.代码解释 3.方法二 3.区间合并问题 P2434 [SDOI2005] 区间 1. 思路…
阅读更多...
容器docker

容器docker

文章目录 前言一、docker1.1 为什么有docker1.2 docker架构1.3 docker 安装1.4 docker中央仓库1.5 docker 基本指令1.6 docker数据卷，挂载例：nginx 数据卷挂载例：mysql 本地持久化 1.7 镜像制作镜像结构dockerfile基础指令容器生成镜像 1.8 d…
阅读更多...
JFlash读取和烧录加密stm32程序

JFlash读取和烧录加密stm32程序

JFlash读取和烧录加密stm32程序 安装后JFlash所在的目录：C:\Program Files\SEGGER\JLink 一、烧写加密程序 1、打开C:\Program Files\SEGGER\JLink目录，找到JFlash.exe,双击它，就可以打开该执行程序。见下图： 2、选择“Create …
阅读更多...
Vue基础知识：Vue3.3出现的defineOptions，如何使用，解决了什么问题？

Vue基础知识：Vue3.3出现的defineOptions，如何使用，解决了什么问题？

1.那么为什么会出现defineOptions? 原因说明&#xff1a; 有<script setup></script>语法糖应用之前&#xff0c;如果要定义 props&#xff0c;emits 可以轻而易举地添加一个与 setup 平级的属性。但是用了<script setup>后&#xff0c;就没法这么干了整个…
阅读更多...
地理服务零成本：免费地图API合辑

地理服务零成本：免费地图API合辑

在全球化和数字化不断推进的今天&#xff0c;地图已成为我们日常生活和工作中不可或缺的工具。无论是规划日常通勤、探索未知地域&#xff0c;还是进行地理数据分析&#xff0c;地图都发挥着至关重要的作用。它们不仅提供了地理信息的直观表示&#xff0c;还支持复杂的空间查询…
阅读更多...
【U8+】登录U8时，选择账套登录窗口闪退。

【U8+】登录U8时，选择账套登录窗口闪退。

【问题描述】 打开用友U8企业应用平台登录窗口&#xff0c; 输入账号和密码后&#xff0c;选择账套的时候闪退。 【解决方法】 方法一&#xff1a; 重装微软的silverlight&#xff0c;在U8soft\3rdprogram中有安装包。 注&#xff1a;不要自动更新此程序版本。关闭杀毒软件防火…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023