jmeter压力测试,通过LLM利用RAG实现知识库问答,NEO4J部署,GraphRAG以知识图谱在查询时增强提示实现更准确的知识库问答(9/7)

news2024/11/15 11:11:17

前言

        这周也是杂七杂八的一天(高情商:我是一块砖,哪里需要往哪里搬),首先是接触了jemter这个压力测试工具,然后帮公司的AIGC项目编写使用手册和问答手册的第一版,并通过这个平台的智能体实现知识库问答的功能展示,以及部分个人扩展和思考(NEO4J创建知识图谱的GraphRAG)。

Jmeter

        Jmeter是一个压力测试工具,一开始导师叫我熟悉的时候我还说这和postman差不多吗,但实际用下来,Jmeter的压力测试提供了很多自定义的请求内容和方法,和postman差别是很大的。虽然说因为公司这边和学校是有对接项目的,所以开学这段时间,有些项目他们那边的运维搞不定就又到我们这边了,虽然我感觉再给我压力跑跑也没什么太大的实际上的有用。。。

        jmeter去官网下载后,如果你的本地的java环境已经部署好的话,是可以直接跑的比较全的教程,包含配置环境 如果想尝试的,其实可以通过本地部署若依的网站进行测试(强烈建议不要在部署环境运行jmeter的测试),当然你也可以用其他的网站实现。

        在很多的网站中,其实在用户登入的过程中,不仅后台要忙前忙后,不知道呆在哪的数据库也有的慢,通常同一时间的并发实现登入过程,是对整个体系很大挑战,同理像学生选课需要频繁与数据库沟通也是如此,但一般情况下不会有这么大的同一时间访问量,但我相信大家都经历过四六级和选课。此时一般来说暂时的增加算力和流量都是一个不错的方法。

        在若依的网站中,通过登入界面来测试这个过程其实是一个不错的方法,首先摆在我们面前的就是验证码,其实这也是一个很好的保护措施,你也不想未来有一天你的网站数据库因为别人的自动化工具跑暴力解密跑死或者泄密吧。

        通过对项目内查询该网页的组件可以找到相应的功能模块https://blog.csdn.net/Li_Ning21/article/details/136713227 关停验证码功能

        我们在ruoyi-admin\src\main\java\com\ruoyi\web\controller\common\CaptchaController.java文件里面看到验证码的生成过程,是先生成验证码,再通过验证码生成图片,图片再通过流传输发送信息给前端。所以想要压力测试登入界面,就得关停验证码功能。

其他相关测试(JSEncrypt加密登录,类似的思路可以测试RAS,就是之前提到的若依的数据监控密码)

        【jmeter参数化--json格式非扁平化(存在嵌套)

        注意我们可能会在测试时发现,大量的sql请求可能使数据库反应不过来,因为超出了设置的最大请求数和缓存量等,这就需要更改相关的配置(conf)。(csdn很多相关教程,这里不再赘述)

通过LLM利用RAG实现知识库问答

        讲实话,其实并不是通过自己所写代码实现的(当然不),而是利用公司这个项目中的AIGC功能实现该项目自身使用手册进行装载,实现平台使用小助手的功能。

        其实该功能类似于coze以及文擎毕昇(就是用它的开源),一开始首先是通过简单将文档载入实现知识库的创建,以及知识的分片。但实际效果并不理想,回复不可控,容易出现不相关内容,容易胡说,失忆给定限定和角色。

        对于这些问题,尝试通过知识库增加提取限定关键词,预防胡说,对问题语义分析,实现检索召回对用户输入的问题生成3-4个含义相同但表述有差别的问题,再对这几个问题分别进行检索,实现回答内容的更大相关性和准确性,通过加入记忆器,存储之前的对话,尽可能避免出现失忆,限定token量。

        但实际情况下token量仍然不小,对后台的压力也不小,大量的访问估计很能顶住,而且模型的不同,对效果的实现也有不同,虽然通过多次限定和调整,但4o的能力仍然比其他国内大模型更强。原先通过构建智能体实现网页平台小助手的挂件功能估计也不会最后在未来的正式版中出现,可能以功能展示的方式展示。

        

 题外话:NEO4J创建知识图谱的GraphRAG

        这东西说来也奇妙,上面这些东西和主管交流后,主管说这些情况也比较正常,现在能比较好实现效果的也是微软开源的GraphRAG。

        说来也奇妙,看完相关的博客和文章后,有一种深深的熟悉感,在前几个月的课设,我的舍友拿着他不知道拿来的py项目问我会不会搞,没办法,当时确实不会搞,但是现在拿出来把这个项目自己过一遍,发现还真是GraphRAG🤣,幸好没搞好,真成了我都不知道老师看到这个会是什么表情,毕竟上课都没讲这些。

        因为这是别人的项目,我也不好直接放出。我只能说一下思路。

        加载(技能类别和职责类别的)特征词,并构建用于匹配这些特征词的 AC 自动机(Aho-Corasick automaton)。AC 自动机来识别问题中的特征词,并构建一个包含这些特征词及其类型的字典。

比如说,职位招聘公告问答流程

  1. 用户输入问题

    用户通过界面提出关于职位招聘的问题,例如“信息工程师需要哪些技能?”或“信息工程师的主要职责是什么?”
  2. 系统通过分类器识别问题类型

    利用自然语言处理技术,系统识别问题中的关键字和意图。例如,通过识别“技能”、“职责”等词汇,系统可以判断问题关注的是职位的技能要求还是工作内容。
  3. 分析器构建查询语句

    根据问题类型,系统构建相应的查询语句。在知识图谱中,这可能涉及到构建针对特定实体(如“信息工程师”)及其属性或关系的查询。
  4. 在数据库中检索答案

    使用构建的查询语句在知识图谱数据库中检索信息。知识图谱存储了丰富的实体和关系数据,使得系统能够快速找到相关的信息。
  5. 格式化答案并呈现给用户

    检索到的信息需要被格式化,以清晰、易于理解的方式呈现给用户。这可能包括整理数据结构、优化语言表达等。

知识图谱(KG)的应用

        与普通的RGA不同点在于,图的关系,在我们熟悉的E-R图中,圆圈为属性,方块为实体,而知识图谱则是着重体现每个实体之间的关系,他们之间的关系用有方向的线链接,知识图谱强调实体之间的关系,这使得它在处理复杂的、关系密集的数据时更为有效。如果图中信息工程师是一个实体,它连接着技能和职责两个实体,在职位招聘的场景中,知识图谱可以快速的锁定所需要回答答案,他不会因为像普通的RGA一样将大量的文本片段向量化去寻找关键词,而是确定关键词,分析所提问的是该关键词的下沿哪一个实体,然后再去询问数据库,不会产生大量的token数,也不会让LLM在大量的文本中迷失。

(镇帖图)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2111037.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【LabVIEW学习篇 - 16】:文件操作

文章目录 CSV文件CSV写入CSV读取 TXT文件txt写入txt读取 INI文件INI文件写入INI文件读取 CSV文件 .csv (Comma-Separated Values)是逗号分隔值文件格式,有时也称之为字符分隔值,因为分隔符也可以不是逗号(最常见的是逗号和制表符)&#xff0…

Spring01——Spring简介、Spring Framework架构、Spring核心概念、IOC入门案例、DI入门案例

为什么要学 spring技术是JavaEE开发必备技能,企业开发技术选型命中率>90%专业角度 简化开发:降低企业开发的复杂度框架整合:高效整合其他技术,提高开发与运行效率 学什么 简化开发 IOCAOP 事务处理 框架整合 MyBatis 怎…

mybatis特殊符号处理,mybatis一级二级缓存,java反射机制

mybatis特殊符号处理 在 mybatis 中的 xml 文件中&#xff0c;存在一些特殊的符号&#xff0c;比如&#xff1a;<、>、"、&、<>等&#xff0c;正常书写 mybatis 会报错&#xff0c;需要对这些符号进行转义。具体转义如下所示&#xff1a; 特殊字符 转义字…

Openharmony软件评估指南-米尔瑞芯微RK3568开发板

Openharmony软件评估指南用于介绍在米尔的开发板上运行Openharmony系统下的核心资源与外设资源的测试步骤与评估方法。本文可作为前期评估指南使用&#xff0c;也可以作为通用系统开发的测试指导书使用。 本文档使用于米尔电子的MYD-LR3568系列板卡&#xff0c;该板卡是米尔电…

HCIE云计算--灾备

7、BCManager ebackup–云场景备份管理软件 8、ebackup软件的组成 9、ebackup的部署方式 10、ebackup的网络平面 11、组网方式 12、CBT技术–实现增量备份、差异备份、增量恢复 13、CBT和快照对比技术CBT 灾备释义&#xff1a;指利用科学的技术手段和方法&#xff0c;提前…

【鸿蒙HarmonyOS NEXT】调用后台接口及List组件渲染

【鸿蒙HarmonyOS NEXT】调用后台接口及List组件渲染 一、环境说明二、调用后台接口及List组件渲染三、总结 一、环境说明 DevEco Studio 版本&#xff1a; API版本&#xff1a;以12为主 二、调用后台接口及List组件渲染 后台接口及返回数据分析 JSON数据格式如下&#xf…

2024最新技术!使用Golang Beego开发的社区老人健康管理系统,Vue前端交互流畅,大数据分析助力健康趋势预测

&#x1f34a;作者&#xff1a;计算机毕设匠心工作室 &#x1f34a;简介&#xff1a;毕业后就一直专业从事计算机软件程序开发&#xff0c;至今也有8年工作经验。擅长Java、Python、微信小程序、安卓、大数据、PHP、.NET|C#、Golang等。 擅长&#xff1a;按照需求定制化开发项目…

用PG Back Web轻松进行PostgreSQL备份

什么是 PG Back Web &#xff1f; PG Back Web &#x1f418; 使用用户友好的 Web 界面轻松进行 PostgreSQL 备份&#xff01;&#x1f310;&#x1f4be;。PG Back Web 不仅仅是另一个备份工具。借助 PG Back Web&#xff0c;用户可以通过受 PGP 加密保护的直观 Web 界面轻松安…

JAVA—网络通信

本文是学习网络通信入门和简单了解UDP协议和TCP协议&#xff0c;学习和了解CS架构和简单了解BS架构和HTTP协议&#xff08;部分图片来自黑马程序员&#xff09; 目录 1.网络通信三要素 &#xff08;1&#xff09;IP地址 &#xff08;2&#xff09;端口号 &#xff08;3&am…

RHCE必过技巧,无需本人参加也可拿证?

RHCE(无需本人参加&#xff0c;给信息给款即可拿证) ​培训&#xff0b;认证 ​月初一期 ​月尾一期

回归预测 | Matlab基于贝叶斯算法优化XGBoost(BO-XGBoost/Bayes-XGBoost)的数据回归预测+交叉验证

回归预测 | Matlab基于贝叶斯算法优化XGBoost(BO-XGBoost/Bayes-XGBoost)的数据回归预测交叉验证 目录 回归预测 | Matlab基于贝叶斯算法优化XGBoost(BO-XGBoost/Bayes-XGBoost)的数据回归预测交叉验证效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现基于贝叶…

生命科学、食品科学信息类综合全文数据库

一、Nature系列资源 《Nature》杂志1869年创刊于英国&#xff0c;是最早的国际性科技期刊&#xff0c;其办刊宗旨是“将科学发现的重要结果介绍给公众&#xff0c;让公众尽早知道全世界自然知识的每一分支中取得的所有进展”。它报道和评论全球科技领域里最重要的突破&#xf…

【2024全国大学生数学建模竞赛】B题 模型建立与求解(含代码与论文)

目录 1问题重述1.1问题背景1.2研究意义1.3具体问题 2总体分析3模型假设4符号说明&#xff08;等四问全部更新完再写&#xff09;5模型的建立与求解5.1问题一模型的建立与求解5.1.1问题的具体分析5.1.2模型的准备 目前B题第一问的详细求解过程以及对应论文部分已经完成&#xff…

python_使用tkinter建立一个页面的模板

python_使用tkinter建立一个页面的模板 效果如图&#xff0c; 代码如下 """ python设计一下tkinter的布局在最上面排列5个按钮&#xff0c;然后一排4个水平分布的按钮,下面分左右两个图像显示&#xff0c;默认为白色背景为了实现您所描述的Tkinter布局&…

计组 2.Linux上程序的编写与调试

1. 我们之间使用vim创建.c文件&#xff0c;在里面编写完成后按住esc后冒号加wq保存退出 再使用gcc编译.c文件即可 vim test.c gcc test.c2. 这道题对比上一道题多出了编译过程&#xff0c;我们只需要按要求编译即可 gcc -E hello.c -o hello.i # 预处理阶段 gcc -S hello.i…

【超详细】windows Docker安装

关于 Docker 可以把应用以及其依赖都打包到一个容器中&#xff0c;而这个容器的性能开销极低。 Docker 并非是一个通用的容器工具&#xff0c;它依赖于已存在并运行的 Linux 内核环境。Docker Desktop 是 Docker 在 Windows 10 和 macOS 操作系统上的官方安装方式&#xff0c…

opencv实战项目二十一:MediaPipe人体姿态检测

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、MediaPipe是什么&#xff1f;二、MediaPipe使用&#xff1a;三、算法流程&#xff1a;四、效果&#xff1a; 前言 在智能科技不断渗透我们日常生活的今天&…

redis分布式锁和lua脚本

业务场景&#xff1a;多个线程对共同资源的访问&#xff1a;库存超卖/用户重复下单的原因 解决方法一&#xff1a;利用jvm内置锁&#xff0c;将非原子性操作变成原子性操作 Synchronized锁的是对象&#xff0c;对象必须是单例的。锁的是this,代表当前所在的类&#xff0c;这个…

“电轿三巨头”集齐,新车能否后浪拍前浪?

文/王俣祺 导语&#xff1a;纵观全年&#xff0c;要说哪款电车最火&#xff0c;那必然得是小米SU7。小米SU7在今年上半年上市以来&#xff0c;基本垄断了整个国产20万级电轿市场&#xff0c;甚至具备了和称霸电轿市场已久的特斯拉Model 3掰掰手腕的实力。那么&#xff0c;如今的…

Stream插件相关的用法

文章目录 1. 概念介绍2. 使用方法2.1 StreamController2.2 StreamBuilder 3. 示例代码 我们在上一章回中介绍了管理Stream事件流相关的内容&#xff0c;本章回中将介绍如何使用Stream事件流输入输出数据 。闲话休提&#xff0c;言归正传&#xff0c;让我们一起Talk Flutter吧。…