知识图谱与LLMs:实时图分析(通过其关系的上下文理解数据点)

news2024/11/13 14:25:57

大型语言模型 (LLM) 极大地改变了普通人获取数据的方式。不到一年前,访问公司数据需要具备技术技能,包括熟练掌握各种仪表板工具,甚至深入研究数据库查询语言的复杂性。然而,随着 ChatGPT 等 LLM 的兴起,随着所谓的检索增强型 LLM 应用程序的兴起,隐藏在私人数据库中或可通过各种 API 访问的丰富知识现在比以往任何时候都更容易获得。

检索增强生成应用程序。

检索增强应用程序背后的想法是从各种来源检索更多信息,以便 LLM 生成更好、更准确的结果。OpenAI 似乎也注意到了这一趋势,他们最近推出了 OpenAI函数。新的 OpenAI 模型经过训练,可以使用为函数(或其他库所称的工具))提供参数,这些函数的签名和描述在上下文中传递,以便在查询时根据需要检索更多信息。

我们观察到,在检索增强应用中,向量相似性搜索具有很强的偏向性。如果您在过去三个月内打开过 Twitter 或 LinkedIn,您可能已经看到过各种“与 PDF 聊天”应用。在这些示例中,实现相对简单。文本从 PDF 中提取,根据需要拆分成块,最后连同其文本嵌入表示一起存储在向量数据库中。

这类应用的入门门槛很低,特别是当你处理少量数据时。如今发表的很多文章给人的印象是只有矢量数据库才适用于检索增强应用,这真是令人着迷。

虽然基于向量相似度的非结构化文本信息检索具有巨大的潜力,但我们相信结构化信息在 LLM 应用中发挥着重要作用。

上次我们写了关于多跳问答以及知识图谱如何帮助解决从多个文档中检索信息以生成准确答案的问题。此外,我们暗示向量相似性搜索不是为分析工作流设计的,因为我们依赖结构化信息。

例如,以下问题:

  • 谁可以把我介绍给 Emil Eifrém(Neo4j 的首席执行官)?
  • ALOX5 基因与克罗恩病有何关系?
  • 当我们的某个微服务出现中断时,它会对我们的产品产生什么影响?
  • 航班延误是如何在网络中传播的?
  • 哪些用户可以为社交媒体帖子的病毒式传播做出贡献?

所有这些问题都需要高度关联的信息才能准确回答问题。例如,要了解谁可以把你介绍给埃米尔,你需要有关人际关系的信息。

另一方面,您需要映射微服务和产品之间的依赖关系,以评估特定微服务故障的规模和严重程度。

在这篇博文中,我们将介绍一些您可能希望在 LLM 应用程序中实现的实时图形分析的常见用例。

寻找(最短)路径

关系是原生图形数据库中的头等公民。尽管知识图谱允许您执行典型的聚合和过滤来回答诸如“本周我们获得了多少客户?”之类的问题,但我们将更多地关注以遍历关系为主要组成部分的分析用例。一个这样的例子是找到数据点之间的最短或所有可能路径。例如,要回答这个问题:

谁可以把我介绍给 Emil Eifrem?

我们必须在图中找到我和埃米尔·艾弗莱姆之间的最短路径。

单一最短路径
单一最短路径

实时查找最短路径的另一个有用用例是任何类型的运输、物流或路线规划应用程序。在这些应用程序中,您可能需要评估前 N 条最短路径,以确保在发生意外情况时有某种后备计划。

罗马站点间最短的两条路径

此图显示了罗马两站之间的前 2 条最短路径。这些最短路径可针对距离、时间、成本或组合进行优化。

另一个在 LLM 申请中寻找数据点之间路径的领域是生物医学领域。在生物医学领域,你要处理基因、蛋白质、疾病、药物等。也许更重要的是,这些实体并不是孤立存在的,而是相互之间存在复杂的、通常是多层的关系。

例如,一个基因可能与多种疾病有关,一种蛋白质可能与许多其他蛋白质相互作用,一种疾病可能可以通过多种药物治疗,一种药物可能对不同的基因和蛋白质产生多种影响。

鉴于可用的生物医学数据量惊人,这些数据点之间的潜在关系数量是巨大的,非常适合以知识图谱的形式来表示。

使用Hetionet 数据集查找克罗恩病和 ALOX5 基因之间的所有最短路径。

生物医学知识图谱可以支持 LLM 应用程序,其中用户有兴趣回答以下问题

ALOX5 基因与克罗恩病有何关系?

虽然我们今天看到的大多数 LLM 应用程序都以自然语言生成答案,但也有一个绝佳的机会以线、条甚至网络可视化的形式返回响应。通常 LLM 甚至可以返回图表库所需的配置结构。

网络传播信息

另一个强大的知识图谱匹配是具有依赖关系网络的域。例如,您可以拥有一个包含系统完整微服务架构的知识图谱。这样的知识图谱将允许您为 DevOps 聊天机器人提供支持,使您能够实时评估架构并执行假设分析。

微服务与人员图表

 

我想到的另一个领域是供应链。

 图片来自 Graph Databases for Automotive & Manufacturing Data

将供应链数据纳入知识图谱可以显著增强大型语言应用程序的功能。这种方法使我们能够将复杂的供应链信息结构化为节点和关系,从而生成材料、组件和产品如何从供应商流向客户的整体图景。内在的互连和依赖关系变得显而易见且易于分析。

对于语言应用程序,这可以实现更深入的上下文理解和知识生成。例如,像 ChatGPT 这样的人工智能模型可以利用这种数据结构来对供应链场景、中断或管理策略做出更准确、更有见地的响应。它可以理解和解释某个组件短缺的连锁反应,预测潜在的瓶颈,或提出优化策略。

通过将供应链动态的复杂性与人工智能的认知能力相结合,我们可以增强众多工业和商业环境中大型语言应用的功能和价值。

社会网络分析与数据科学

如果您的公司聊天机器人超越了文档范围,并作为人员分析的一部分帮助提供见解和建议,那会怎样?

 图片来自 Neo4j as a Critical Aspect of Human Capital Management (HCM)。

HCM 中的知识图谱可以成为推动公司内部人员分析的宝贵工具,主要通过创建一个强大、互联的信息系统,可以深入、全面地了解员工的行为、技能、能力、互动和绩效。本质上,知识图谱捕获并链接复杂的员工数据(包括人口统计信息、角色历史、项目参与度、绩效指标和技能组合),从而进行多方面的分析。

这种互联数据和机器学习工具的结合使人力资源和团队领导者能够发现隐藏的模式、识别高潜力人才、预测未来表现、评估技能差距并告知培训需求,从而推动数据驱动的决策。通过利用知识图谱,公司可以简化人才管理和发展流程,提高整体组织效率并培养持续学习和改进的文化。

将聊天机器人界面整合到这个知识图谱驱动的人员分析系统中,可能会彻底改变公司处理人力资源和人才管理的方式。具体方法如下:

方便用户访问复杂数据

聊天机器人界面为用户提供了一种直观的对话方式来与复杂的数据集进行交互。员工、经理或人力资源人员无需了解复杂的数据库或分析工具;他们只​​需向聊天机器人询问有关员工绩效、技能或团队动态的问题即可。

该聊天机器人具有自然语言处理能力,可以解释问题,从知识图谱中检索相关信息,并以可理解的格式提供答复。

实时洞察

聊天机器人界面可以提供即时访问数据洞察的功能,从而实现及时决策。

如果经理想知道有多少个项目正在进行中,以及哪些人适合且可以参与特定项目,他们可以询问聊天机器人并实时获得答案,而不必等待全面的报告。

可扩展的培训和支持

聊天机器人可以为员工提供个性化支持,回答有关公司政策、程序或职业发展机会的问题。

它甚至可以根据个人的角色、技能和职业目标提供个性化的培训建议(甚至实际培训本身)。这将使学习和发展资源的获取更加民主化,使员工更容易提高技能或重新学习技能。

预测分析

先进的人工智能聊天机器人可以分析知识图谱中的模式和趋势,从而做出预测,例如哪些员工可能面临离职风险,或者未来哪些技能可能会受到追捧。这些预测分析功能可以帮助公司在人力资源战略方面采取主动而不是被动的态度。

从本质上讲,将聊天机器人界面与知识图谱驱动的人员分析系统相结合,将使复杂的员工数据更易于访问、可操作且对组织的所有成员都更有用。这将彻底改变人才管理和发展,推动人力资源采用更加数据化、主动性和个性化的方法。

总结

总之,随着我们深入大型语言模型时代,我们必须牢记知识图谱在这些应用程序中构建、组织和检索信息的巨大潜力。结构化和非结构化数据检索的结合为更准确、更可靠、更有影响力的结果铺平了道路,超越了自然语言答案,延伸到视觉呈现信息的领域。

尽管基于向量相似性的数据检索(召回率)非常流行,但我们不应低估结构化信息的作用及其为 LLM 应用带来的巨大价值。无论是寻找最短路径、理解复杂的生物医学关系、分析供应链场景,还是通过人员分析彻底改变人力资源,知识图谱的应用都是广泛而深远的。我们相信基于 LLM 的应用的未来是向量相似性搜索方法与 Cypher 等数据库查询语言的结合。

通过这篇博文,我们探索了一些令人兴奋的实时图形分析用例,这些用例可以实现到您的 LLM 应用程序中。这只是一个开始。我们预计未来大型语言模型将与知识图谱更加紧密地协同工作,为现实世界的问题带来更多创新的解决方案。

项目开源地址

NaLLM项目开源地址:GitHub - neo4j/NaLLM: Repository for the NaLLM project

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1926645.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第17集《修习止观坐禅法要》

请大家打开讲义第四十二面,丁六、正修行第六。 这个是我们小止观正宗分的第六科,前面的五科是一个方便,是我们在修习止观的一个前方便,这一科是说明修习止观的正式的方法。 这个方便跟正修的关系,我们可以讲一个譬喻…

keepalive:

keepalive: 调度器的高可用 vip地址在主备之间的切换,主在工作时,vip地址只在主上,主停止工作,vip漂移到备服务器。 在主备的优先级不变的情况下,主恢复工作,vip会飘回到主服务器。 1、配优…

音视频开发—使用FFmpeg将YUV文件编码成H264裸流文件 C语言实现

文章目录 1.准备工作2.压缩编码工作流程3.详细步骤1. 初始化日志和参数检查2. 输入/输出文件的打开3. 查找和初始化编码器4. 打开编码器5. 帧内存的分配和初始化6. 设置转换上下文(SWS)7. 读取和转换数据8. 编码过程9. 资源清理 4.完整示例代码 1.准备工…

AI大模型探索之旅:深潜大语言模型的训练秘境

在人工智能的浩瀚星空中,大语言模型无疑是最耀眼的星辰之一,它们以无与伦比的语言理解与生成能力,引领着智能交互的新纪元。本文将带您踏上一场探索之旅,深入大语言模型的训练秘境,揭开其背后复杂而精妙的全景画卷。 …

Qt Quick qml自定义控件:qml实现电池控件

qml入门进阶专栏地址:https://blog.csdn.net/yao_hou/category_9951228.html?spm=1001.2014.3001.5482 本篇博客介绍如何使用qml来实现电池控件,效果图如下: 下面给出实现代码 Battery.qml /*电池组件*/import QtQuick 2.15 import QtQuick.Controls 2.15Rectangle {id: b…

Maven学习笔记——如何在pom.xml中通过坐标为项目导入jar包

注意:我们只导入了一个jar包坐标,但右边项目中确多出来了好几个jar包,这是因为我们导入的该jar包所依赖其他jar包,maven自动帮我们导入了进来

Android-- 集成谷歌地图

引言 项目需求需要在谷歌地图: 地图展示,设备点聚合,设备站点,绘制点和区域等功能。 我只针对我涉及到的技术做一下总结,希望能帮到开始接触谷歌地图的伙伴们。 集成步骤 1、在项目的modle的build.gradle中添加依赖如…

Java软件设计模式-单例设计模式

目录 1.软件设计模式的概念 2.设计模式分类 2.1 创建型模式 2.2 结构型模式 2.3 行为型模式 3.单例设计模式 3.1 单例模式的结构 3.2 单例模式的实现 3.2.1 饿汉式-方式1(静态变量方式) 3.2.2 懒汉式-方式1(线程不安全) 3.…

【linux】安装cuda11.0、cuDNN教程,简单易懂,包教包会

【linux】安装cuda11.0、cuDNN教程,简单易懂,包教包会 【创作不易,求点赞关注收藏】 文章目录 【linux】安装cuda11.0、cuDNN教程,简单易懂,包教包会一、版本情况介绍二、安装cuda1、到官网找到对应版本进行安装2、对…

【openwrt】Openwrt系统新增普通用户指南

文章目录 1 如何新增普通用户2 如何以普通用户权限运行服务3 普通用户如何访问root账户的ubus服务4 其他权限控制5 参考 Openwrt系统在默认情况下只提供一个 root账户,所有的服务都是以 root权限运行的,包括 WebUI也是通过root账户访问的,…

使用EndNote添加参考文献,如何区分中英文文献的et al和等?

一、背景 我们在用EndNote添加参考文献时,如遇到超过3个作者,需列出前三位作者,其余用“et al”代替。 但中文文献用“et al”显示不合适,如下图所示,需要用“等”代替。 二、中文参考文献大于3个作者,用等…

5G数字化转型redcap助您“轻”装上阵

RedCap(Reduced Capability)技术,也称为NR-Light,是针对5G网络的一种轻量化技术规范,旨在为具有较低性能要求的设备提供5G连接。 RedCap技术特点 低成本 降低芯片组和设备成本:RedCap通过减少终端带宽、收…

【Playwright+Python】系列 Pytest 插件在Playwright中的使用

一、命令行使用详解 使用 Pytest 插件在Playwright 中来编写端到端的测试。 1、命令行执行测试 pytest --browser webkit --headed 2、使用 pytest.ini 文件配置 内容如下: [pytest] # Run firefox with UIaddopts --headed --browser firefox效果&#xff1…

STM32入门开发操作记录(三)——按键控制LED

目录 一、模块化二、LED交替闪烁1. LED.c2. LED.h3. 主函数 三、按键控制LED1. Key.c2. Key.h3. LED.c4. LED.h5. 主函数 一、模块化 前篇介绍了如何向项目添加模块,本篇将进一步介绍模块的编写与封装。随着模块的增加,需要用到Manage Project Items&…

多终端文件互传

LocalSend - 下载下载LocalSend适用于Windows、macOS、Linux、Android和iOS。https://localsend.org/zh-CN/download

C语言 ——— 输入两个正整数,求出最小公倍数

目录 何为最小公倍数 题目要求 代码实现 方法一:暴力求解法(不推荐) 方法二:递乘试摸法(推荐) 何为最小公倍数 最小公倍数是指两个或者多个正整数(除了0以外)的最小的公共倍数…

浅谈RLHF---人类反馈强化学习

浅谈RLHF(人类反馈强化学习) RLHF(Reinforcement Learning fromHuman Feedback)人类反馈强化学习 RLHF是[Reinforcement Learning from Human Feedback的缩写,即从人类反馈中进行强化学习。这是一种结合了机器学习中…

Android Toast

Toast Toast是Android常用的简单控件,主要用来进行简短的信息提示,如图1所示。 图1 Toast效果图 Toast的基本用法很简单,不需要设置layout,只需要在程序中调用即可。Toast调用makeText()方法设置需要显示的界面、显示的内容、显…

简洁实用的原创度检测工具AntiPlagiarism NET 4.132

AntiPlagiarism NET是一个适用于Windows的程序,它允许您检查文本的唯一性和从不同Internet来源借用的存在。使用AntiPlagiarism NET,您可以: 将程序用于不同的目的该程序适用于学生、教师、记者、文案作者和其他需要检查其文本或其他作者文本…

SpringBoot实战:多表联查

1. 保存和更新公寓信息 请求数据的结构 Schema(description "公寓信息") Data public class ApartmentSubmitVo extends ApartmentInfo {Schema(description"公寓配套id")private List<Long> facilityInfoIds;Schema(description"公寓标签i…