用知识图谱打开梁山好汉一百单八将

news2025/4/11 0:57:24

说起《水浒传》大家一定不会陌生,《水浒传》是一部以描写古代农民起义为题材的长篇小说,全书描写北宋末年以宋江为首的108位好汉在梁山聚义,之后接受招安、四处征战的故事。它的一大看点便是其人物的描写,用金人瑞曾评的话说:“水浒所叙一百八人,人有其性情,人有其气质,人有其形状,人有其声口。”

那么这么多的出场人物,初读者一时间搞不清如此错中复杂的人物关系,就算读过的朋友时间久了可能也会混淆。为了快速弄清楚这些人物关系,我们打开了浏览器,搜索“水浒人物”,得到了一张人物简介表。

图片来源:水浒传维基百科

以上表格是我们常用的数据处理的方式。可以看到,表格虽然比小说原文精简了很多,但难以表示出人物之前复杂的关系,且光是25位人物信息表格,想查找相关的信息已经比较耗时了。

那有没有什么办法可以清晰的展示出108位梁山好汉之间的关系,让朋友们既能宏观的把握整部小说总体的人物关系架构,又能细致的了解人物之间的关联关系呢?

当然有,知识图谱可解君愁!

1.什么是知识图谱

最早的图论起源于历史著名的七桥问题:河中心有两个小岛,小岛与河的两岸有七条桥连接,在所有桥都只能走一遍的前提下,如何才能把这个地方所有的桥都走遍?

1736年,数学家欧拉递交了《哥尼斯堡的七座桥》论文,解答了当时著名的七桥问题,把这个实际问题转化成一个几何问题,把陆地考虑成一个点,桥以线表示,很快地就判断出一次不重复走遍7座桥是不可能的。不仅解决了这个长期没有定论的问题,同时也开创了数学的一个新分支——图论,也反应出了数学处理实际问题的独特之处——就是把一个实际问题抽象成合适的抽象图形来解决。

图的定义:图是由一组顶点和一组能够将两个顶点相连的边组成的。 

图这种数据结构表达力极强且非常简洁,图可以认为是表达事物关系的最简洁的表现形式。

知识图谱是以结构化的形式将节点通过关系相互连接起来,构成一张知识网络图。它可以把真实世界的各个场景抽象成图形,将信息表达成一种关系网络图,这种形式更接近人类认知世界的形式,为数据处理提供了一种更好的组织和管理能力。

2.图解水浒

知道了什么是知识图谱,那我们如何从水浒120回,96万字的原著中提炼出人物及关系的相关信息来构建知识图谱呢?

从原始的数据到形成知识图谱,涉及构建、存储与管理、应用三个阶段,具体包括数据模型构建、知识抽取、知识融合(实体对齐)、质量评估、知识存储与管理等步骤。其中应用到了各种算法模型以及机器学习的方法。看到这里,是不是有的小伙伴就觉得:这太难了,我根本做不到呀~~~

不要急,我们可以用知识图谱一体化平台来帮助我们构建水浒人物知识图谱。

KGS是北京大学王选计算机研究所数据管理实验室经过了十余年的匠心沉淀,从2011年首次在学术界提出以子图匹配的方法来构建图数据库系统以来,围绕知识图谱全生命周期不断研发新组件,完善相关能力,在北京大学重庆大数据研究院培育下经过一年多的潜心研发,最终打磨出的知识图谱一体化平台系统软件。主要由知识图谱自动化构建、知识图谱存储与管理、知识图谱可视化应用、系统管理四个核心功能模块组成,提供知识图谱从构建到存储管理到上层应用的一站式服务。

知识图谱一体化平台系统架构图

下面以知识图谱一体化解决平台系统(简称KGS)的知识图谱自动化构建平台为例,为大家演示如何构建水浒人物的知识图谱。

KGS的知识图谱自动化构建平台(即原gBuilder工具)是通过结合NLP技术、机器学习、人工智能、知识图谱、图数据库等众多技术,打造的一个针对结构化数据和非结构化数据的知识图谱自动化构建平台,实现数据向知识的转化。

作为文本的水浒传如何快速的转化为知识图谱呢?

这是在构建水浒人物关系图谱的一个重难点问题,我们通过知识图谱一体化平台KGS的知识图谱自动化构建子模块的非结构化数据抽取流程的开放式流水线设计功能来实现,该模块内置了很多命名实体识别、关系抽取的模型和数据处理算子。用户可以根据需求选择相关模型、算子来设计抽取流程,无需任何代码的编写即可实现非结构化数据抽取流程的构建。

抽取流程设计好以后,我们就可以上传水浒传的文本数据进行知识抽取了。(为了方便大家更清楚的看出人物关系,我们选择人物简介文本来进行知识抽取)

通过KGS知识图谱自动化构建平台,我们就可以将普通的文本,抽取成一条一条的人物关系三元组即RDF数据,然后自动导入到KGS存储管理系统进行数据存储和管理,就可以对构建好的知识图谱数据进行增删改查等操作,其中可视化查询分为普通查询和高级查询。

普通查询主要是通过编写SPARQL语句对图谱进行查询,高级查询主要是结合了多种内置的图分析算法进行查询。

- 普通查询:

1. 首先我们对整个知识图谱的数据进行查询。

查询语句为:

SELECT  *
WHERE 
{
    ?a ?b ?c .
}

查询如下图所示:

头像来源:水浒传电视剧

派系、人物、关系一目了然。可以清楚的看到,妥妥的占据了C位的宋江毫无悬念的成为了本书第一主角,与其他人物的关系最多。李逵、武松、林冲、鲁智深所关联的人物也比较多,当之无愧的成为了书中的灵魂人物。

2. 除了整体人物关系,我们还可以对具体的人物关系进行分析。例如我们查询霹雳火秦明的人物关系以及涉及派系等关系。

查询的语句:

SELECT  ?a ?b
WHERE 
{
    <霹雳火秦明>?a ?b .
}

查询结果图如下:

- 高级查询:

知识图谱一体化平台存储与管理子模块还内置了众多图分析算法,例如最短路径,环路查询、K跳可达性查询,我们在该平台对这些算法进行了进一步封装,用户可直接使用去实现高级的路径查询。

1. 最短路径

比如,我们拿起水浒,随手一翻,正好看见玉麒麟卢俊义身陷囹圄的章节,你一想:卢俊义是谁?跟我们第一大男主宋江是什么关系?这个时候只需要在知识图谱中查找两个人之间最短的路径,就可以知道答案。

查询结果如下:

2. 环路查询

还可以进行环路查询在人物关系网中查看某个人周围是否存在一个关系闭环。比如我们选择环路查询,输入两个节点<呼保义宋江>和<霹雳火秦明>,便可以查询这两个人物之间是否存在一个关系闭环。

查询结果如下:


3. 其他高级查询

另外知识图谱还可以进行K跳可达性查询、Personalized PageRank、宽度优先遍历计数、三角形计数、重要性分析查询等。

比如,水浒七十一回提到“忠义堂石碣受天文,梁山泊英雄排座次”的事情。按照书中的说法,这个座次是神授的。但是按照唯物主义的立场,假设是人来排座次,看着108位好汉的简历,派系,兄弟、叔侄、师徒等等错综复杂的关系,也不知道该从何下手吧。

图片来源:水浒传电视剧截图

其实,人的本质是由社会关系的总和决定的。就排名来说,座次的排名与梁山好汉在网络中的位置也有关。从直观上判断,和其他人物拥有的关联关系最多、关系网络最广,或是处于独特网络位置的人,其排名也应该比较高。我们可以借助知识图谱中的一系列功能,如:紧密中心度、Personalized PageRank等查询函数综合进行人物重要性分析,最后根据重要性进行排名即可。

以下是根据中心度算法的得出的人物排名结果:(截图仅展示了部分结果)

[
   { 
      "src": "<呼保义宋江>",
      "result": 0.225627 
},
   {
      "src": "<玉麒麟卢俊义>",
      "result": 0.157895
},  
{
      "src": "<智多星吴用>",
      "result": 0.108434
},
......
]

除了内置的图分析算法外还可以自定义实现自己想用的图分析算法,并直接在平台使用。自定义算法详情参考:#gStore-weekly | gStore最新版本1.0之自定义图分析算子

知识图谱的应用远远不止于此。与上文中的人物关系知识图谱类似,目前Facebook已经拥有了全球20亿+用户的社交图谱,来记录用户关系支撑社交推荐、用户画像等应用。另外,公安进行人员侦查;监管部门进行自然人、法人管理;金融将机构进行多层股权查询、资本系分析等,都可以利用到知识图谱。

在创新的道路上永无止境,我们仍在不断丰富知识图谱一体化平台的功能和提升性能。目前在多个项目中落地,已运用在金融、医疗、政务大数据、人工智能、交通、公安、纪检监察、军工等领域,很好的支撑和承载业务。

我们已经将《水浒传》、《人民的名义》、《权利的游戏》等相关数据集分享至KGS云平台(http://cloud.gstore.cn/

本文数据nt文件下载链接:http://file.gstore.cn/f/bd6676d4b3ea452f8fbc/?dl=1

欢迎大家来建立自己的人物关系知识图谱。

来源:施耐庵《水浒传》、电视剧《水浒传》

文字:代雪佩

UI:唐莹婷、荣悦斯

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/110839.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

算法之贪心算法

目录 前言&#xff1a; 如何理解贪心算法&#xff1f; 贪心算法的实战分析 分糖果 钱币找零 问题 总结&#xff1a; 参考资料 前言&#xff1a; 贪心算法有很多经典的应用&#xff0c;比如霍夫曼编码&#xff08;Huffman Coding&#xff09;、Prim 和 Kruskal 最小生成树…

Windows下Jenkins常见问题汇总

Jenkins运行时&#xff0c;场景遇到一些奇怪的问题&#xff0c;特别是在Powershell下能运行的命令&#xff0c;在Jenkins下运行就不行。 原因在于其特殊性&#xff1a;Jenkins执行脚本时&#xff0c;不是用当前Windows的登录账户执行的&#xff0c;所以当前登录账户的很多属性&…

数据库,计算机网络、操作系统刷题笔记16

数据库&#xff0c;计算机网络、操作系统刷题笔记16 2022找工作是学历、能力和运气的超强结合体&#xff0c;遇到寒冬&#xff0c;大厂不招人&#xff0c;可能很多算法学生都得去找开发&#xff0c;测开 测开的话&#xff0c;你就得学数据库&#xff0c;sql&#xff0c;oracle…

【码极客精讲】二维数组

二维数组本质上是以数组作为数组元素的数组&#xff0c;即“数组的数组”&#xff0c;类型说明符 数组名[常量表达式][常量表达式]。二维数组又称为矩阵&#xff0c;行列数相等的矩阵称为方阵。对称矩阵a[i][j] a[j][i]&#xff0c;对角矩阵&#xff1a;n阶方阵主对角线外都是…

Go语言web极速入门-(Gin+Mysql实现后端接口)

文章目录Gin框架github地址 ⬅️点击此处安装Gin及安装框架超时问题解决参考地址 ⬅️点击此处Mysql操作建表增加测试数据代码实现需要导的包数据库连接函数及常量、数据传输结构体业务代码:获取一条信息(GET请求)业务代码:获取多条信息(GET请求)业务代码:保存一条信息(POST请求…

指令重排现象,多线程情况下,你的代码执行顺序可能不是顺序执行,结果会不一致

一、思考多线程情况下&#xff0c;程序执行顺序是否是按顺序执行 首先定义x 0; y 0; a 0; b 0;然后思考a 1;x b;两行代码谁先执行问题&#xff1f; 二、实战测试 2.1 测试逻辑 首先默认为x 0; y 0; a 0; b 0;然后开启两个线程&#xff1b;线程1执行&#xff1a;a…

java 瑞吉外卖day6 移动端 套餐 菜品展示 购物车加减,清空,用户下单

导入用户地址簿相关功能代码 菜品展示 购物车模块 加入购物车&#xff1a; PostMapping("/add") public R add(RequestBody ShoppingCart shoppingCart){//获取当前线程用户的id并设置到shoppingCart中Long currentId BaseContext.getCurrentId();shoppingCart.set…

使用3种不同的算法从倾斜风速计中检索3个风分量(Matlab代码实现)

&#x1f468;‍&#x1f393;个人主页&#xff1a;研学社的博客 &#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜…

如何确保电子招标的透明度、公正性和及时性?

采购的主要目标是确保以竞争的方式及时获得货物、工程和服务&#xff0c;确保资金的最佳价值&#xff0c;同时保持透明度和公正性。特别是在公共或非盈利组织中&#xff0c;他们利用捐助者的资金来完成任务&#xff0c;必须强调透明度、公平性和及时性。因此&#xff0c;更需要…

图像分类:Pytorch图像分类之--AlexNet模型

文章目录前言数据的处理数据集的下载数据集的划分AlexNet介绍程序的实现model.pyDropout()函数train.py数据预处理导入数据集前言 搭建AlexNet来进行分类模型的训练&#xff0c;大致训练流程和图像分类&#xff1a;Pytorch图像分类之–LetNet模型差不多&#xff0c;两者最大的…

NewStarCTF公开赛week4密码学题目wp

目录前言一、LCG Revenge1.原题2.解题思路1) 考察知识2) 分析本质3.解题Python脚本二、代数关系1.原题2.解题思路3.解题Python脚本前言 哎呦喂&#xff0c;第三周勉强做了一道题&#xff0c;果然第四周就爆零了QAQ ———————————悲伤的分割线——————————— …

Apache Flink 作业图 JobGraph 与执行图 ExecutionGraph

由 Flink 程序直接映射成的数据流图&#xff08;dataflow graph&#xff09;&#xff0c;也被称为逻辑流图&#xff08;logical StreamGraph&#xff09;。到具体执行环节时&#xff0c;Flink 需要进一步将逻辑流图进行解析&#xff0c;转换为物理执行图。 在这个转换过程中&am…

思派健康在港交所上市:九成收入靠“卖药”,持续大额亏损

12月23日&#xff0c;思派健康&#xff08;HK:00314&#xff09;在港交所上市。本次上市&#xff0c;思派健康的发行价格为18.60港元/股&#xff0c;全球发售991.94万股。据此前招股书介绍&#xff0c;思派健康将自全球发售收取所得款项净额约1.204亿港元。 招股书显示&#x…

每月明星计划(12 月),ECHO:我们的意见万岁!

我们很高兴 12 月的 MSP 比我们预期的要成功得多。提交项目的数量和质量甚至优于 11 月的 MSP。 在 11 月的 MSP 竞赛中&#xff0c;被选中的项目Owlando以其先进的 UGC Metaverse 概念及其与朋友创建、交流和玩耍的有趣方式引起了评委的注意&#xff0c;最终将结果构建到 NFT…

百度百科创建词条步骤是怎样的?

互联网时代&#xff0c;在百度上搜索人物、企业、品牌、作品之类的信息都会出现相关百科词条&#xff0c;一般在首页前几名的位置&#xff0c;权重非常高&#xff0c;获得的用户流量也是非常庞大的。 基于百度百科的宣传背书&#xff0c;大大提高了内容的可信度和知名度&#…

【详细学习SpringBoot源码之属性配置文件加载原理(application.properties|application.yaml)-7】

一.知识回顾 【0.SpringBoot专栏的相关文章都在这里哟&#xff0c;后续更多的文章内容可以点击查看】 【1.SpringBoot初识之Spring注解发展流程以及常用的Spring和SpringBoot注解】 【2.SpringBoot自动装配之SPI机制&SPI案例实操学习&SPI机制核心源码学习】 【3.详细学…

教室管理系统

开发工具(eclipse/idea/vscode等)&#xff1a;idea 数据库(sqlite/mysql/sqlserver等)&#xff1a;mysql 功能模块(请用文字描述&#xff0c;至少200字)&#xff1a; 关于这个系统的具体功能主要包括教师&#xff0c;学生&#xff0c;课程&#xff0c;教室还有班级这几个实体。…

acwing基础课——二分图

由数据范围反推算法复杂度以及算法内容 - AcWing 常用代码模板3——搜索与图论 - AcWing 基本思想&#xff1a; 二分图:在一张图中&#xff0c;如果能把全部点分到两个集合&#xff0c;且保证两个集合内部没有任何一条边&#xff0c;图中的边只存在于两个集合之间&#xff0c…

制造业ERP如何做好成本核算管理?

随着制造业的不断发展&#xff0c;制造业成本管理中存在的问题已成为制造业企业关注的焦点。在传统粗放的手工模式下&#xff0c;制造企业成本核算工作量会非常巨大&#xff0c;不能对成本信息进行实时监控&#xff0c;只能在成本费用发生后进行归集核算&#xff0c;数据有滞后…

PS CS6视频剪辑基本技巧(四)字幕居中和滚动字幕

在第三讲中介绍了添加字幕的方法&#xff0c;但有的读者可能会发现&#xff0c;字幕模板设定的字幕起始是固定不变的&#xff0c;假如设定的起始位置是最左边&#xff0c;那么无论一行字多有多少个&#xff0c;都是从最左边开始排。那么有没有办法可以让字幕可以批量居中呢&…