知识图谱表示

news2024/11/28 18:42:57

知识图谱表示

用某种语言对知识图谱进行建模,从而方便知识运算。

  1. 符号知识表示 :以符号逻辑为基础的知识表示方法。
    特点:易于刻画显示、离散的知识。具有内生的可解释性。
    不足:部分隐性知识不易符号化表示,故知识表示不完备失去鲁棒性推理难达应用。

  2. 向量知识表示:基于向量方式表示知识。
    特点:可以通过数值运算发现新事实和和新关系,有效发现更多隐性知识和潜在假设;通常作为一种类型的先验知识辅助输入很多深度神经网络模型中用来约束和监督神经网络训练过程。

流行的以三元组为基础的知识表示方法弱化了对强逻辑的要求;另外基于向量的知识图谱表示使得数据更易于在搜索、问答等应用的深度学习模型集成应用,因此基于向量的知识图谱表示越来越受重视。下面着重介绍知识图谱的向量表示方法。

知识图谱的向量表示

1、产生背景

基于离散符号的方法表示知识,不能在计算机中表达相应语义层面的信息,也不能语义计算;对于数据量较大的图谱,需要改进传统的表示方法。

在自然语言处理领域中,因为离散符号化的词语不能蕴含语义信息,所以将词映射到向量空间,这不仅有利于进行计算,在映射过程中也能使相关的向量蕴含一定的语义。知识图谱中的向量表示方法也在这里有所借鉴。

2、知识图谱的向量表示定义

知识图谱的向量表示:将知识图谱中包括实体和关系的内容映射到连续向量空间方法的研究领域。
(也叫做知识图谱嵌入、知识图谱的表示学习、知识表示学习)

知识图谱嵌入方法的训练需要基于监督学习。在训练过程中可以学习到语义层信息。

3、知识图谱嵌入的优点

  • 提高应用时的计算效率
  • 增加了下游应用设计的多样性
  • 作为下游应用的与训练向量输入时包含一定信息

4、知识图谱嵌入的主要方法

知识图谱嵌入方法的分类:

  • 基于转移距离,(TransE等模型)
  • 基于语义匹配,(RESCAL等模型)
  • 基于神经网络,(ConvE等模型)
  • 基于图神经网络,(GNN模型)
  • 考虑附加信息的模型,(PTransE等)

(1)基于转移距离

a、TransE模型

知识图谱存储形式:三元组(头实体, 关联关系, 尾实体),暨: 三元组(h,r,t)

首先将数据集中的实体与关系的进行实体向量与关系向量的随机初始化,从训练集中取一批正样本及生成一批负样本,通过定义好的打分函数计算loss,传到优化器调整实体向量与关系向量,反复迭代。

转移距离模型:是将衡量向量化后的知识图谱中三元组的合理性问题,转化为衡量头实体和尾实体的距离问题。由此,得分函数通常被设计成利用关系把头实体转移到尾实体的合理性函数。

TransE 把关系的向量表示解释成头实体向量到尾实体向量的转移向量。
暨对于一个三元组(h,r,t)的实体与关系要满足h+r ≈ \approx t

TransE打分函数对于正样本的loss越接近于0越好,负样本的loss越大越好,从而在总loss越小越合理。
下面是TransE原文中给出的TransE算法。
在这里插入图片描述
缺点:在处理复杂关系(1-N、N-1 和 N-N)时,性能显著降低。例如: 当 h=美国,r=总统, t 1 t_{1} t1=特朗普, t 2 t_{2} t2=拜登;美国与总统此时应该时1-N的,但是使用TransE来计算时:
h + r ≈ t 1 h + r ≈ t 2 \begin{matrix} h+r \approx t_{1}\\ h+r \approx t_{2} \end{matrix} h+rt1h+rt2
于是有: t 1 ≈ t 2 t_{1}\approx t_{2} t1t2 ,显然这个是不太合理的。

b、TransH模型

针对TransE模型在处理复杂关系(1-N、N-1 和 N-N)时效果不好;对每一个关系r,都给出一个超平面 W r W_{r} Wr,在 W r W_{r} Wr超平面上定义关系向量 d r d_{r} dr,将原有的头实体h和尾实体t映射到超平面上为 h ⊥ h_{\bot} h t ⊥ t_{\bot} t
h和t分别代表头结点和尾节点的向量,而关系超平面由平面的法向量 w r w_{r} wr以及平面上的平移向量 d r d_{r} dr表示。
h ⊥ = h − w r T h w r t ⊥ = t − w r T t w r \begin{matrix} h_{\perp } = h - w_{r}^{T} hw_{r}\\t_{\perp } = t - w_{r}^{T} tw_{r} \end{matrix} h=hwrThwrt=twrTtwr
w r T h w r w_{r}^{T} hw_{r} wrThwr :表示h在 w r w_{r} wr上的投影, w r T h w_{r}^{T} h wrTh = |w| |h| cosθ 表示h 在 w r w_{r} wr方向上投影的长度(带正负号)。下式即为TransH模型打分函数:

f r ( h , t ) = − ∥ h ⊥ + d r − t ⊥ ∥ 2 2 f_{r}(h, t) = -\left \| h_{\perp } + d_{r} - t_{\perp }\right \| _{2}^{2} fr(h,t)=h+drt22

缺点:TransH仍然假设实体和关系处于相同的语义空间中。
c、TransR模型

(2)基于语义匹配

a、RESCAL模型

RESCAL模型 的核心思想是将整个知识图谱编码为一个三维张量,由这个张量分解出一个核心张量和一个因子矩阵。
核心张量 中每个二维矩阵切片代表一种关系;
因子矩阵 中每一行代表一个实体。

由核心张量和因子矩阵还原的结果被当作对应三元组成立的概率,如果概率大于某阈值,则对应三元组正确;否则不正确。其得分函数可以写成:

f r ( h , t ) = h T M r t = ∑ i = 0 d − 1 ∑ j = 0 d − 1 [ M r ] i j ⋅ [ h ] i ⋅ [ r ] j f_{r} (h, t) = h^{T}M_{r}t = \sum_{i=0}^{d-1} \sum_{j=0}^{d-1} [M_{r}]_{ij}\cdot [h]_{i}\cdot [r]_{j} fr(h,t)=hTMrt=i=0d1j=0d1[Mr]ij[h]i[r]j

b、DistMul模型
b、complEx模型

(3)基于神经网络

(4)基于图神经网络

(4)考虑附加信息的模型

4、知识图谱嵌入与知识图谱推理

知识图谱推理:基于图谱中已有的事实或关系推断出位置的事实或关系;主要能够辅助推理出新的事实、新的关系、新的公理以及新的规则等。
知识图谱推理的任务 主要有:知识图谱补全、不一致性监测、查询扩展、知识图谱融合过程中的推理任务(实体对齐、关系对齐)、链接预测等。
基于归纳的知识图谱推理:主要通过对知识图谱已有信息的分析和挖掘进行推理的,最常用的信息为已有的三元组。按照推理要素不同可分为以下几类:

  • 基于知识图谱嵌入的推理
  • 基于图结构的推理
  • 基于规则学习的推理

5、知识图谱嵌入的应用

在知识图谱嵌入的发展中,有很多相关应用一起发展起来,它们和知识图谱嵌入之间有着相辅相成的关系。

  • 链接预测
  • 三元组分类
  • 实体对齐
  • 问答系统
  • 推荐系统

参考资料

1、Translating Embeddings for Modeling Multi-relational Data
2、知识图谱方法、实践与应用【电子工业出版社】
3、简单快速讲解知识图谱嵌入(knowledge graph embedding)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/345024.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Pr LOGO片头动画

哈喽,各位小伙伴!今天我们来学习一下如何制作简约文字LOGO片头动画? 新建序列 新建一个1920*1080的序列,在字幕上打上我们的文字(例:Ultraman) 调出基本面板,调整文字的位置&…

全栈项目【尚医通】预约挂号系统项目介绍

🐼个人主页:爪哇斗罗 🐼博主介绍:一名打工人 🐼签名:圣人之道,为而不争。 🐼一起交流,一起进步,一起互动。 ​ 目录 一.项目介绍 二.技术架构 2.1 架构选…

SpringBoot集成Swagger3(powernode document)(内含源代码)

SpringBoot集成Swagger3(powernode document)(内含源代码) 源代码下载链接地址:https://download.csdn.net/download/weixin_46411355/87449720 目录SpringBoot集成Swagger3(powernode document&#xff0…

数据库锁的12连问,你顶得了嘛?

前言 金三银四很快就要来啦,准备了数据库锁的12连问,相信大家看完肯定会有帮助的。 1. 为什么需要加锁 在日常生活中,如果你心情不好想静静,不想被比别人打扰,你就可以把自己关进房间里,并且反锁。这就是…

Simulink自动代码生成:如何标准化的建模?以MAB,MISRA C 2012建模规范为例

目录 为什么要规范建模 MAB,MISRA C2012建模规范步骤 常用的规范总结 生成代码配置 总结 为什么要规范建模 MathWorks 咨询委员会 (MAB) 规范规定了在 Simulink 和 Stateflow 中建模的重要基本规则。这些建模规范的总体目的是让控制系统模型的建模者和使用方能…

自定义ESLint规则和修复功能

这是接上一篇自定义ESLint规则开发与使用的后续扩展,之前文章中详细讲述了怎么创建一个自定义的规则,这篇文章讲述怎么实现ESLint在检测出有问题的代码时,怎么自动fix问题。 比如我们要检测项目中所有http的协议,将其替换为https协…

Power BI 存储模式介绍(导入、DirectQuery、双)

本系列的文章: 《Power BI windows下载安装流程)》《Power BI 11个必学官方示例数据案例(附下载链接)》《Power BI 数据导入(SQL Server、MySQL、网页数据)》 一、背景原因 一般情况下,我们是…

测试开发面试基础题

1.对测试开发的理解 测试开发首先离不开测试,而软件测试是指,在规定的条件下对程序进行操作,以发现程序错误,衡量软件质量,并对其是否能满足设计要求进行评估的过程。 而且,现在不仅仅是通过手工测试来发…

安装less-loader5出现webpack版本不兼容

今天遇到一个问题: 安装less-loader5之后其它包提示peerDependencies WARNING,意思是包版本不兼容。 【难题】 虽然NPM已经很自动化了,但依赖问题真的是一个难题,无法自动解决,需要人工干预调整。 【解决办法】 去查…

用户选择好用的投票小程序最有用的投票小程序微信推送里投票制作教程

“夏日非遗传承活动”网络评选投票_用户选择好用的投票小程序_最有用的投票小程序用户在使用微信投票的时候,需要功能齐全,又快捷方便的投票小程序。而“活动星投票”这款软件使用非常的方便,用户可以随时使用手机微信小程序获得线上投票服务…

医学生考研考博太卷,一篇文章轻松助力上岸——生物信息学及R语言基础知识之向量的生成(一)

考研考博太卷了,卷不过,想没想过本科发一篇文章呢? 330分考研人淘汰390分考研人这个故事,大家应该都知道吧。 本专栏带你六个月内,搞定一篇文章,本科生发文章也很容易。 在卷考研的同时,再卷一篇SCI,你就是新一任卷王。 本专栏教你不用花钱发一篇生信文章,从三个方…

带你了解软件测试是做什么的

软件测试是互联网技术中一门重要的学科,它是软件生命周期中不可或缺的一个环节,担负着把控、监督软件的质量的重任。 人才稀缺,对于求职者来说就意味着机会。但是很多想学习软件测试的人对这个学科并不了解,也不知道该如何学习&a…

Vue3的新特性

文章目录1 生命周期的变化2 使用proxy代替defineProperty2.1 Object.defineProperty()语法2.2 Proxy的语法3 Diff算法的提升3.1 以往的渲染策略3.2 Vue3的突破4 TypeScript的支持5 优化打包体积6 新的响应性 API6.1 reactive()6.2 <script setup>6.3 nextTick()6.4 react…

【半监督医学图像分割 2022 MICCAI】CLLE 论文翻译

文章目录【半监督医学图像分割 2022 MICCAI】CLLE 论文翻译摘要1. 简介2. 方法2.1 半监督框架概述2.2 监督局部对比学习2.3 下采样和块划分3. 实验4. 结论【半监督医学图像分割 2022 MICCAI】CLLE 论文翻译 论文题目&#xff1a;Semi-supervised Contrastive Learning for Labe…

Kafka 消息队列

目录主流的消息队列消息队列的应用场景缓存/肖锋解耦异步处理KafkaKafka的定义Kafka的底层基础架构Kafka分区如何保证Leader选举Kafka分区如何保证Leader和Follower数据的一致性Kafka 中消费者的消费方式Kafka 高效读写数据的原因&#xff08;高性能吞吐的原因&#xff09;&…

chatGPT爆火让我们反思——人工智能是新的加密货币吗?

核冬天技术末日到来了&#xff0c;只有人工智能幸免于难。峰值 AI 指标无处不在。它能保持加密失去的信念吗&#xff1f;作者&#xff1a;John Luttig 翻译: Chainwise核冬天技术末日到来了&#xff1a;软件、SPAC、金融科技和加密货币都进入了深度冻结状态。AI 可能是唯一穿着…

JavaWeb_RequestResponse

目录 一、概述 二、Request对象 1.Request继承体系 2.Request获取请求数据 ①获取请求行数据 ②获取请求头数据 ③获取请求体数据 ④获取请求参数 3.Request请求转发 三、Response 1.Response设置响应数据功能 ①响应行 ②响应头 ③响应体 2.请求重定向 3.路径问…

原生开发 之 微信小程序

目录 一、前期预备 1. 预备知识 ​2. 注册账号 - 申请AppID 3. 下载小程序开发工具 4. 小程序项目结构 ​5. 小程序的MVVM架构 二、创建小程序项目 1. 查看注册的appId ​2. 创建项目 ​3. 新建页面 01 - 创建text页面文件夹 ​02 - 新建text的page ​03 - 在app.json中配置 ​…

Python Paramiko stdout 多进程 阻塞 卡住 问题解决

使用paramiko进程远程操作时&#xff0c;如果缓冲区满了&#xff0c;exec_command在写入该缓冲区时会产生阻塞并一直保持阻塞状态&#xff0c;直到缓冲区被清空为止。 使用multiprocessing无疑会加重这种情况&#xff0c;其中一种解决办法是设置exec_command的get_pty参数为Tru…

商城业务:购物车

人生在世如身处荆棘之中&#xff0c;心不动&#xff0c;人不妄动&#xff0c;不动则不伤&#xff1b;如心动则人妄动&#xff0c;伤其身痛其骨&#xff0c;于是体会到世间诸般痛苦。 1、购物车需求 1&#xff09;、需求描述&#xff1a; - 用户可以在登录状态下将商品添加到购…