读书笔记--知识图谱基础概念与关键环节解析

news2024/11/27 21:51:02

        知识图谱相当于一张网,是一种大型知识库,一种揭示实体之间关系的语义网络,是事物及其关系的形式化描述,分为通用知识图谱和领域(行业)知识图谱,如DBpedia,OpenKG,Wikidata. 知识图谱为多源、异构、海量、动态数据的表达、组织、管理和利用等提供了一种更为有效的方式,知识图谱促进了理解和处理,使得智能化水平更高,更接近人类认知思维。

       大家研究知识图谱,其实主要是关注知识图谱和智能化之间的关系,特别是知识图谱与认知智能的关系。
知识图谱与认知智能的关系:认知的高度决定你创造价值的高度,包括你对世界的认知和世界对你的认知。认知的基础是知识,需要我们从数据中挖掘形成知识,进而提升认知,实现人工智能的认知能力提升,提升业务人员的决策效率。
智能类型主要分为计算智能、感知智能和认知智能,详见图1-1,认知智能具有对信息的获取处理、存储、转化和应用能力。认知智能是产业实现突破的核心手段,协同的基础是认知意图、数据、知识之间的逻辑关系和业务意义,用于辅助分析决策,人工智能的新一代趋势要求利用知识、数据、算法和算力,将符号学知识驱动的AI和数据驱动的AI结合起来,形成强大的认知决策智能,提升人、物和企业的信息博弈能力。

图1-1

通过学习知识图谱构建及应用案例,了解到知识图谱的构建是一项长期发展和优化的过程工程,需要不断的研究探索和应用实践。知识图谱的落地研究有符号学派、统计学派和图网络学派。目前学术界研究较多的图神经网络(GNN)综合了符号和图拓扑结构信息。
知识图谱的发展历程,详见图1-2。

图1-2

知识图谱主要涉及到知识抽取、表示、融合、建模、推理等关键环节的解决与突破,知识图谱的构建过程详见图1-3。

图1-3

一、知识抽取

知识抽取是从结构化、半结构化、非结构化数据中提取实体、关系及属性等知识要素,同时基于语句和语境抽取实体间关系及实体所描述的事件,以便于后续的知识融合。
知识抽取也叫做信息抽取,主要任务有实体抽取、实体链接(包括链接、实体消岐和共指消解)、关系抽取、属性抽取和事件抽取,主要方法有众包法、爬虫法、机器学习法和专家法。
结构化数据的信息抽取见下图

半结构化数据的信息抽取主要通过编写数据清洗、标注和解析评估来实现,主要通过XPath对表格、列表和网页进行解析实现信息抽取。
非结构化数据的信息抽取主要通过隐马尔可夫模型(HMM)、条件随机场(CRF)、长短时记忆(LSTM)等实现实体抽取。关系抽取主要有基于触发词、基于依存句法分析的模板抽取方法,基于监督学习方法和基于弱监督学习方法的抽取。

二、知识表示

知识表示是如何用合适的方式来表示各种知识要素,相当于将知识符号化的过程,以便计算机能够理解,主要有基于符号,基于向量的知识表示。
基于符号表示法主要有早期的一阶谓词逻辑表示、产生式规则表示、语义网络表示、框架表示法,语义网表示法有RDF、RDFS、OWL方法。
基于向量的表示法主要有TransE、TransH、TransR、TransD、TransSparse,组合模型,三元组的神经网络模型等

三、知识融合

知识融合是通过冲突检测、真值发现等技术进行消除冲突,进行关联与合并的过程,主要有概念层的本体对齐和数据层的实体对齐。本体对齐明确一个统一的知识体系。通过融合形成高质量的知识图谱。知识融合任务的执行流程详见下图。

本地对齐方法有基于字符串比较、基于路径结构和基于实例方法。
实体对齐方法有属性相似度(文本字符串、聚合相似度和向量相似度)和实体相似度(聚合、聚类和嵌入式知识表示)

四、知识建模

知识建模是建立知识图谱的数据模式,是构建知识图谱规范的过程,相当于通过知识建模,使得知识更加组织有序、层次分类和简洁关联。
知识建模:Top-Down和Down-Top,前者是从泛化到专精化,后者是从专精化--抽象--泛化。知识建模主要包括两个任务或步骤,本体建模和知识表示建模,本体建模建立概念层的层次结构,达到人类可理解的程度,知识表示建模建立知识图谱数据层的模型,得到图谱数据模型,使得计算机可理解这些数据之间的关系。
知识建模方法有手工建模方法、半自动建模和数据驱动的本体自动建模。
手工建模方法:包括明确本体及任务、模型复用、列出本体涉及领域中的元素、明确分类体系、定义类的属性和关系、定义属性的约束条件和创建实例等七个步骤,详见下图。

半自动建模:详见下图所示

本体自动建模:数据驱动的本体自动建模包括实体并列关系计算、实体上下位关系抽取、本体生成等,详见下图所示。

五、知识推理

察己则可以知人,察今则可以知古,通过丰富扩展知识库,更好的支持智能检索 、推荐和知识问答等,丰富挖掘隐含的知识,知识推理其实是知识图谱建设的终极目标,通过推理可以弥补数据不足的情况,完成实体预测、关系预测、属性预测和路径预测等。将知识库中的关系和属性等信息补全,也是知识库工程化的重要工作。主要有基于逻辑规则、基于知识表示学习和基于图的推理和混合推理。
逻辑规则主要有一阶谓词逻辑、描述逻辑、概率图逻辑和路径规则逻辑。
知识表示学习推理主要有基于张量分解模型、基于转移的表示逻辑

六、知识存储

知识也是一种数据,也需要存储,知识存储方法主要有基于RDFS、基于NoSQL和基于分布式存储。
基于RDFS:三列表存储、水平表、属性表、全索引表。
基于NoSQL:列式存储、文档存储和图存储
基于分布式:RDFPeers、YARS2、4Store
利用Apache Jena存储数据,可参考SPARQL查询和JENA存储
利用TDB和Fuseki存储和管理三元组,可以通过SPARQL进行查询,进入目录运行fuseki-server.bat
利用Neo4j存储数据:实现了从json抽取数据到neo4j,从mysql 抽取数据到neo4j。

七、知识计算

知识计算也叫做知识应用,相当于通过知识统计、图挖掘、知识推理等方法与传统应用的结合,提供知识补全、知识纠错,来提高知识完备性扩大知识覆盖面,通过简洁的自然语言形式自动地回答用户提出的问题,实现知识图谱的各类应用。

八、知识图谱平台

知识图谱如果想得到规范化建设并得到有效应用,就需要建立知识图谱平台,有些也叫做知识服务平台,逐步解决构建周期长、难度大,复用低等难题,实现知识图谱的一站式平台服务、集成的基础能力和行业场景的解决方案。目前开源的有AiMind知识图谱平台。
知识图谱标准体系结构图详见下图。

知识图谱管理平台实现将多个数据和知识的所有方、开发方和应用方的需求与认知对齐,形成从认知、建设到服务的一体化、平台化服务产品,平台架构详见下图。

九、知识图谱的应用场景
1.智能搜索

传统的搜索:关键词--网页的匹配关系,没有真正理解用户查询内容本质,即语义理解。
基于图谱的搜索:通过用户提交的问句,首先要对其进行语义理解,不局限于字面本身,准确把握用户真实意图,然后通过对实体、关系和用户的理解,分析交互行为,进行知识检索获取准确答案,图谱更深入、广泛和完备,并且有完整的知识体系,是一种长尾搜索。

2.推荐系统

图谱引入事物的语义信息,提升推荐的相关性、多样性和可解释性。

3.知识问答

引入了文本语义深层次的分析处理,实现深层次的逻辑推理,结合问句语义解析、语义表示技术,并结合知识推理和深度学习算法,使得问答更加智能、更为准确可靠。避免偏差。

4.推理决策

利用知识融合与推理技术,发现潜在规律和关联,利用图谱强大的关系连接能力,将信息整合为一体,从一点穿透到信息潜在的关联部分,比如多跳问题等。比如反欺诈、风险评估等应用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1052727.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IP行业查询API:为用户分析提供帮助

引言 在数字化时代,IP地址不仅代表着设备在互联网上的位置,还蕴含着丰富的信息。IP地址所属行业查询API应运而生,为用户分析提供了有力支持。本文将探讨这一工具的应用,以及对用户分析的帮助。 IP行业API的应用 1. 目标市场定位…

凉鞋的 Unity 笔记 102. 场景层次 与 GameObject 的增删改查

102. 场景层次 与 GameObject 的增删改查 在上一篇,我们完成了 Unity 引擎的 Hello world 输出,并且完成了第一个基本循环: 通过这次基本循环的完成,我们获得了一点点的 Unity 使用经验,这非常重要。 有实践经验后再…

C++(string类)

本节目标: 1、为什么要学习string类 2.标准库中的string类 3.vs和g下string结构说明 1.为什么学习string类 1.1 c语言中的字符串 C 语言中,字符串是以 \0 结尾的一些字符的集合,为了操作方便, C 标准库中提供了一些 str系列的…

ROS2 库包设置和使用 Catch2 进行单元测试

说明 本文的目的是了解如何在 ROS2 中创建库,以供其他 ROS2 包使用。除此之外,本文还介绍了如何使用 catch2 框架编写单元测试。本文的第 1 部分将详细介绍如何创建库包。第 2 部分将介绍 ROS2 软件包如何利用创建的库 上篇 ROS2 库包设置和使用 Catch2…

postgresql-管理数据表

postgresql-管理数据表 创建表数据类型字段约束表级约束模式搜索路径 修改表添加字段删除字段添加约束删除约束修改字段默认值修改字段数据类型重命名字段重命名表 删除表 创建表 在 PostgreSQL 中,使用 CREATE TABLE 语句创建一个新表: CREATE TABLE …

二、BurpSuite Scan扫描

1.Scan details 解释:选择只是爬行还是爬行加代码审计 Scan Type:选择爬行或者代码审计URLs to scan:定义要扫描的网址。Burp将从这些网址开始进行爬行,并默认将包括指定网址文件夹下的所有内容。Protocol settings:使…

【Office】超简单,Excel快速完成不规则合并单元格排序

演示效果:将下图已经合并了的单元格按照单位名称排序并将同一个单位的数据合并在了一起。 Step 1:取消合并 选中所有的数据后,点击 “开始”-“合并单元格” ,并且取消数据源的合并。 Step 2:填充数据 选中需要填…

宝塔反代openai官方API接口详细教程,502 Bad Gateway问题解决

一、前言 宝塔反代openai官方API接口详细教程,实现国内使用ChatGPT502 Bad Gateway问题解决, 此方法最简单快捷,没有复杂步骤,不容易出错,即最简单,零代码、零部署的方法。 二、实现前提 一台海外VPS服务…

Python Cartopy地图投影【3】

上两期文章见: Python Cartopy地图投影【1】 第一期文章内容纲要: step1: 开始地图投影 step2: GeoAxes 的常用方法 2.1 add_feature:添加海岸线、河流、湖泊等地理特征 2.2 gridlines:添加网格线以及相应标签等 Python Cartopy地…

最新AI智能创作系统ChatGPT商业源码+详细图文搭建部署教程+AI绘画系统

一、AI系统介绍 SparkAi创作系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美,可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT?小编这里写一个详细图文教程吧&am…

深度学习(2)---循环神经网络(RNN)

文章目录 一、序列数据和语言模型1.1 序列数据1.2 语言模型 二、循环神经网络(RNN)2.1 概述2.2 门控循环单元(GRU)2.3 长短期记忆网络(LSTM) 一、序列数据和语言模型 1.1 序列数据 1. 在深度学习中,序列数据(Sequence data)是指具有前后顺序…

华为:数据治理方法论

导读 本文先概要介绍了数据治理框架、数据治理组织架构和数据治理度量评估体系,然后结合华为数据治理案例和新冠疫情简单描述了数据治理的应用,最后描述了DAYU方法论在DataArts Studio产品上的落地以及详细的落地指导文档。 加gzh“大数据食铁兽”&am…

[题]欧拉函数 #欧拉函数

目录 欧拉函数一、用公式求代码 二、线性筛法求欧拉函数扩展欧拉定理 欧拉函数 AcWing 873. 欧拉函数 一、用公式求 定义:1 ~ N 中与 N 互质的数的个数被称为欧拉函数,记为ϕ(N)。 怎么求呢?? 有一个公式: N p1a1 X…

《Vue.js+Spring Boot全栈开发实战》简介

大家好,我是老卫。 恰逢中秋国庆双节,不想出门看人山,惟愿宅家阅书海! 今天开箱的这本书是《Vue.jsSpring Boot全栈开发实战》。 外观 从书名故名思议,就是基于Vue.jsSpring Boot来实现企业级应用全栈开发。 该书由…

(2023,ControlNet,CFGRW,diffusion,控制组合)向文本到图像扩散模型添加条件控制

Adding Conditional Control to Text-to-Image Diffusion Models 公众号:EDPJ(添加 VX:CV_EDPJ 或直接进 Q 交流群:922230617 获取资料) 目录 0. 摘要 1. 简介 2.相关工作 2.1. 微调神经网络 2.2. 图像扩散 …

基于electron25+vite4创建多窗口|vue3+electron25新开模态窗体

在写这篇文章的时候,查看了下electron最新稳定版本由几天前24.4.0升级到了25了,不得不说electron团队迭代速度之快! 前几天有分享一篇electron24整合vite4全家桶技术构建桌面端vue3应用示例程序。 https://www.cnblogs.com/xiaoyan2017/p/17…

【C++哈希应用】位图、布隆过滤器

【C哈希应用】位图、布隆过滤器 目录 【C哈希应用】位图、布隆过滤器位图概念位图的实现位图改造位图应用总结布隆过滤器布隆过滤器的提出布隆过滤器的概念布隆过滤器的查找布隆过滤器删除布隆过滤器优点布隆过滤器缺陷 作者:爱写代码的刚子 时间:2023.9…

【人物】知识就是金钱,程序员搞副业年入200万,各行各业的你也可以效仿

优秀的普通人 大家好,我是老李。一个专注于收集互联网有用信息的博主。 今天我们这一期要讲的是人物。讲什么人物呢? 首先我们不会讲一些特别知名和特别牛逼的人物,比如马云,雷军。刘强东。这些人固然很厉害很成功,…

【【萌新的RiscV学习之流水线控制-9】】

萌新的RiscV学习之流水线控制-9 我们按照在之前的单周期设计加入控制单元 那么我们能够在后续的设计中提供方便 我们也在流水线中加入一个control单元 我们先按照书上的指令op码值介绍一遍基本功能 接下来我们讲述control 的 控制效果 关于这些串口判别的使用 由于控制线从…