微软生成自己的图谱:GitHub - microsoft/SmartKG: This project accepts excel files as input which contains the description of a Knowledge Graph (Vertexes and Edges) and convert it into an in-memory Graph Store. This project implements APIs to search/filter/get nodes and relations from the in-memory Knowledge Graph. This project also provides a dialog management framework and enable a chatbot based on its knowledge graph.
推荐算法的数据集有:(10条消息) 16个推荐系统开放公共数据集整理分享_hellozhxy的博客-CSDN博客_数据集推荐
关于推荐算法知识图谱的数据集:
一 Neo4j图数据库介绍
用的人最多,与python好交互。
Neo4j-CQL教程 https://www.w3cschool.cn/neo4j/neo4j_cql_introduction.html
下载安装SDK,neo4j
启动:
1.在cmd窗口启动
启动命令为
neo4j.bat console
2.启动信息为如下
3. 复制上图的 启动地址到浏览器
http://localhost:7474/
出现如下画面,说明启动成功
二.可视化例子演示
三 知识图谱构成的流程
知识图谱生成流程
(1)数据获取:利用网络爬虫技术从天猫网、淘宝网等电商类网站获取商品详情数据、用户评论数据。
(2)信息转化:信息转化的对象主要是半结构化的商品详情数据,包括商品、店铺、品牌等实体、关系和属性。电商类网站的商品详情数据按照信息组织的规范进行编辑与展示,本文首先根据网页结构设计商品知识图谱的模式层,并通过制定规则模板完成数据层的信息转化与导入。
(3)数据预处理:数据预处理的对象主要是非结构化的用户评论数据,首先对所有数据进行数据去重、数据筛选、数据清洗等基础工作。然后基于用户观点挖掘,采用文本标注的方式将不同数据类型进行区分,为后续工作提供支持。
(4)实体识别:旨在识别非结构化文本中的实体单元,包括穿搭、颜色、价格、质量、情感正负等。本文通过BERT-BiLSTM-CRF的深度学习模型完成实体识别,并经过实验对比验证了方法的可靠性。
BERT-BiLSTM-CRF的深度学习模型
【精选】Bert-Bilstm-CRF基线模型详解&代码实现_suibianshen2012的博客-CSDN博客
命名实体识别模型BERT-Bi-LSTM-CRF - 知乎 (zhihu.com)
(5)关系抽取:旨在抽取非结构化文本中实体单元之间的关系,主要是建立评价对象单元与情感倾向单元之间的联系。本文通过实体类别特征、依存句法特征结合的方式完成关系抽取。
(6)实体融合:利用评价单元的上下文语义关系完成实体对齐,主要是消除用户评论的歧义性,规范语义表达。本文通过Word2Vec词向量获得实体单元的语义特征,采用余弦相似度的计算方式比较实体间相似度,设定阈值完成实体融合。
(7)知识图谱存储:旨在将上述步骤中得到的<实体,关系,实体>的三元组结构存储到基于Neo4j的知识图谱中,完成知识图谱构建。