论文浅尝 | 用于推荐的知识自适应对比学习

news2025/1/8 16:46:42

6a97e9fb5abd37763bae7efaa711cae8.png

笔记整理:俞洪涛,浙江大学硕士,研究方向为知识图谱表示学习

链接:https://dl.acm.org/doi/10.1145/3539597.3570483

动机

在基于知识图谱的推荐系统中,用户和项目的交互信息通常会在模型中占主导地位,而KG中的信息很少被编码到嵌入表示中。例如,在KGAT的模型中,在得到项目节点的表示时,用户节点所占的权重,通常远大于实体节点。此外KG中存在与推荐系统无关的信息,这提升了对信息做聚合的难度。

贡献

为了解决上面提到的这两个问题,文章使用了一个对比学习的loss,对比学习UI交互图中的item表示和KG图中item表示,通过两个视角的表示,来缓解KG中的信息被忽略的问题。此外,文章引入了两个可学习的视图生成器,以自适应地删除数据增强过程中与任务无关的边,并帮助解决由知识过载带来的噪声。

本文的贡献总结如下:

  • 作者强调了基于KG的推荐的最先进方法范式中的两个关键局限因素,即交互支配和知识过载。

  • 作者提出了一个名为KACL的新模型,该模型可以自动删除与任务无关的边,并对用户-项目交互视图和KG视图之间共享的信息进行编码,以获得高质量的节点表示。

  • 作者在三个公共基准上的实验表明,与最先进的基线相比,KACL可以显著提高top-K推荐的性能。

方法

作者提出的方法的总体架构图如下图所示:

16ae773dbc3056af5a01c8f8bbaf11e9.png

作者首先介绍了传统的基于GNN的推荐系统:

大多数基于KG的推荐系统的现有模型在图上进行分层消息聚合后,使用图神经网络(GNN)来学习每个节点的表示向量。首先使用一个单独的GAT层来得到节点的表示:

f3ec55adda0168add82a5519f3643ce7.png

然后使用GCN层来更新节点的表示:

f263e81ab66cf32929759123f510acf2.png

最后使用BPR loss更新模型参数:

f1a6a13b471938c444d3d7ffec6f8cda.png

之后作者介绍了知识自适应的对比学习,主要有三个主要部分组成:

(1)分别从交互和知识图中自适应生成视图;

(2)增强图上的用户/项目/实体的关系感知结构编码;

(3)对比学习任务,强制项目表示对两个视图共享的信息进行编码。

对于图结构上的自适应数据增强模块,为了充分探索有助于推荐的交叉视图信息,作者建议设计增强策略,该策略倾向于保持重要和推荐相关的边缘不变,同时干扰可能不重要的边缘。

e316b03695f2ed4af003500c116d380c.png

在KG视图和用户交互图两个视角上,作者采用两种不同的方式来计算边的权重向量:

对于KG视图,采用relation-aware的方式:

a987945f9bc6b2c7be3b7e9b14ad1232.png

对于用户交互图,不引入关系特征:

990fa710666d058ea3e2e2f95e297469.png

并最终计算得到扰动概率p:

3f923d0ec4dfffd3bc8aafdccb0c8347.png

在关系感知的图注意节点编码模块中,文中引入了三个GNN模块,获得节点的编码表示:GNNV1,GNNV2,和GNNrec

其中GNNV1和GNNrec的是前面提到的传统GNN推荐系统。GNNV2针对知识图谱的异构性,引入了关系感知注意力机制,其中注意力公式入如下:

63ff7e0f5525b422ec601c57aea8498b.png

对比学习任务模块计算不同视角下的节点表示,计算对比学习Loss:

b63d2fc81292082fd4354716e0ddd950.png

首先将在UI图空间中的  和  通过mlp,转到同一空间中,得到  ,再随机选择另一个节点,得到  ,计算对比学习Loss:

c78f71da0632b586581708d2966216e1.png

最终整个模型由推荐系统BPRloss,对比学习模块的loss和KG表示学习的loss组成:

578236c5fc51f2bc2ae2bc6acd5dc9e0.png

实验

实验部分,作者在Amazon-Book,LastFM,Movielens三个知识图谱推荐数据集上进行了实验,并和多项baseline模型进行了对比,实验结果如下:

e117cf38b6114b2e092d58931448a801.png

从实验结果中可以看到,论文提出的方法相比于已有模型取得了巨大的进步,同时,作者通过消融实验表明,对比学习模块、数据增强模块以及KG表示学习模块都对模型最终的结果有着明显的提升,其中,对比学习模块给模型带来的增益是最明显的。

cb0cd0387066bb9cab3864b32301cb0f.png

总结

在本文中,作者提出了一种新的、紧凑的基于KG的推荐模型KACL,它超越了典型的基于CKG的范式的限制,采用了一种基于对比学习的新范式。作者采用了一个多任务学习框架,该框架可以通过用户-项目交互图视图和知识图视图之间的额外对比学习来补充经典的推荐损失。对比学习模块可以提取两个视图共享的信息,从而缓解交互支配和任务无关的噪声。还提出了自适应视图生成器来帮助去除数据扩充中与推荐无关的边缘。实验结果验证了KACL相对于所有先进模型的优势,并证明了每个提出的组件的有效性。


OpenKG

OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。

6fffbe9949eb23ce7faedc00cf5408ce.png

点击阅读原文,进入 OpenKG 网站。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/656090.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OPA Gatekeeper对Kubernetes资源操作限制

OPA介绍 Open Policy Agent(OPA,发音为“oh-pa”)是一个开源的通用策略引擎,它统一了堆栈中的策略执行。OPA 提供了一种高级声明性语言,可让您将策略指定为代码和简单的 API,以从您的软件中卸载策略决策制…

第七十六天学习记录:计算机硬件技术基础:Intel系列微处理器

Intel系列微处理器概述 8086/8088微处理器 8086/8088微处理器是英特尔公司于1978年推出的16位处理器,在80年代是个非常流行的芯片,被广泛用于个人电脑和工作站。它是x86家族处理器的一员,被视为现代PC体系结构的基础。 8086/8088微处理器的…

对耳朵伤害最小的耳机类型,列举几款不入耳的骨传导耳机

骨传导耳机是最近几年火爆起来的耳机,它是将声音转化为不同频率的机械振动,通过人的颅骨、骨迷路、内耳淋巴液、螺旋器、听神经、听觉中枢来传递声波。与普通耳机相比最大的区别是声音不经过外耳道,避免了耳道长时间堵塞导致的中耳炎疾病发生…

基于机器学习算法:朴素贝叶斯和SVM 分类-垃圾邮件识别分类系统(含Python工程全源码)

目录 前言总体设计系统整体结构图系统流程图 运行环境Python 环境安装pytesseract注册百度云账号 模块实现1. 数据模块2. 模型构建3. 附加功能 系统测试1. 文字邮件测试准确率2. 网页测试结果 工程源代码下载其它资料下载 前言 本项目采用朴素贝叶斯和支持向量机(S…

石化园区宽带自组网应急通信方案

痛点需求 传统的通信手段在可靠性、即时性、安全性、可视化等方面的能力相对较弱,无法从根本上满足石化园区的应急通信需求。结合某大型石化园区实际需求,现亟需建设一套高可靠、高安全、广覆盖、机动灵活且支持多媒体通信的应急通信系统,以…

阿里云建站主机之虚拟主机、轻量或云服务器ECS

阿里云搭建网站主机可以选择云服务器ECS、云虚拟主机或轻量应用服务器,轻量应用服务器2核2G3M带宽一年108元,2核4G4M带宽轻量服务器一年297.98元12个月,云服务器ECS可以选择通用算力型u1,云虚拟主机共享型119元一年起,…

大数据Doris(四十三):kafka 简单json格式数据导入到Doris

文章目录 kafka 简单json格式数据导入到Doris 一、创建 Doris 表 二、创建 Kafka topic 三、创建 Ro

AI实战营:生成模型+底层视觉+AIGC多模态 算法库MMagic

目录 环境安装 黑白照片上色 文生图-Stable Diffusion 文生图-Dreambooth 图生图-ControlNet-Canny 图生图-ControlNet-Pose 图生图-ControlNet Animation 训练自己的ControlNet 环境安装 mim install mmagicpip install opencv-python pillow matplotlib seaborn tqdm …

阿里二面:使用 Nacos 做注册中心怎么做优雅发布?

大家好,我是君哥。 今天来聊一聊使用 Nacos 做注册中心怎么做优雅发布。 跟其他的注册中心一样,Nacos 作为注册中心的使用如下图: Service Provider 启动后注册到 Nacos Server,Service Consumer 则从 Nacos Server 拉取服务列表…

Unsafe类的使用

目录 一、Unsafe是什么?二、Unsafe对象的获取三、CAS1、相关方法2、demo 四、数组操作五、内存分配六、线程调度 参考于:https://blog.csdn.net/Wisimer/article/details/115220750 一、Unsafe是什么? Unsafe是jdk提供的一个直接访问操作系…

k8s 集群部署尝试

K8S 部署方式有很多,有的方式不太友好,需要注意很多关键点,有的方式对小白比较友好,部署简单方便且高效 二进制源码包的部署方式 使用 二进制源码包的方式部署会比较麻烦,大概分为如下几步: 获取源码包部…

基于abaqus的Huang晶体塑性UMAT改VUMAT

黄永刚院士编写的单晶晶体塑性UMAT,主要用于在Abaqus有限元仿真中进行单晶及多晶晶体塑性变形的计算,是许多科研工作者学习晶体塑性模拟的教学资源。可以在其基础上对硬化模型进行修改,甚至引入损伤。 UMAT主要应用于隐式分析,而…

力扣动态规划专题(二)01背包 416. 分割等和子集 1049.最后一块石头的重量II 494. 目标和 474. 一和零 步骤及C++实现

文章目录 01背包二维dp数组一维dp数组 滚动数组 416. 分割等和子集1049.最后一块石头的重量II494. 目标和474. 一和零 01背包 完全背包的物品数量是无限的,01背包的物品数量只有一个。 有n件物品和一个最多能背重量为w 的背包。第i件物品的重量是weight[i]&#xf…

基于ArcGIS的nc(NETCDF)转tif格式

软件版本:ArcMap10.4.1 nc(NETCDF)是一组独立于机器的软件库支持创建、访问和共享面向阵列的数据格式科学数据,它也是共享科学数据的社区标准。(摘自Unidata官网),被广泛应用于大气、海洋、水文等领域,是我…

stm32读取BH1750光照传感器

stm32读取BH1750光照传感器 一.序言二.BH1750指令三.IIC协议四.代码实例4.1 bh1750.c源文件4.2 bh1750.h头文件 一.序言 BH1750是用IIC协议进行数据传输的。有SCL,SDA,VCC,GND四根线。下图是原理图 二.BH1750指令 我们先看芯片手册的操作指令(下图&a…

直播 RTM 推流在抖音的应用与优化

动手点关注 干货不迷路 背景 随着互联网技术以及网络基建的快速发展和普及,视频直播已经成为了一种越来越普遍的娱乐和社交方式。无论是个人还是企业,都可以通过视频直播平台进行直播活动,向观众展示自己的生活、工作或者产品。同时&#xff…

有什么办法恢复格式后的u盘数据?5个方法,赶紧收藏起来

随着科技的不断进步,U盘已经成为了我们重要的移动存储设备之一,但是在使用过程中,很多人都可能会不小心将U盘格式化导致数据丢失。那么有什么办法恢复格式后的U盘数据?本文将会为您介绍恢复U盘格式化后数据的5种方法,如…

MT6761/MT6762/MT6765核心板模块 demo串口调试

串口调试 如果正在进行lk(little kernel ) 或内核开发,USB 串口适配器( USB 转串口 TTL 适配器的简称)对于检查系统启动日志非常有用,特别是在没有图形桌面显示的情况下。 1. 选购适配器 常用的许多 USB 转串口的适配器&#x…

SpringCloud:分布式事务Seata实践优化

1.极致性能优化 1.1. 同库模式 通常,一个TM会产生一笔主事务日志,一个RM会产生一条分支事务日志,每个分布式事务由一个TM和若干 RM组成,一个分布式事务总共会有1N条事务日志(N为RM个数)。 在默认情况下&…

万物的算法日记|第五天

笔者自述: 一直有一个声音也一直能听到身边的大佬经常说,要把算法学习搞好,一定要重视平时的算法学习,虽然每天也在学算法,但是感觉自己一直在假装努力表面功夫骗了自己,没有规划好自己的算法学习和总结&am…