Towards Self-supervised Learning on Graphs with Heterophily

news2024/11/15 8:20:56

推荐指数: #paper/⭐
发表于: CIKM22

一句话总结:本文通过重构相似性矩阵来生成两种特征增强方法.通过对比学习来进行训练.值得一题的一点是他在对比学习中,用了X得到的特征和AX的对比.还是有一丢丢创新性的

文章配图

主要工作:

图增强

特征相似矩阵

S ~ i j F = cos ⁡ ( x i , x j ) = x i ⋅ x j ∣ x i ∣ ∣ x j ∣ , \widetilde{S}_{ij}^F=\cos\left(x_i,x_j\right)=\frac{x_i\cdot x_j}{|x_i|\left|x_j\right|}, S ijF=cos(xi,xj)=xixjxixj,
其中,x是原始特征

参数化相似性矩阵

S ~ L = cos ⁡ ( E S , E S ⊤ ) \tilde{S}^L=\cos{(E_S,E_S^\top)} S~L=cos(ES,ES)
E S = σ ( E S ( l − 1 ) ⊙ W S ( l ) ) , \mathbf{E}_S=\sigma\left(\mathbf{E}_S^{(l-1)}\odot\mathbf{W}_S^{(l)}\right), ES=σ(ES(l1)WS(l)),
其中, E s ( 0 ) = X E_{s}^{(0)}=X Es(0)=X(即原始特征矩阵), ⊙ \odot 是hadamard积. σ \sigma σ表示非线性操作

重构相似性矩阵

A ~ i j = { S ~ i j ∗ , S ~ i j ∗ ∈ k ( S ~ i ∗ ) 0 , S ~ i j ∗ ∉ k ( S ~ i ∗ ) \tilde{A}_{ij}=\begin{cases}\tilde{\mathrm{S}}_{ij}^*,&\tilde{\mathrm{S}}_{ij}^*\in k\left(\tilde{\mathrm{S}}_i^*\right)\\0,&\tilde{\mathrm{S}}_{ij}^*\notin k\left(\tilde{\mathrm{S}}_i^*\right)\end{cases} A~ij= S~ij,0,S~ijk(S~i)S~ij/k(S~i)
k ( ⋅ ) k(\cdot) k()代表与节点i相连的top-k近的节点集.

数据增强

A ~ = A ⊙ M E \widetilde{A}=A\odot M_{\mathbf{E}} A =AME
其中, M E M_{E} ME通过 p E p_{E} pE二项式分布得到
X ~ = X ⊙ M F , \widetilde{X}=X\odot M_{\mathbf{F}}, X =XMF,

对比框架

编码器

H ~ = σ ( X ~ W 1 ) W 2 \tilde{H}=\sigma(\tilde{X}W_1)W_2 H~=σ(X~W1)W2
(可以理解为两层mlp)
L O = ∥ H ~ 1 − H ~ 2 ∥ F 2 ⏟ L i n v + λ ( ∥ H ~ 1 ⊤ H ~ 1 − I ∥ F 2 + ∥ H ~ 2 ⊤ H ~ 2 − I ∥ F 2 ) ⏟ L d e c , \mathcal{L}_{O}=\underbrace{\left\|\tilde{H}_1-\tilde{H}_2\right\|_F^2}_{\mathcal{L}_{inv}}+\underbrace{\lambda\left(\left\|\tilde{H}_1^\top\tilde{H}_1-I\right\|_F^2+\left\|\tilde{H}_2^\top\tilde{H}_2-I\right\|_F^2\right)}_{\mathcal{L}_{dec}}, LO=Linv H~1H~2 F2+Ldec λ( H~1H~1I F2+ H~2H~2I F2),
L N = − ∑ r = 1 R E v i ∈ V ∣ log ⁡ exp ⁡ ( ⟨ s ~ i r , h ~ i ⟩ / τ ) ∑ v k ∈ V exp ⁡ ( ⟨ h ~ k , h ~ i ⟩ / τ ) ∣ , \mathcal{L}_N=-\sum_{r=1}^R\mathbb{E}_{v_i\in\mathcal{V}}\left|\log\frac{\exp\left(\langle\tilde{s}_i^r,\tilde{h}_i\rangle/\tau\right)}{\sum_{v_k\in\mathcal{V}}\exp\left(\langle\tilde{h}_k,\tilde{h}_i\rangle/\tau\right)}\right|, LN=r=1REviV logvkVexp(h~k,h~i/τ)exp(s~ir,h~i/τ) ,
其中, s ~ i r = γ r ( A ~ r h ~ i ) \tilde{s}_i^r=\gamma_r\left(\tilde{A}^r\tilde{h}_i\right) s~ir=γr(A~rh~i).这样,这个式子就相当于X和AX的对比了. s ~ r \tilde{s}^r s~r代表节点v的自适应r跳邻居表征 γ r \gamma_{r} γr表示r层的自适应参数.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1976524.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构与算法--队列

文章目录 提要队列的定义队列的认识队列的应用队列的抽象数据类型队列的存储结构队列的链式存储结构与实现链队的进队和出队操作链队的数据类型初始化链队列入队操作出队操作队列的顺序存储结构与实现顺序队列的假溢出问题队列上溢循环队列循环队列取下一相邻单元下标运算队满与…

U盘数据丢失?一招教你如何使用四种技巧轻松找回!

每一个打工人可能都是被各种文件所困扰的,而且现在不仅仅是工作上,还有学习以及日常的生活记录也需要接触到各类的数据,拿我们平时用软件时产生的文件、图片、视频等等来说,就占据了磁盘的大部分空间,当然有时候也会选…

让玄学可靠:构建复杂 LLM 应用

ChatGPT 从 2023 年一月份爆火,到了六月份热度下降,大量的 Chat 应用昙花一现,很多人又开始讨论——大模型到底能解决什么问题?过去太多的焦点给到了 ChatGPT,让大家以为 AI ChatGPT,而忽略了背后的 LLM。…

作业练习1

要求:R1-R2-R3-R4-R5 RIP 100 运行版本2 R6-R7 RIP 200 运行版本1 1.使用合理IP地址规划网络,各自创建环回接口 2.R1创建环回 172.16.1.1/24 172.16.2.1/24 172.16.3.1/24 3.要求R3使用R2访问R1环回 4.减少路由条目数量,R1-R2之间增加路由传递…

vLLM初识(一)

vLLM初识(一) 前言 在LLM推理优化——KV Cache篇(百倍提速)中,我们已经介绍了KV Cache技术的原理,从中我们可以知道,KV Cache本质是空间换时间的技术,对于大型模型和长序列&#xf…

MyBatis动态代理和映射器

目录 1、映射器简介 (1)什么是mapper动态代理? (2)动态代理的规范 (3)如何使用动态代理 (4)为什么学映射器 (5)映射器与接口 (…

动手学深度学习V2每日笔记(卷积层)

本文主要参考沐神的视频教程 https://www.bilibili.com/video/BV1L64y1m7Nh/p2&spm_id_from333.1007.top_right_bar_window_history.content.click&vd_sourcec7bfc6ce0ea0cbe43aa288ba2713e56d 文档教程 https://zh-v2.d2l.ai/ 本文的主要内容对沐神提供的代码中个人不…

3.OpenFeign与负载均衡

文章目录 什么是 OpenFegin0penFeign 与 Ribbon.对 consumer 的改造超时配置请求响应的压缩设置选择远程调用的底层实现技术OpenFegin 整合 LoadBalancer 负载均衡负载均衡策略的更换小结 前面消费者对于微服务的消费是通过 RestTemplate 完成的,这种方式的弊端是很明显的:消费…

清华计算几何-算法LowBound和ConvexHull(凸包)-GrahamScan

算法复杂度最低界限LowBound 算法求解复杂度是否存在一个最低界限,有时候想尽一切办法优化一个算法,去优化其复杂度,比如 清华计算几何-ConvexHull(凸包)-求极点InTriangle/ToLeft Test-CSDN博客 清华计算几何-ConvexHull(凸包)-求极边_计…

5.0-软件工程基础知识-考点分析

考试占比大概10分 软件工程概述软件过程模型 瀑布模型 瀑布模型变种-V模型 演化模型-原型模型 增量模型 喷泉模型 基于构件的开发模型 形式化方法模型需求分析系统设计系统测试运维软件质量和度量项目管理系统分析与设计概念结构化分析WebApp设计与用户界面设计

【小技巧】Keil5 和 NotePad++ 代码格式化 (Ctrl + Q) ( 插件安装astyle-3.5-x64 / NppAStyle)

Artistic Style 是适用于 C、C、C/CLI、 Objective-C 、C# 和 Java 编程语言的源代码缩进器、格式化器和美化器。它用 C 编写,可以从命令行使用,也可以作为库合并到另一个程序中。可以从命令行或选项文件输入选项。可以从用 C 以外的语言编写的程序中调用…

【qiankun微前端】基座主应用(vue2)+多个微应用(任意框架)

前言 前段时间对我们已有的工程进行了微前端改造,后来思考一下微前端的本质,查询了不少资料,从qiankun微前端示例中学到了不少。 微前端的核心,似乎应该是一个基座应用(含登录页,layout页,404和首页等),多个子应用(任意框架,提供内部页面内容),下面就对这个思路…

预警器件控制思考

预警器件控制思考 最小示例思想 当读取到环境信息与环境阈值的时候, 我们预警系统就要根据这些信息做出判断,是否要启动器件。 最简单的就是, 举温度temp的例子, temp(温度)与temp_th(阈值), 通过判断, 得出是否要启动器件. 如果在一段时间内, 一直是环境异常, 我…

私藏心术:低谷期翻身转运秘籍

私藏心术:低谷期翻身转运秘籍 在生活中,每个人都可能遇到低谷期,那些看似无法逾越的障碍和挫折。但记住,低谷期不是终点,而是重新站起来的起点。本文将分享一些实用的心术和策略,帮助你在低谷期实现翻身转…

第一个 Flask 项目

第一个 Flask 项目 安装环境创建项目启动程序访问项目参数说明Flask对象的初始化参数app.run()参数 应用程序配置参数 安装环境 mkvirtualenv flask_envpip install flask创建项目 启动程序 访问项目 http://127.0.0.1:5000/ 参数说明 Flask是一个用Python编写的轻量级Web应…

程序员学长 | 快速学习一个算法,CLIP

本文来源公众号“程序员学长”,仅用于学术分享,侵权删,干货满满。 原文链接:快速学习一个算法,CLIP 今天给大家介绍一个强大的算法模型,CLIP。 CLIP (Contrastive Language–Image Pre-training) 是一个…

机器学习流程图

第一部分:课程使用的技术栈 (1)Numpy 科学计算基础库,矩阵运算,线性代数 (2)matplotlib 绘图库,数据可视化 (3)Scikit 封装了各种分类,回归…

【课程总结】day19(下):Transformer源码深入理解

前言 在上一章【课程总结】day19(下):Transformer架构及注意力机制了解总结中,我们对Transformer架构以及注意力机制有了初步了解,本章将结合《The Annotated Transformer》中的源码,对Transformer的架构进行深入理解。 背景 《The Annotated Transformer》是由 Harva…

LaneATT推理详解及部署实现(上)

目录 前言1. 概述2. 环境配置3. Demo测试4. ONNX导出初探5. ONNX导出优化6. ONNX导出总结结语下载链接参考 前言 最近想关注下车道线检测任务,在 GitHub 上找了一个模型 LaneATT,想通过调试分析 LaneATT 代码把 LaneATT 模型导出来,并在 tens…

Java游戏源码:象棋网络对战版

学习java朋友们,福利来了,今天小编给大家带来了一款象棋网络对战版源码。 源码搭建和讲解 源码分为客户端和服务器,采用java原生 java.net.Socket 实现,服务器主循环代码: import java.net.ServerSocket; import jav…