论文《Universal Graph Convolutional Networks》笔记

news2024/11/25 6:56:07

【UGCN】论文提出一个基本问题,即是否不同的网络结构属性应该采用不同的传播机制。通过实验发现,对于完全同配性、完全异配性和随机性的网络,1-hop、2-hop和k-nearest neighbor(kNN)邻居分别更适合作为信息传播的邻域。为了应对现实世界网络的复杂性,作者提出了一种新的通用GCN框架——UGCN。该框架通过多类型卷积同时提取1-hop、2-hop和kNN网络的信息,然后设计一种判别式聚合来充分融合这些信息,以满足给定的学习目标。

本文发表在2021年NeurIPS会议上,作者学校:天津大学、北京邮电大学、美国伊利诺伊香槟大学,引用量:80。

NeurIPS会议简介:全称Conference on Neural Information Processing Systems(神经信息处理系统大会),机器学习和计算神经科学领域的顶级学术会议,CCF A。

查询会议:

  • 会伴:https://www.myhuiban.com/

  • CCF deadline:https://ccfddl.github.io/

原文和开源代码链接:

  • paper原文:https://openreview.net/forum?id=MSXDyfli9vy
  • 开源代码:https://github.com/jindi-tju/U-GCN

0、核心内容

图卷积网络(GCNs)旨在通过聚合相邻节点来获得节点的表示,在处理图(网络)数据上的各种分析任务方面显示出了巨大的能力。GCNs的显著性能通常依赖于网络的同质性假设,而这种假设并不能总是得到满足,因为异配性或随机性在现实世界中也普遍存在。这就引出了一个基本问题:具有不同结构属性的网络是否应该采用不同的传播机制?

在本文中,我们首先进行了一个实验研究。令人惊讶的是,我们发现传播机制实际上存在分割规则,即1跳、2跳和k最近邻(kNN)邻居分别更适合于具有完全同质性、完全异配性和随机性的网络邻域。然而,现实世界的网络是复杂的,并且可能呈现出不同的结构属性,例如,由同质性主导的网络可能包含少量的随机性。那么,我们能否合理地利用这些分割规则来设计一个独立于网络结构假设的通用传播机制呢?

为了应对这一挑战,我们开发了一个新的通用的GCN框架,即UGCN。首先引入了多类型卷积,同时从1跳、2跳和kNN网络中提取信息,然后设计了一个判别聚合来充分融合它们,以达到给定的学习目标。

大量的实验证明了UGCN优于最先进的技术。

(引自摘要)

1、展开研究
① 本文贡献

现有方法从传播机制的角度来看,仍然缺乏深刻的理解。

作为本研究的第一个贡献,我们进行了实验,分析了GCN在具有不同结构性质的网络中的传播机制。令人惊讶的时,我们的实验清楚地表明,对于具有完全同质性、完全异配性和随机性的网络,1跳、2跳和k最近邻(kNN)邻居分别更适合作为信息传播的邻域。这意味着对GCNs当前传播机制的描述能力有限,具有不同结构特性的网络可能需要采用不同的传播机制。

事实上,虽然这些分割规则似乎能够以一种理想的方式选择合适的节点作为邻域,但现实世界的网络是复杂的,并且可能呈现出不同的属性,例如,由同质性主导的网络可能包含少量的随机性或异配性。一个自然的问题是,“我们能否合理利用这些分割规则来设计一个独立于网络结构假设的通用传播机制?”

为了解决这一挑战,我们提出了一个新的通用的GCN模型,即UGCN,针对一般的网络数据。其中心思想是,我们通过充分利用来自1跳、2跳和KNN邻居的信息来学习节点嵌入,并自适应地融合它们,为给定的学习目标获得更深层次的相关信息。具体来说,我们首先引入了一种多类型的卷积机制。它使用1跳网络(即原始输入网络)、2跳网络和由1跳、2跳和kNN邻居构建的网络分别进行直接信息传播,并对每个网络采用节点级注意机制,提取三种特定的嵌入。然后,我们进行区分聚合来了解这三种嵌入的重要性,从而提取出最相关的信息,如节点分类。

在一系列基准数据集上的大量实验证明了UGCN优于一些先进的技术。

② 观察&动机

在这里,我们提出了一个简单而直观的案例研究来说明和分析不同传播机制下的GCN变化的性能。其主要思想是将GCN应用于具有不同结构属性的网络,利用1跳节点、2跳节点和k最近邻(kNN)邻居,它们通常被认为是网络中节点分类的有效邻域,分别实现信息的传播。然后,我们将检查GCN在这些情况下的性能。通用传播机制应该在一般网络数据中提供良好的结果。然而,如果与其他两种情况相比,性能急剧下降,这将表明具有不同结构属性的网络可能需要使用不同的传播机制。

实验设置:

  • 我们在具有不同性质的Newman人工网络上进行了实验。该网络由128个节点组成,分为4类,每个节点平均有 z i n z_{in} zin个边(即类内边)连接到同一类的节点, z o u t z_{out} zout个边(即类间边)连接到其他类的节点,且 z i n + z o u t = 16 z_{in}+z_{out}=16 zin+zout=16。请注意,这里我们利用两个指标: ρ i n = z i n / 32 ρ_{in}=z_{in}/32 ρin=zin/32 ρ o u t = z o u t / 96 ρ_{out}=z_{out}/96 ρout=zout/96来确定网络属性,即 ρ i n > ρ o u t ρ_{in}>ρ_{out} ρin>ρout ρ i n = ρ o u t ρ_{in}=ρ_{out} ρin=ρout ρ i n < ρ o u t ρ_{in}<ρ_{out} ρin<ρout分别是指具有同配性、随机性和异配性的网络。
  • 对于节点属性,我们为每个节点生成一个4h维的二进制属性,形成4个属性簇,对应于4个类。

图1:GCN在Newman网络上分别使用不同的传播机制:1-hop、2-hop、kNN邻居作为邻域的性能。

在这里插入图片描述

如图1所示,对于具有较强同配性的网络(如 ρ o u t = 0.075 ρ_{out}=0.075 ρout=0.075),使用1-hop邻居更容易获得较高的精度。然而,随着类间边的增加,精度迅速降低。这主要是由于同质性假设阻止了GCN有效地融合信息。另一方面,对于具有强异配性的网络(如 ρ o u t = 0.165 ρ_{out}=0.165 ρout=0.165),令人惊讶的是,使用2-hop邻居作为邻域的GCN精度(如83.15%)远高于使用1-hop邻居的GCN精度(如32.85%)。由于2-hop邻居的同质性比例可能随着类间边的增加而增加,因此使用2-hop邻居的GCN在一定程度上更有效。有趣的是,我们可以发现利用kNN的GCN更容易获得稳定精度,如71.46%。特别是,它比在完全随机网络上(如 ρ o u t = 0.125 ρ_{out}=0.125 ρout=0.125)使用1-hop和2-hop邻居要高得多。

**结论:**本案例研究表明,目前GCN的传播机制对于一般的网络数据并不普遍,但我们可以发现在几种特殊情况下(如完全随机网络)存在规律。这促使我们认为,具有不同结构属性的网络可能需要采用不同的传播机制。

我们利用GCN对具有完全同配性、随机性和完全异配性的Newman网络进行了额外的实验,以发现更适合的传播机制来选择有价值的节点作为邻域,从而提高不同网络的网络性能。一个简单的策略是学习针对不同的GCN使用不同类型邻域的节点的网络嵌入(即1-hop、2-hop和kNN邻居),并将嵌入连接到一个向量,以便使用鉴别聚合机制(discriminative aggregation mechanism)来学习节点分类的重要性。我们在图2中显示了注意力值作为训练迭代次数的函数。

图2:一个例子,说明了三种不同类型的邻居即1-hop、2-hop和kNN邻居)的重要性随着网络属性的变化而变化。A-C的上半部分分别表示具有完全同配性、随机性和完全异配性的网络;而下半部分表示注意值(attention values)作为相应网络中训练迭代次数的函数。

在这里插入图片描述

  • 观察A:具有完全同配性的网络利用1-hop邻居进行直接信息传播,可以获得更好的性能。
  • 观察B:利用kNN进行直接信息传播,可以获得更好的性能。
  • 观察C:具有完全异配性的网络利用2-hop邻居进行直接信息传播,可以获得更好的性能。

虽然具有不同结构属性的网络利用不同的传播机制提供更好的性能,但现实世界的网络是复杂的,可能表现出不同的特性,例如,以同配性为主的网络可能包含少量的异配性。因此,探索一种独立于网络结构假设的通用传播机制是非常必要的。

2、UGCN原理
① 多类型卷积机制(Multi-type Convolution Mechanism)
  • 作者提出了一种新的卷积机制,用于捕获来自2-hop和kNN邻居的信息。
  • 构建了基于原始输入网络的2-hop网络( G R G_R GR)和基于节点特征矩阵的kNN网络( G F G_F GF)。
  • 描述了如何使用2-hop网络和kNN网络进行信息传递,并使用节点级注意力机制来提取特定嵌入。
② 2-hop网络
  • 为了处理2-hop网络的邻接矩阵,作者引入了一个约束,选择通过至少两条不同路径连接的节点对来设置边。
  • 使用经典的两层GCN在2-hop网络上执行消息传递。
③ kNN网络
  • 使用余弦相似度计算节点间的相似性矩阵,然后基于相似性选择每个节点的k个最近邻。
  • 描述了如何通过选择节点对来获得邻接矩阵,并计算从kNN获得的信息。
④ 节点级注意力(Node-level Attention)
  • 在聚合来自原始输入网络、2-hop网络和kNN网络的信息之前,使用节点级注意力机制来学习每个节点的网络邻居对目标节点嵌入的贡献度。
  • 定义了节点对之间的重要性系数,并使用Softmax函数来计算权重。
⑤ 判别式聚合(Discriminative Aggregation)
  • 在多类型卷积之后,作者执行力一种判别式聚合,使用注意力机制自动学习1-hop、2-hop和kNN邻居的重要性。
  • 描述了如何计算每个网络的注意力值,并通过Softmax函数进行归一化以获得最终权重。
⑥ 损失函数
  • 遵循GCN的做法,定义了使用交叉熵的损失函数。

这一部分和核心贡献是提出了一种新的GCN模型,该模型不依赖于网络的结构假设,能够自适应地从1-hop、2-hop和kNN邻居中提取和融合信息,以提高在不同类型网络上的性能。

3、实验

节点分类的实验结果:

在这里插入图片描述

消融实验的实验结果:

在这里插入图片描述

其中,U-GCN-1采用2-hop邻居进行直接传播,U-GCN-2采用kNN邻居进行直接传播,U-GCN-3相比于U-GCN删除了2-hop的邻居信息。

4、启发&心得

【UGCN】算法特别简单,感觉这篇文章发在NeurIPS上有点水,但因为是2021年,刚开始出现异配图神经网络的研究,实验结果也还不错,因此引用量还比较多。赶早发paper就是好啊。

本文的理论部分非常简单,简单地说就是判断学习1-hop邻居、2-hop邻居和kNN邻居哪一个可以获得更高的预测精度,然后给这些信息分配权重再进行预测(没看这篇paper的时候我们也想到了,可恶)。需要注意的是这里的kNN邻居不是k-hop邻居,而是“使用余弦相似度计算节点间的相似性矩阵,然后基于相似性选择每个节点的k个最近邻。”

5、参考资料
  • kimi:https://kimi.moonshot.cn/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1852660.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

stm32学习笔记---GPIO输出(理论部分)

目录 GPIO通用输入输出口 GPIO的基本结构 I/O端口位的基本结构 输入部分 输出部分 推挽模式 开漏模式 GPIO的8种工作模式 STM32手册GPIO和AFIO大致介绍 STM32外部的设备和电路 声明&#xff1a;本专栏是本人跟着B站江科大的视频的学习过程中记录下来的笔记&#xff0…

CISP-PTE综合靶机-WinServer2003

1.收集网站的地址和开放的端口,完成前期信息收集。10分 2.访问站点,找出站点的敏感文件,利用返回数据找到相关敏感信 息,完成网站结构的信息收集。10分 3.利用文件包含漏洞读取敏感文件,找出数据库连接凭证,利用此 凭证连接数据库。10分 4.网站后台提权:找出后台管理员登…

Attention系列总结-粘贴自知乎

1. 梦想做个翟老师&#xff1a;阿里&#xff1a;Behavior Sequence Transformer 解读48 赞同 7 评论文章 优点:捕捉用户行为历史序列中的顺序信息。w2v也是捕捉用户序列信息的,本质差异在于啥&#xff1f; 添加图片注释&#xff0c;不超过 140 字&#xff08;可选&#xff0…

STM32CubeIDE提示找不到头文件(No such file or directory)的解决办法

0 前言 最近在使用STM32CubeIDE时&#xff0c;发现为工程添加了头文件路径&#xff0c;但编译的时候还是报错&#xff0c;提示找不到头文件&#xff1a; 1 解决办法 1.1 为工程添加头文件路径 右键我们的工程&#xff0c;然后添加头文件路径&#xff08;最好是相对路径&am…

Vue3+TypeScript项目实战——打造雨雪交加的智慧城市

个人简介 &#x1f440;个人主页&#xff1a; 前端杂货铺 ⚡开源项目&#xff1a; rich-vue3 &#xff08;基于 Vue3 TS Pinia Element Plus Spring全家桶 MySQL&#xff09; &#x1f64b;‍♂️学习方向&#xff1a; 主攻前端方向&#xff0c;正逐渐往全干发展 &#x1…

C# SerialPort串口通讯

串口通信 在.NET平台下创建C#串口通信程序&#xff0c;.NET 2.0提供了串口通信的功能&#xff0c;其命名空间是System.IO.Ports。这个新的框架不但可以访问计算机上的串口&#xff0c;还可以和串口设备进行通信。 创建C#串口通信程序之命名空间 System.IO.Ports命名空间中最重…

【跟我学RISC-V】(三)openEuler特别篇

写在前面 这篇文章是跟我学RISC-V指令集的第三期&#xff0c;距离我上一次发文已经过去一个多月了&#xff0c;在这个月里我加入了oerv的实习项目组&#xff0c;并且还要准备期末考试&#xff0c;比较忙&#xff0c;所以更新频率不高&#xff0c;不过对于Linux kernel和RISC-V…

vue修改node_modules打补丁步骤和注意事项_node_modules 打补丁

1、vue-pdf问题解决及patch-package简介&#xff1a;https://www.jianshu.com/p/d1887e02f8d6 2、使用“黑魔法”优雅的修改第三方依赖包&#xff1a;https://zhuanlan.zhihu.com/p/412753695 3、使用patch-package定制node_modules中的依赖包&#xff1a;https://blog.csdn.…

macbook配置adb环境和用adb操作安卓手机

&#xff08;参考&#xff1a;ADB工具包的安装与使用_adb工具箱-CSDN博客&#xff09; 第一步&#xff1a;从Android开发者网站下载Android SDK&#xff08;软件开发工具包&#xff09;。下载地址为&#xff1a; 第二步&#xff1a;解压下载的SDK压缩文件到某个目录中。 进入解…

Python 数据可视化 多色散点图

Python 数据可视化 多色散点图 fig, ax plt.subplots() max_line max([max(merged_df[unif_ref_value]), max(merged_df[unif_rust_value])]) min_line min([max(merged_df[unif_ref_value]), max(merged_df[unif_rust_value])]) ax.plot([min_line, max_line], [min_line, …

基于JSP的教学质量评价系统

开头语&#xff1a; 你好&#xff0c;我是计算机学长猫哥。如果您对教学质量评价系统感兴趣或有相关需求&#xff0c;欢迎随时联系我。 开发语言&#xff1a; Java 数据库&#xff1a; MySQL 技术&#xff1a; JSP技术 Java语言 工具&#xff1a; MyEclipse、Tomcat服…

基于JSP的“塞纳河畔左岸”的咖啡馆管理系统

开头语&#xff1a; 塞纳河畔左岸的咖啡&#xff0c;我手一杯品尝的你美~ 哎哟&#xff0c;不错哦&#xff01;我们今天来介绍一下咖啡馆管理系统&#xff01; 你好呀&#xff0c;我是计算机学长猫哥&#xff01;如果你对咖啡馆管理系统感兴趣或有相关需求&#xff0c;欢迎联…

基于 GoLang 编写的 IOT 物联网在线直播抓娃娃企业级项目

大家好&#xff0c;我是码农先森。 引言 前几年&#xff0c;娱乐物联网的热度很高。我当时所在的公司启动了一个将线下娃娃机的玩法&#xff0c;迁移到线上的项目&#xff0c;因此公司决定开发一个在线直播抓娃娃的项目。近来&#xff0c;娱乐物联网的领域已经进入资本的寒冬…

小白学-WEBGL

第一天&#xff1a; 1.canvas和webgl的区别 Canvas 和 WebGL 都是用于在网页上绘制图形的技术&#xff0c;它们通过浏览器提供的 API 使开发者能够创建丰富的视觉内容&#xff0c;但它们的工作原理和用途有所不同。 Canvas Canvas API 提供了一个通过 JavaScript 和 HTML <…

家政预约小程序14权限配置

目录 1 创建用户2 创建角色3 启用登录4 实现退出总结 我们现在小程序端的功能基本开发好了&#xff0c;小程序开发好之后需要给运营人员提供管理后台&#xff0c;要分配账号、配置权限&#xff0c;我们本篇就介绍一下权限如何分配。 1 创建用户 在微搭中&#xff0c;用户分为内…

基于Pico和MicroPython点亮ws2812彩色灯带

基于Pico和MicroPython点亮ws2812彩色灯带 文章目录 基于Pico和MicroPython点亮ws2812彩色灯带IntroductionPracticeConclusion Introduction 点亮发光的LED灯是简单有趣的实验&#xff0c;点亮多个ws2812小灯串联起来的灯带&#xff0c;可对多个彩色小灯进行编程&#xff0c;…

react笔记-03react-router篇

本文章是react的路由笔记 一、react路由&#xff08;v5版本&#xff09; 1. 什么是路由&#xff08;前端&#xff09;&#xff1f; 一个路由就算一个映射关系&#xff08;key: value)key为路径&#xff0c;value为组件 2. 前端路由的工作原理 根据浏览器历史记录&#xff…

Java | Leetcode Java题解之第167题两数之和II-输入有序数组

题目&#xff1a; 题解&#xff1a; class Solution {public int[] twoSum(int[] numbers, int target) {int low 0, high numbers.length - 1;while (low < high) {int sum numbers[low] numbers[high];if (sum target) {return new int[]{low 1, high 1};} else i…

C++ (week9):Git

文章目录 1.git介绍2.git安装3.git配置4.获取自己的SSH公钥5.新建仓库6.邀请开发者7.克隆远程仓库到本地8.在本地进行开发9.本地项目推送到远程仓库10.git的工作原理11.分支管理(1)合作开发的方式(2)分支管理(3)分支合并的原理、冲突管理 12.git 与 svn 的区别13.设置alias别名…

Ubuntu iso 镜像下载 步骤截图说明

Ubuntu镜像下载&#xff0c;在这个网址&#xff1a; Enterprise Open Source and Linux | Ubuntu 步骤如下图所示&#xff1a; 1、登入网址 2、点击Get Ubuntu 3、点击Download Ubuntu Desktop 后续点击Downloadload 24.04 LTS直接下载就行 如果需要下载其它版本&#xf…