[Datawhale][CS224W]图神经网络(八)

news2024/11/28 4:34:46

目录

    • 一、图神经网络
      • 1.1 为什么卷积神经网络 (CNN) 在图形上失败?
      • 1.2 一个GNN网络的结构如图:![在这里插入图片描述](https://img-blog.csdnimg.cn/20210606150918449.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1BvbGFyaXNSaXNpbmdXYXI=,size_16,color_FFFFFF,t_70)
    • 二、GNN的原理
      • 三、图神经网络实现的两种方式
    • 四、GNNs 应用概述
  • 参考文献

一、图神经网络

图神经网络,顾名思义,是一种可以直接应用于图的神经网络。它为节点级、边级和图级预测任务提供了一种方便的方法。

1.1 为什么卷积神经网络 (CNN) 在图形上失败?

CNN 可用于使机器可视化事物,并执行图像分类、图像识别或对象检测等任务。这是 CNN 最受欢迎的地方。

CNN 背后的核心概念引入了隐藏的卷积层和池化层,以通过一组内核形式的感受野来识别空间局部特征。

卷积神经网络

图像上的 CNN | 来源

卷积如何对规则网格的图像进行操作?我们在二维图像上滑动卷积运算符窗口,然后在该滑动窗口上计算一些函数。然后,我们将它传递给许多层。

我们的目标是将卷积的概念推广到这些简单的二维格之外。

使我们能够达到目标的洞察力是卷积采用图像的一个小子块(图像的一个小矩形部分),对其应用一个函数,并产生一个新部分(一个新像素)。

发生的事情是该中心像素的中心节点聚合来自其邻居以及来自其自身的信息以产生新值。

由于图的任意大小和复杂的拓扑结构,这意味着没有空间局部性,因此很难在图上执行 CNN。

还有不固定的节点顺序。如果我们第一次将节点标记为A、B、C、D、E,第二次标记为B、D、A、E、C,那么网络中矩阵的输入就会发生变化。图对于节点排序是不变的,因此无论我们如何对节点进行排序,我们都希望获得相同的结果。

1.2 一个GNN网络的结构如图:在这里插入图片描述

二、GNN的原理

①聚合

GNN的输入一般是每个节点的起始特征向量和表示节点间关系的邻接矩阵。而所谓的聚合,其实就是将周边与节点Vi有关联的节点{V a, V b, . . . }加权到Vi上,当作一次特征更新。

②更新
根据聚合得到的数据,更新所有图节点的特征,同理,对图中的每个节点进行聚合操作,更新所有图节点的特征。

③循环
一次图节点聚合操作与 w加权,可以理解为一层,后面再重复进行聚合、加权,就是多层迭代了。一般GNN只要3~5层即可,所以训练GNN对算力要求很低。

三、图神经网络实现的两种方式

  1. 基于空间的:定义指定感受野的滤波器(filter)在图上进行滑动
    • 与普通的神经网络有很强的类比性,易于理解
    • 需要定义邻居系统和节点顺序->不直观
  2. 基于频域(谱)的:利用傅里叶变换,即时域卷积为频域点乘
    • 不需要定义邻居系统和节点顺序,易于理解
    • 有体系化的公式可用
    • 可以获得严格局部化的滤波器
    • 无法在不同的图结构间迁移

四、GNNs 应用概述

应用深度学习描述
文本分类图卷积网络/图注意力网络GNN 在 NLP 中的一个经典应用是文本分类。GNN 利用文档或单词的相互关系来推断文档标签。GCN 和 GAT 模型用于解决此任务。他们将文本转换为词图,然后使用图卷积操作对词图进行卷积。他们通过实验表明,文本的词图表示具有捕获非连续和长距离语义的优势
神经机器翻译图卷积网络/门控图神经网络神经机器翻译 (NMT) 被认为是序列到序列的任务。GNN 的常见应用之一是将语义信息合并到 NMT 任务中。为此,我们在语法感知 NMT 任务上使用语法 GCN。我们也可以在 NMT 中使用 GGNN。它通过将边变成额外的节点,将句法依赖图转换成新的结构,因此边标签可以表示为嵌入
关系抽取Graph LSTM/图卷积网络关系提取是从文本中提取语义关系的任务,通常发生在两个或多个实体之间。传统系统将此任务视为两个独立任务的管道,即命名实体识别 (NER) 和关系提取,但新的研究表明,实体和关系的端到端建模对于高性能很重要,因为关系与实体信息
图片分类图卷积网络/门控图神经网络图像分类是一项基本的计算机视觉任务。当给定大量标记类别的训练集时,大多数模型都会提供有吸引力的结果。现在的重点是让这些模型在零样本和少样本学习任务上表现良好。为此,GNN 显得很有吸引力。知识图可以提供必要的信息来指导 ZSL(零样本学习)任务
物体检测、 交互检测、 区域分类、 语义分割图注意力网络、Graph神经网络、Graph CNN、Graph LSTM/门控图神经网络/图CNN/图神经网络计算机视觉任务还有其他应用,如对象检测、交互检测和区域分类。在目标检测中,GNN 用于计算 RoI 特征;在交互检测中,GNN 是人与物之间的消息传递工具;在区域分类中,GNN 对连接区域和类的图进行推理
物理图神经网络/图网络对真实世界的物理系统建模是理解人类智能的最基本方面之一。通过将对象表示为节点,将关系表示为边,我们可以有效地对对象、关系和物理进行基于 GNN 的推理。可以训练交互网络来推理复杂物理系统中对象的交互。它可以对碰撞动力学等领域的各种系统特性进行预测和推断
分子指纹图卷积网络分子指纹是代表分子的特征向量。ML 模型通过从使用固定长度指纹作为输入的示例分子中学习来预测新分子的特性。GNN 可以取代传统方法,传统方法给出分子的固定编码,以生成可区分的指纹,以适应它们所需的任务
蛋白质界面预测图卷积网络对于药物发现中的重要应用,这是一个具有挑战性的问题。所提出的基于 GCN 的方法分别学习配体和受体蛋白质残基表示并将它们合并以进行成对分类。在分子水平上,边缘可以是分子中原子之间的键或蛋白质中氨基酸残基之间的相互作用。在大范围内,图表可以表示更复杂的结构(例如蛋白质、mRNA 或代谢物)之间的相互作用
组合优化图卷积网络/图神经网络/图注意力网络组合优化 (CO) 是一个主题,包括从有限的对象集中寻找最佳对象。它是金融、物流、能源、科学和硬件设计中许多重要应用程序的基础。大多数 CO 问题都是用图形表示的。在 DeepMind 和谷歌最近的一项工作中,图形网络用于 MILP 求解器中涉及的两个关键子任务:联合变量分配和限制目标值。他们的神经网络方法比大数据集上的现有求解器更快
图生成图卷积网络/图神经网络/LSTM/RNN/关系-GCN现实世界图的生成模型因其重要应用而引起了极大的关注,这些应用包括建模社会交互、发现新的化学结构和构建知识图。基于 GNN 的模型独立学习每个图的节点嵌入,并使用注意力机制匹配它们。与标准的基于松弛的技术相比,该方法提供了良好的性能

参考文献

[1] 图神经网络和一些 GNN 应用:你需要知道的一切

[2] GNN图神经网络的原理及GGNN、GCN原理及发代码分析

[3] cs224w(图机器学习)2021冬季课程学习笔记7 Graph Neural Networks 1: GNN Model

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/382980.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL实战解析底层---事务隔离:为什么你改了我还看不见

目录 前言 隔离性与隔离级别 事务隔离的实现 事务的启动方式 前言 和数据库打交道的时候,总是会用到事务最经典的例子就是转账,你要给朋友小王转 100 块钱,而此时你的银行卡只有 100 块钱转账过程具体到程序里会有一系列的操作&#xff0…

高可用/性能

文章目录1.数据库系统架构发展(1)单库架构(2)主备架构(3)主从架构2.主从复制主从同步配置主从复制模式(1)异步复制(2)半同步复制(3)全…

用spectralayers 简单去一下人声做个伴奏

最近有个同事说有个工作要一个歌的伴奏不会下载问我能不能给下一个。问题是我五音不全,也不咋关注伴奏这方面的事儿,然后巧了,当天晚上就有个网上的大哥在群里聊天的时候说有个去人声比较给力的软件,我马上给要来了。 软件叫啥sp…

【代码随想录训练营】【Day29】第七章|回溯算法|491.递增子序列|46.全排列|47.全排列 II

递增子序列 题目详细:LeetCode.491 注意这道题求的是子序列,而不是子数组,子数组要求其数组是原数组的子集,且元素是连续的,而子序列只需要保证至少有两个元素即可,不需要关系元素是否连续。 所以一开始…

测试人员如何在测试环境数据库批量生成测试数据?方案分享

测试人员为了测试某个特定场景,往往需要在测试环境数据库中插入特定的测试数据来满足需求;性能测试时,常需要在测试环境生成大量可用测试数据来支持性能测试;建设持续集成持续交付体系时,我们往往也需要在测试环境生成…

【网络】套接字 -- TCP

🥁作者: 华丞臧. 📕​​​​专栏:【网络】 各位读者老爷如果觉得博主写的不错,请诸位多多支持(点赞收藏关注)。如果有错误的地方,欢迎在评论区指出。 推荐一款刷题网站 👉 LeetCode刷题网站 文章…

记录一次nginx转发代理skywalking白屏 以及nginx鉴权配置

上nginx代码 #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; …

【2023】某python语言程序设计跟学第二周内容

本文说明: 案例内容为北理工python语言程序设计课程,如有不妥请联系! 目录蟒蛇绘制案例:执行结果:代码分析:举一反三:绘制一个五角星图案执行结果:turtle库根据案例简单说明&#xf…

linux(Centos)安装docker

官网地址:Install Docker Engine on CentOS 首先检查linux系统版本及内核: 安装docker要求系统版本至少为7.x版本,内核至少为3.8以上 cat /etc/redhat-release # 查看系统版本号uname -r #查看linux系统内核 检查系统是否能连上外网&#…

3.基于Label studio的训练数据标注指南:文本分类任务

文本分类任务Label Studio使用指南 1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等 2.基于Label studio的训练数据标注指南:(智能文档)文档抽取任务、PDF、表格、图片抽取标注等…

NJU数电实验-1

实验一 选择器 2选1多路选择器 逻辑表达式:y(∼s&a)∣(s&b)y(\sim s\&a)|(s\&b)y(∼s&a)∣(s&b) 逻辑电路: 数据流建模 数据流建模主要是通过连续赋值语句 assign 来描述电路的功能 module m_mux21(a,b,s,y);input a,b,s;…

这是一篇很好的互动式文章,Framer Motion 布局动画

重现framer的神奇布局动画的指南。 到目前为止&#xff0c;我最喜欢 Framer Motion 的部分是它神奇的布局动画–将 layout prop 拍在任何运动组件上&#xff0c;看着该组件从页面的一个部分无缝过渡到下一个部分。 <motion.div layout /> 在这篇文章中&#xff0c;我们…

【测试岗】那个准点下班的人,比我先升职了...

前言 陈双喜最近心态很崩。和他同期一道进公司的陈琪又升了一级&#xff0c;可是明明大家在进公司时&#xff0c;陈琪不论是学历还是工作经验&#xff0c;样样都不如自己&#xff0c;眼下不过短短的两年时间便一跃在自己的职级之上&#xff0c;这着实让他有几分不甘心。 程双…

linux常用命令介绍 03 篇——常用的文本处理工具之grep和cut(以及部分正则使用)

linux常用命令介绍 03 篇——常用的文本处理工具之grep和cut&#xff08;以及部分正则使用&#xff09;1 常用命令01篇 和 02篇1.1 Linux命令01篇——Linux解压缩文件常用命令1.2 Linux命令02篇——linux日常常用命令介绍2. 正则表达式2.1 基本定义2.2 正则中常用的元字符3. gr…

【python】异常详解

注&#xff1a;最后有面试挑战&#xff0c;看看自己掌握了吗 文章目录错误分类捕捉异常实例finally的使用捕捉特定异常抛出异常用户自定义异常&#x1f338;I could be bounded in a nutshell and count myself a king of infinite space. 特别鸣谢&#xff1a;木芯工作室 、I…

项目质量管理有哪些不同阶段?其中“质量“指的是什么?

项目质量管理是指在整个项目中管理和保持质量的过程。 "质量 "不是意味着 "完美"&#xff0c;通常更多的是指在整个项目中确保质量的一致性。然而&#xff0c;"质量 "的确切含义取决于客户或利益相关者对项目的需求&#xff0c;因此在每个项目可…

Ubuntu开机自动挂载硬盘

查看挂载信息&#xff0c;命令台输入 df -h能够看到/dev/nvme0n1p2是我们要挂在的硬盘&#xff0c;其路径是/media/lkzcswq/Data 找到要挂载磁盘的UUID sudo blkid /dev/nvme0n1p2观察到这个磁盘的UUID为72922DF0922DBA0D&#xff0c;type为ntfs 4. 编辑/etc/fstab文件 #如…

【服务器数据恢复】VMware虚拟机下的SQL Server数据库数据恢复案例

服务器数据恢复环境&#xff1a; 一台某品牌PowerEdge系列服务器和一台PowerVault系列存储&#xff0c;上层是ESXI虚拟机文件&#xff0c;虚拟机中运行SQL Server数据库。 服务器故障&#xff1a; 机房非正常断电导致虚拟机无法启动。管理员检查虚拟机发现虚拟机配置文件丢失&…

一、Java概述

一、Java概述 1.1 版本 Java SE 标准版&#xff08;核心版本&#xff09;&#xff0c;主要包含Java最核心的库包括&#xff1a;集合&#xff0c;IO&#xff0c;数据库连接、网络编程等 Java EE 企业版&#xff0c;主要用于开发&#xff0c;装配&#xff0c;部署企业级应用包括…

工业机器人编程调试怎么学

很多人觉得工业机器人很难学学&#xff0c;实际上机器人涉及的知识远比PLC要少。现简单说明一下初学者学习工业机器人编程调试的流程&#xff0c;以AUBO机器人为例&#xff1a; 首先我们需要知道工业机器人的调试学起来不难&#xff0c;远比编程更简单&#xff0c;示教器上的编…