[图神经网络]视觉图神经网络ViG(Vision GNN)--论文阅读

news2025/1/17 6:03:01

国际惯例：

论文地址https://arxiv.org/pdf/2206.00272.pdfgit地址https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/vig_pytorch 相较于之前将GNN和CNN结合的图像处理算法，ViG创新的将GNN直接用在了特征提取上。不再需要借用CNN提取的特征来构造图结构，这一点和ViT有异曲同工之妙。关于ViT可以参见：

[自注意力神经网络]Transfomer架构https://blog.csdn.net/weixin_37878740/article/details/129343613?spm=1001.2014.3001.5501 中的第三节ViT部分，很巧合的是两者连思路都很相似。

一、概述

ViG由两个模块组成

①Grapher模块：采用图卷积实现图信息的聚合和更新

②FFN模块：采用两个全连接层实现节点特征的变换

对于图像任务而言，CNN仅能通过空间位置对像素点/patch进行排序，而在Transformer中，网格结构转换为了序列结构，这种方法显然不够灵活；而在GNN中，节点可以随意连接，并不受到于局部空间结构的约束。

以图结构来表述图像有以下好处：

①图是一种广义的数据结构，网格结构和序列结构均可被视为一种特殊的图，故图具有更好的泛化能力。

②图像中的物体不一定是规则的矩形，图用来建模拥有更好的表达能力

③对象可以视为部分的组合（图结构能更好的表述这种联系）

但是用图来构建图结构也势必存在一些问题，其中最显著的就是巨大的数据量，如果将每个像素点视为一个节点，将会为图结构带来海量的节点和连接。在论文中，图像会被分成若干个patch，这些patch将被用于后续的图结构构建。

二、网络结构

1.图像的图结构

① 将一张 $H\times W\times 3$ 的图像划分为N个patch；

②将每个patch转换为特征向量 $x_i\in R^D$ ,组合后得到特征向量矩阵 $X=[x_1,x_2,...x_N]$ ；

这些特征向量可以被视为一组无序节点，记作 $V=\{v_1,v_2,...v_N\}$ ；

③对于每个节点 $v_i$ ，找到其K个最近的邻居，这些邻居的集合记作 $N(v_i)$ ，并为整个集合中的邻居节点 $v_j$ 添加由 $v_j$ 到 $v_i$ 的边 $e_{ji}$ ；

④最终，由节点集 $V$ 和边集 $\varepsilon$ 可以得到图结构 $G=(V,\varepsilon )$

2.图卷积

用以聚合来自邻居节点的特征来实现节点间信息的交换，对象为上面的图 $G=(V,\varepsilon )$ 。

①信息汇聚

${G}'=F(G,\omega )=Update(Aggregate(G,W_{agg}),W_{update})$ ，式中的 $W_{agg}$ 和 $W_{update}$ 均为可学习的权重。

将这个操作细化到节点级，可以表述为：

${x_i}'=h(x_i,g(x_i,N(x_i),W_{agg}),W_{update})$ ，式中 $N(x_i)$ 为节点 $x_i$ 的邻居节点集，

函数g( )则是最大卷积： $g(.)={x_i}''=[x_i,max(\{x_j-x_i|j\in N(x_i)\})]$

函数h( )则表述为： $h(.)={x_i}'={x_i}''W_{update}$

又由于这个过程中偏置是省略的，故整个公式也能写作： ${X}'=GraphConv(X)$

②多头更新机制

将聚合特征 ${x_i}''$ 分成h个head（ $head^1,head^2...head^h$ ）然后用不同的权重更新这些head；所有head均进行更新，并将最后得到的值连接在一起。多头更新允许模型在多个表示子空间更新信息，有利于特征的多样性。

${x_i}'=[head^1W^1_{update},head^2W^2_{update},...,head^hW^h_{update}]$

3.ViG模块

多个图卷积层的GCN会出现过渡平滑的现象从而导致视觉性能（由多样性下降导致）下降，为了缓和这个问题，ViG中引入了更多的特征变换和非线性激活。

对于这种添加了非线性激活的GCN，本文称之为Grapher模块。对于输入 $X\in R^{N \times D}$ ,Grapher模块可以表述为： $Y=\sigma(GraphConv(XW_{in}))W_{out}+X$ ，式中激活函数 $\sigma$ 一般采用ReLu或者GReLu，且偏置一般被省略。