论文阅读09——《Deep Fusion Clustering Network》

原文链接：论文阅读09——《Deep Fusion Clustering Network》

作者：Wenxuan Tu, Sihang Zhou, Xinwang Liu, Xifeng Guo, Zhiping Cai, En zhu, Jieren Cheng

发表时间：2021年5月18日

论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/17198
代码地址：https://github.com/wxtu/dfcn

创新

存在问题

现有的研究缺乏动态融合机制来选择性地融合和细化图结构和节点属性信息以进行共识表示学习。以前的方法只是通过对齐或者拼接两部分信息，导致信息交互和合并不足。
未能从双方提取信息以生成健壮的目标分布(即"groundtruth"软标签)。现有的研究未能从两部分信息中生成目标分布使得网络训练的指导不够全面和准确，结果导致两个信息源之间的协商受阻，导致聚类性能不理想。
现有的大多数自编码器，无论是经典自编码器还是图自编码器，都只是用自己的潜在表示来重构输入。

解决方案

提出一种深度融合聚类网络(DFCN)：

提出了一个基于相互依赖学习的结构和属性信息融合模块(SAIF)，该模块将自编码器和图自编码器学习的表示显式合并，用于共识表示学习，以获得更全面、更准确的表示结构。
针对网络训练，设计一种可靠的目标分布生成方法和一种便于跨模态信息开发的三重自监督策略。

观点

将深度聚类分为五类：
- 基于子空间聚类的方法
《Latent Distribution Preserving Deep Subspace Clustering》

《Deep Subspace Clustering Networks》

《Cascade Subspace Clustering》等
- 基于生成对抗网络的方法
《ClusterGAN: Latent Space Clustering in Generative Adversarial Networks》

《Balanced Self-Paced Learning for Generative Adversarial Clustering Network》等
- 基于谱聚类的方法
《Deep Spectral Clustering Using Dual Autoencoder Network》

《SpectralNet: Spectral Clustering using Deep Neural Networks》等
- 基于高斯混合模型的方法
《Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding》

《Unsupervised Clustering of Quantitative Imaging Phenotypes Using Autoencoder and Gaussian Mixture Model》等
- 基于自寻优的方法
《Unsupervised Deep Embedding for Clustering Analysis》

《Improved Deep Embedded Clustering with Local Structure Preservation》

《Semi-supervised Deep Embedded Clustering》

《Adversarial Incomplete Multi-view Clustering》

《Deep Adversarial Multi-view Clustering Network》等
SDCN中自编码器可以提供互补属性信息，缓解GCN模块的过平滑现象，GCN同时可以向自编码器提供高阶结构信息。在该项工作中，GCN只充当自编码器的正则化器，GCN模块的学习特性没有被充分利用来指导自寻优网络训练，框架的表示学习缺乏两个子网络之间的协商。
经典的自编码器是对称的，而图卷积网络通常是非对称的，它们只需要潜在表示来重建邻接信息，而忽略了基于结构的属性信息也可以用来提高相应网络的泛化能力。

模型

在这里插入图片描述
作者精心设计了一个结构和属性信息融合(SAIF)模块，用于详细阐述两个源的信息处理。首先，我们从局部和全局两个角度集成了两种样本嵌入，用于共识表示学习。然后，利用学生t分布估计潜在嵌入空间中样本点与预先计算的聚类中心之间的相似度，得到更精确的目标分布。最后，我们设计了一个三重自监督机制，利用目标分布同时为AE、GAE和信息融合部分提供更可靠的指导。此外，我们提出了一种改进的对称结构的图自动编码器(IGAE)，并利用图解码器重构的潜在表示和特征表示来重建邻接矩阵。

IGAE模块

$Z^{(l)}=\sigma(\widetilde{A}Z^{(l-1)}W^{(l)})$

$\hat{Z}^{(h)}=\sigma(\widetilde{A}\hat{Z}^{(h-1)}\hat{W}^{(h)})$

该部分损失函数：
$L_{IGAE}=L_w+\gamma L_a$

$L_w=\frac{1}{2N}\|\widetilde{A}X-\hat{Z}\|_F^2$

$L_a=\frac{1}{2N}\|\widetilde{A}-\hat{A}\|_F^2$

SAIF模块

在这里插入图片描述

由于AE和GAE的解码器都是用一致的潜在表示来重建输入，因此潜在嵌入的泛化能力得到了提高。
综合AE和GAE之间的互补信息，提高了生成目标分布的可靠性。
三重自监督学习机制将AE、GAE和融合部分的学习集成到一个统一的鲁棒系统中，进一步提高了聚类性能。

跨模态动态融合机制

融合模块中的信息集成包括四个步骤：

用一个线性组合操作结合AE和IGAE的潜在特征：
$Z_I=\alpha Z_{AE}+(1-\alpha)Z_{IGAE}$
用一个类似图卷积操作(消息传递)来处理组合的信息。通过该操作，考虑数据内部的局部结构来增强初始融合嵌入 $Z_I$ ：
$Z_L=\widetilde{A}Z_I$
引入自相关学习机制，利用样本间初步信息融合空间中的非局部关系。具体来说，首先通过下面公式计算归一化的自相关矩阵 $S$ ：
$S_{ij}=\frac{e^{(Z_LZ_L^T)_{ij}}}{\sum_{k=1}^Ne^{(Z_LZ_L^T)_{ik}}}$
以 $S$ 为系数，通过考虑样本间的全局相关性来重组 $Z_L$ ： $Z_G=SZ_L$ 。
采用跳跃连接鼓励信息在融合机制内顺利通过：
$\widetilde{Z}=\beta Z_G + Z_L$