【论文阅读】23_SIGIR_Disentangled Contrastive Collaborative Filtering（分离对比协同过滤）

1. 来源

• 2023—SIGIR
• 论文地址
• code 地址

2. 介绍

最近的研究表明，图神经网络（GNNs）普遍用于建模协同过滤（CF）。对于这一研究方向，图对比学习（GCL）通过学习增强的用户和项目表示，在解决监督标签短缺问题方面表现出了强大的性能。虽然其中许多显示了其有效性，但有两个关键问题仍未被探索：

• i）大多数现有的基于gcl的CF模型仍然受到限制，因为忽略了用户-项目交互行为往往是由各种潜在意图因素（例如，购买家庭聚会、首选颜色或产品品牌）；
• ii）他们引入的非自适应增强技术容易受到噪声信息的影响，这引起了人们对模型的鲁棒性和合并误导性自我监督信号的风险的关注。

针对这些限制，作者提出了一个分离对比协同过滤框架（DCCF），以自适应的方式实现与自监督增强的意图解纠缠。通过全局背景学习分离表示，作者的DCCF不仅能够从纠缠的自监督信号中提取更细粒度的潜在因素，而且可以减轻增强诱导的噪声。最后，引入了交叉视图对比学习任务，利用参数化交互掩模生成器实现自适应增强。在各种公共数据集上的实验表明，作者的方法与现有的解决方案相比的优越性。

3. 模型方法

3.1 分解的意图表示

3.1.1 建模潜在的意图因素

在推荐场景中，作者将大小为 𝐼 的用户集 U = 𝑢1，…，𝑢𝑖，…，𝑢𝐼 和大小为 𝐽 的项目集 I = 𝑣1，…，𝑣𝑗，…，𝑣𝐽 之间的交互矩阵表示为 $\mathcal{A}$∈R𝐼×𝐽。如果用户 𝑢𝑖 以前采用了项目 𝑣𝑗，则 A𝑖𝑗∈A 设置为1，否则，A𝑖𝑗为0。模型旨在预测候选用户在其观察到的交互作用下采用一个项目的可能性。从概率的角度来看，作者的预测模型旨在估计用户 𝑢𝑖 和项目 𝑣𝑗 之间交互的条件概率 𝑃（𝑦|𝑢𝑖，𝑣𝑗），其中 𝑦 是学习的偏好得分。

当与物品互动时，用户通常会有不同的意图，比如对特定品牌的偏好或对电影的类型和演员的兴趣。为了捕获这些不同的意图，作者分别从用户端和项目端假设 𝐾 不同的意图 𝑐𝑢 和 𝑐𝑣。物品方面的意图也可以被理解为物品的上下文，例如，一个打算在情人节购物的用户可能会偏好那些具有“浪漫”上下文的物品。作者对用户-项目偏好的预测目标可以呈现如下：

用户-项目交互概率 𝑦 由潜在意图 𝑐𝑢 和 𝑐𝑣 决定，可以通过以下公式推导出：

在这里，作者使用 𝑓（·）来表示编码意图上的预测函数。根据统计理论，作者做了以下近似来推导出预测目标：

通过上述推断，近似误差，称为Jensen gap，可以在作者的预测函数𝑓（·）中很好地有界。

3.1.2 具有全局上下文的多意图表示

虽然意图多样性通过解纠缠表示被编码在现有的推荐系统中，但全局层面的意图感知协作关系在很大程度上被忽视了。全局级用户（项目）依赖建模可以通过不受直接本地连接限制的信息传播，增强基于GNN的消息传递模型对稀疏性和过平滑问题的鲁棒性。为此，作者建议通过本地和全局级别的嵌入来理清用户和项目之间的协作关系，以便进行信息传播。

• 基于图的消息传递。由于图神经网络的强大力量，gnn已经成为在最先进的推荐系统中捕获协同滤波信号的普遍学习范式。例子包括LightGCN 、LR-GCCF 和HGCF 。这些研究所提供的见解启发了作者使用基于图的消息传递框架来构建DCCF模型。一般来说，作者的消息传播层由用户/项目嵌入矩阵 $E^{(u)}$∈R𝐼×𝑑 和 $E^{(v)}$∈R𝐽×𝑑 如下：
  
  
  为了利用高阶协同滤波信号，作者在不同的图层之间执行基于gnn的嵌入传播，例如从（𝑙−1）层到（𝑙）层，如下所示：
  
  为了抑制过平滑效应，这里也引入了残差连接。

• 意图感知的信息聚合。作者将描述如何将具有意图感知的全局用户（项目）依赖项合并到基于gnn的协作过滤框架中。在作者的多意图编码器中，解纠缠的用户-条目偏好保留在 $E_{P(c^u|u)}[c^u]$ 和 $E_{P(c^v|v)}[c^v]$ 中。在作者的DCCF中，作者分别为用户和项目定义了 𝐾 全局意图原型 { c u k ∈ R d } k = 1 K \{c_u^k \in R^d\}_{k=1}^K {cuk​∈Rd}k=1K​ 和 { c v k ∈ R d } k = 1 K \{c_v^k \in R^d\}_{k=1}^K {cvk​∈Rd}k=1K​。有了这些可学习的意图嵌入，作者通过使用第 𝑙 个图嵌入层的全局上下文聚合不同 𝐾 意图原型之间的信息来生成用户和项目表示，使用以下设计：
  
  第 𝑙 层特定的用户和物品嵌入表示如下：
  
  用户 𝑢𝑖 与每个意图原型 c𝑢 之间的相关性得分定义为 $P(c_u^k|e_{i,j}^{(u)})$，可以推导如下：
  
  这里是 𝜂（·）=exp（·）。在生成传播的消息后，作者将局部协同滤波信号与全局解纠缠协同关系集成，对其进行细化，(6) 式变为：
  
  在这个方程中，$R_{l-1}^{(u)}\in R^{I\times d}$ 和 $R_{l-1}^{(v)}\in R^{J\times d}$ 表示所有的用户意图嵌入和项目意图嵌入。将意图解纠缠后合并到图的神经结构中，使作者学习到的表示能够有效地解开了复杂的用户-项目交互行为的潜在因素。

3.2 分离对比学习

从对比学习的最新发展中得到启发，作者探索了对比增强的潜力，以解决推荐系统中的数据稀疏性问题。虽然自监督信号可以通过最大化对比视图之间的正对之间的一致性来产生，但作者认为这种增强容易受到数据噪声的影响，如错误点击。有噪声的对比正则化可能会误导自监督的学习过程。例如，通过有噪声交互边缘上的节点自识别来增强模型以实现嵌入一致性，可能涉及有噪声的自监督信号，导致次优表示。为了解决这一挑战，作者设计了可学习的增强器，它同时考虑本地协作关系和全局分离的用户（项）依赖关系。通过这样做，可学习的对比增强器可以自适应地学习解纠缠的SSL信号。

3.2.1 解纠缠数据增强

为了使数据增强能够适应每个连接跳，作者为每个GNN层引入了一个可学习的关系矩阵 ${\mathcal{G}}^l\in R^{I\times J}$ 来编码用户和项目之间的隐式关系。受之前关于图去噪的工作的启发，作者的目标是生成一个图掩模 ${\mathcal{M}}^l\in R^{I\times J}$，它可以通过元素级乘法获得关系矩阵：${\mathcal{G}}^l={\mathcal{M}}^l\odot \mathcal{A}$。

• 学习图形掩码。图形掩码 M𝑙 中的每个条目 ${\mathcal{M}}^l$𝑖𝑗∈[0,1]都反映了用户𝑖和项目𝑗之间的交互被掩码的程度。该值越接近0，交互作用的重要性就越小，反之亦然。在作者的DCCF模型中，作者基于用户 $(r_{i,l}^u)$ 和项目 $(r_{i,l}^v)$ 的分离嵌入，推导出了 ${\mathcal{M}}^l$𝑖𝑗，以保持意图感知的交互模式。具体来说，作者使用节点嵌入之间的余弦相似度来衡量交互的重要性：
  
  掩模值是通过将与[0,1]的相似性范围线性变换得到的，使用公式：${\mathcal{M}}_{i,j}^l=(s(r_{i,l}^u,r_{j,l}^v)+1)/2$。

• 可学习的增强。当用户 𝑖 和项目 𝑗 之间没有交互作用时，A𝑖𝑗为0。${\mathcal{G}}^l$ 是通过 ${\mathcal{M}}^l$ 和 $\mathcal{A}$的元素级乘法得到的。为了计算简单，只计算观察到的交互作用的掩模值。利用学习到的关系矩阵，作者用节点的度将其归一化如下（为简单起见，省略了层索引）：
  
  为了将作者的自适应增强与消息传递方案相结合，作者将归一化学习关系矩阵 ${\bar{\mathcal{G}}}^l$应用于节点的消息上进行可学习传播。通过这种设计，作者扰动图的结构，以生成对比学习视图与自适应增强。具有自适应掩蔽的增强可以正式表示如下：
  
  为了生成多个对比视图，作者同时考虑了局部协作信号和全局解纠缠关系。特别地，作者在等式中使用两个可学习的掩模矩阵(Z𝑙（𝑢）和Z𝑙（𝑢）进行增强 等式5)，以及在等式中具有意图分离的全局嵌入(R𝑙（𝑢）和R𝑙（𝑢） 等式7)。作者分别使用以下公式推导出两个掩模值 ${\mathcal{M}}^l$𝑖𝑗：${\mathcal{M}}_{i,j}^l=(s(r_{i,l}^u,r_{j,l}^v)+1)/2$ 和 ${{\mathcal{M}}^{\prime }}_{i,j}^l=(s(z_{i,l}^u,z_{j,l}^v)+1)/2$。在此之后，作者的增强感知消息传递范式可以用以下嵌入细化细节来描述：
  
  这里，H𝛽 和 H𝛾分别表示局部级和全局级的增广表示。类似地，项目嵌入也以类似的方式进行融合。

3.2.2 对比学习

使用上述增强表示视图，作者对用户和项目的不同视图嵌入进行对比学习。根据监督对比信号的方法，作者使用来自原始CF视图和每个增强视图的相同用户（项目）的嵌入来生成每个正对。不同节点的编码表示被视为负对。具体来说，作者使用增强器：

• i）具有自适应增强的局部协作视图（H𝛽，（𝑢））；
• ii）分离的全局协作视图（R（𝑢））；
• iii）自适应增强视图（H𝛾，（𝑢））。

作者使用InfoNCE损失生成对比性的自我监督信号如下：

这里，m表示从GNN编码的嵌入（z∈Z（𝑢））的原始视图。n从三个增强嵌入数据之一（h𝛽∈H𝛽，𝑢），R（𝑢）和h𝛾∈H𝛾，（𝑢）中采样。余弦相似度函数用𝑠（·）表示。来自用户侧的对比性学习损失可以形式化如下：

通过叠加𝐿图神经层，特定层的嵌入跨不同的层聚合如下：E（𝑢）= $\sum$ E（𝑢）𝑙和E（𝑣）= $\sum$ E𝑙（𝑣）。用户项目偏好得分衍生为：

为了使用估计的偏好评分来优化经典的监督推荐任务，作者使用了以下贝叶斯个性化排名（BPR）损失：

其中 R 是每个小批中采样交互的集合。对于每个用户 𝑢𝑖，作者从训练数据中抽取𝑆 阳性项目（𝑝𝑠索引）和𝑆阴性项目（𝑛𝑠索引）。
最后，作者将自监督损失与经典推荐损失整合到多任务学习目标中，如下：

其中，𝜆1，𝜆2和𝜆3是可调的权重。Θ1={E（𝑢）0，E（𝑣）0} 和 Θ2 = {{c𝑘𝑢}𝐾𝑘=1，{c𝑘𝑣}𝐾𝑘=1}是作者的模型中可训练的参数。

3.3 模型分析

见原论文 3.3 节。

4. 实验

4.1 数据集

4.2 评估指标和实验设置

为了减轻负项目实例抽样的偏差，作者对所有项目遵循全秩协议来衡量作者的推荐结果的准确性。作者使用两个被广泛采用的基于排名的指标来评估所有方法的性能，即 Recall@N and NDCG (Normalized Discounted Cumulative Gain)@N：召回率@N和NDCG（标准化贴现累积增益）@N。

4.3 实验结果（大表）

5. 总结

本文提出了一种解纠缠对比学习方法，探讨了交互隐含意图的潜在因素。作者引入了一个图结构学习层，它基于学习的解纠缠用户（项目）意图感知依赖来实现自适应交互增强。沿着增强的意图感知图结构，作者提出了一种意图感知的对比学习方案，它带来了解纠缠自监督信号的好处。作者广泛的实验验证了作者提出的模型在不同的推荐数据集上的有效性。在未来的工作中，一个潜在的扩展是将解纠缠表示学习与因果分析相结合，以解决有噪声交互数据的偏差问题。此外，通过考虑用户特征的多样性，个性化增强可以进一步增强推荐者中定制图扰动操作的对比学习能力。通过根据特定的用户特征定制增强操作，作者可以更好地捕获个人偏好。