Re4: Learning to Re-contrast, Re-attend, Re-construct for Multi-interest Recommendation

论文地址：https://arxiv.org/pdf/2208.08011.pdf

一般的多兴趣建模过程是对用户序列进行编码，抽取出用户的多个兴趣向量，然后利用这些用户兴趣向量进行下一步候选集选取。这篇paper将这个过程称为前向流过程(forward flow)，即物料序列到多兴趣向量的过程。论文提出了一个后向流过程(backward flow)，即用抽取的多个兴趣向量来重构物料向量。不论是MIND还是ComiRec-SA，抽取多兴趣的过程没有保证多个兴趣向量的差异性，也没有保证兴趣向量的相关性和推荐系统的误差是一致的。

重构结构

这个前向流就是多兴趣提取的过程，后向流就是论文提出的

前向流

前向流中，第$i$个序列行为在第$k$个兴趣上的相关性分数为

$$a_{k,i}=\frac{exp({\mathbf{w}}_k^{T}tanh({\mathbf{W}}_1{\mathbf{x}}_i))}{{\sum }_{j}exp({\mathbf{w}}_k^{T}tanh({\mathbf{W}}_1{\mathbf{x}}_j))}$$

${\mathbf{W}}_1\in R^{d_h\times d}$是所有兴趣共享的转换矩阵，${\mathbf{w}}_k\in R^{d_h}$是兴趣相关的转换向量。

兴趣向量如下：
$${\mathbf{z}}_k=\sum _j{a}_{k,j}{\mathbf{W}}_2{\mathbf{x}}_j$$

后向流

Re-contrast

重新对比的动机是提取的多兴趣向量没法保证差异性，所有的兴趣向量可能在向量空间中非常接近。根据兴趣向量构造正负例进行对比学习，如上面结构图所示，拉近表示相同兴趣的向量距离，推远不同兴趣的距离。

这里的正负例构造比较特别，正样本集合是相关性分数$a_{k,j}$大于一定阈值的物料向量${\mathbf{x}}_j$

P k = { x j ∣ a k , j > γ c } P_k = \{ \mathbf x_j| a_{k, j} > \gamma_c \} Pk​={xj​∣ak,j​>γc​}

${\gamma }_c=1/N_x$表示用户序列长度的倒数

负例有三部分，第一部分自然是小于阈值${\gamma }_c$的物料集合，第二部分是用户的其他兴趣向量，第三部分是不在用户序列的其他物料。

使用InfoNCE损失来衡量对比学习loss
$$L_{CL}=-\sum _i\log \frac{exp(z_k\cdot z_{k,i}^{+}/\tau )}{exp(z_k\cdot z_{k,i}^{+}/\tau )+{\sum }_{j}exp(z_k\cdot z_{k,j}^{-}/\tau )}$$

Re-attend

相关性分数$a_{k,i}$表示为第$k$个兴趣向量$z_k$和第$i$个行为$x_i$的相关性，但是这个相关性分数是通过多兴趣编码层计算得到的，那么直接通过兴趣向量和行为向量的点积(或者其他相似度)计算来衡量这个分数的准确性。

$${\hat{a}}_{k,i}=\phi (z_k,x_i)$$

这里 $\phi$ 表示相似性衡量函数，可以用点积；新的分数和原来的分数使用交叉熵来衡量，得到新的loss函数

$$L_{ATT}=\sum _k\sum _i{L}_{CE}(a_{k,i},{\hat{a}}_{k,i})$$

Re-construct

利用得到的兴趣向量来重构用户行为向量，使得和原来的用户行为向量尽量保持一致。

首先通过一个线性映射${\mathbf{W}}_4\in R^{N_x{d}_b\times d}$将兴趣向量$z_k$还原成一个兴趣矩阵${\mathbf{C}}_k$,然后计算每个序列在这个兴趣矩阵下的权重${\beta }_{k,i,j}$，最后通过一个线性映射矩阵加权求和得到还原的在第$i$个兴趣下的行为序列向量${\hat{x}}_{k,j}$。通过正样本中的物料来衡量损失。

$${\mathbf{C}}_k=Upsample(z_k)$$

$${\beta }_{k,i,j}=\frac{w_j^{T}tanh({\mathbf{W}}_3{c}_{k,i})}{{\sum }_m{w}_j^{T}tanh({\mathbf{W}}_3{c}_{k,m})}$$

$${\hat{x}}_{k,j}=\sum _i{\beta }_{k,i,j}{\mathbf{W}}_5{c}_{k,i}$$

$$L_{CT}=\sum _k\sum _{i}I(x_j\in P_k)||{\hat{x}}_{k,j}-x_j|{|}_F^2$$

这个还原操作看起来非常合理，不过计算量还是比较大的，实际上线可能会增加些耗时。

最终的损失函数

$$L_{R{e}^4}=L_{Rec}+{\lambda }_{CL}{L}_{CL}+{\lambda }_{ATT}{L}_{ATT}+{\lambda }_{CT}{L}_{CT}$$