此方法用于顺序推荐，和我的研究方向不一样，所以这里只探讨值得借鉴的部分
abstract：
现有的顺序推荐方法要么不能直接处理多模态，要么计算量大。为了解决这个问题，我们提出了一种新的多模态多层感知器（MMMLP），用于维护多模态序列以进行顺序推荐。MMMLP是一种纯粹基于mlp的架构，由三个模块组成：Feature Mixer Layer， Fusion Mixer Layer和Prediction Layer，并且在效率和效率方面都有优势。
methods：
在本文中，我们提出了一个基于MLP的多模态推荐框架，即MMMLP，可以显式地从各种模态中学习信息。图2说明了MMMLP的体系结构，它由三层组成：Feature Mixer Layer、Fusion Mixer Layer和Prediction Layer。
我们的框架是灵活的，可以包含不同模式的数据，我们在本文中主要关注图像和文本，这是除了项目序列之外最常用的模式类型。如图2所示，使用用户-物品交互历史中的图像、文本和物品序列作为输入，我们引入Feature Mixer Layer，包括三个Mixer模块来提取和处理图像、文本和物品序列信息。
Feature Mixer Layer
Feature Mixer Layer中有三个Mixer模块用于提取图像、文本和项目序列信息。我们首先将多模态原始数据传输到嵌入特征矩阵中。
具体而言，我们将图像加载为特征矩阵，利用预训练模型进行文本编码，并设置项目序列的可训练嵌入。然后，混频器模块处理来自图像、文本和项目序列的三种不同类型的嵌入输入
。如图3所示，混合器模块由一堆相同的块组成，其中每个块由两个混合操作组成。我们以图像模态特征矩阵的处理为例，对文本特征和项目序列的处理是相同的。第一个操作执行令牌混合，其中令牌大小为
，我们将令牌混合器命名为
。它以相同的方式作用于特征矩阵的列，以捕获通道内令牌之间的交互。然后将结果提供给通道混频器
，它作用于的行以捕获令牌内通道之间的交互。使用残差连通性和层规范化等标准体系结构组件来稳定训练过程。
这部分的公式如下，以I为例子：
其中
表示对列维的操作，即对图像特征矩阵的交叉处理；
表示对行维的操作，即对跨通道的处理。
表示图像模态的中间表示。通过对
有相同处理，我们可以实现文本特征矩阵
和项目序列
的中间表示。
接下来作者单独说了每个mixer，和MLP-mixer是一样的，他咋这么能说，一个简简单单的mlp-mixer模型反反复复说三遍，我倒要看看他是怎么水字数的
（不是
对于图像混合模块，我们通过mixer模块对图像进行嵌入，提取原始图像特征。所获得的可视化嵌入序列通过混频器模块传递，其中令牌混频器捕获令牌之间的交互，然后将结果提供给通道混频器以捕获通道之间的交互。使用图像混合器，我们通过将视觉相关性融合到每个项目的表示中来实现每个序列的视觉表示。
作为图像混合的结果，我们有以下输出：
其中，
为GELU激活函数[9]。
表示对列维的操作，即对图像特征矩阵的交叉标记处理；
表示对行维的操作，即对跨通道的处理。其中，
表示图像混合器第一层的可学习权值。
其中
是图像混合器第二层的可学习权值。
是在feature-mixer中隐藏的大小。
是图像模态的习得表征。
另外两个是一样的：
Fusion Mixer Layer
我们提出混合mixer层来融合多个模态的表示。将所有模态的输出concat，即
连接到由混频器模块组成的混频器层。这种方法也被称为单流方法，它比双流方法更有效[1]。使用混合mixer层，我们可以通过融合多模态表示来接近用户交互项目序列的综合表示
作为融合层的结果：
和
是concat连接操作,所以
。
是块的输出，是考虑多模态的综合表示。
和
表示混合mixer器第一层的可学习权值。
为混合器第二层的可学习权值。
Prediction Layer
为了进行公平的比较，我们引入了SRS中最常用的推理方法。在我们获得𝐿序列混频器、通道混频器和特征混频器层之后，我们获得了包含每个交互的顺序、跨通道和跨特征依赖关系的隐藏状态序列。
基于先前的站起站起的交互，聚合表示用户的偏好。各候选条目的分值按以下公式计算：
Model Optimization
在本小节中，我们给出了我们提出的模型的优化算法，如算法1所示。我们首先随机初始化模型的参数
（第1行）。
在每个epoch中，我们将分batch训练数据（第3行），然后将特征矩阵以三种模式I,T,M送到TM,CM并实现相应的中间表示
（第4行）。基于图像混合器（第5行）、文本混合器（第6行）和序列混合器（第7行），我们可以生成三种模式对应的表示为
。我们融合多模态特征
，并基于融合混频器层（第8行）实现。然后用梯度更新模型参数，直到收敛（第9行）。重要的是要注意，图像混频器、文本混频器和序列混频器仅执行简单的矩阵乘法，从而保持其线性复杂性。
我们的训练程序遵循SRS中常用的范例，实用交叉熵损失：
