纯FM模型及其演变

Factorization Machines. 2010

推荐系统领域一开山鼻祖算法，另一个是CF。
借鉴MF的思想建立隐向量，首次将POLY2的模型二阶项权重难以更新的问题解决，并且可以将指数级运算复杂度降低到线性级别，多次比赛夺魁。

Field-aware Factorization Machines for CTR Prediction. 2016

提出不同特征域中的特征进行交互时是有差别的，将传统隐向量进一步划分，提高了表达能力。

Neural Factorization Machines for Sparse Predictive Analytics. 2017

将传统FM的二阶项中的隐向量 $v_i,v_j$ 的运算从内积转变为哈达玛积，求和后放入MLP中进行进一步高阶交叉。

$f(x)$即代表MLP与Pooling层

Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks. 2017

第一次在FM里引入了注意力机制，通过注意力网络学习二阶特征交互的重要程度，加权后再进行传统操作。

Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising. 2018

将FFM模型从高复杂度中解放出来，优化了不同域交互中同一特征表现不一的问题，加入了一个标量来衡量域之间的交互强度。

同时也对线性项做了优化。

𝐹𝑀${}^2$: Field-matrixed Factorization Machines for Recommender Systems. 2021 // Field-Embedded Factorization Machines for Click-through rate prediction. 2021

这两个要放在一起说，因为𝐹𝑀${}^2$与FeFM想法撞车了，不过看了一下好像是FeFM先提出的，不过𝐹𝑀${}^2$发表的快。
针对不同域之间的特征交互，加入了一个交互矩阵作为特征间的交互强弱参数。同时也提出了FvFM（即上述的交互矩阵变成交互向量），也使用FwFM的思想将线性项做了优化。
由于矩阵乘法的特性，可以控制每个 域交互对 的交互矩阵大小，也就是控制交互强弱。

Cross & MLP 混合模型及其演变

AdnFM: An Attentive DenseNet based Factorization Machine for Click-Through-Rate Prediction. 2021

将FM与改进后的MLP（引入注意力机制与残差网络）结合起来，试图在高阶特征交互中找到更重要的交互。效果似乎一般。

AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks. 2019

使用多头注意力机制（Transformer）衡量特征之间的交互重要程度，也借鉴了残差网络的思想对最后的交互结果做了修改。

Deep & Cross Network for Ad Click Predictions. 2017

也借鉴了残差网络的思想，在上一层的基础上与最初的第一层交互拟合两层之间的差别。

DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems. 2020

在V1版本的基础上改进了模型联合方式，可以stack或者parallel，将参数向量转变为参数矩阵，提高了灵活度，并且使用专家模型MOE和SVD技术对参数矩阵进行了分解降低了时间复杂度。

DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving. 2021

使用FwFM与MLP进行平行结构组合，不同于DeepFM，DeepLight使用剪枝算法对模型进行优化，降低了时间与空间复杂度。

Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features. 2016

高阶特征交互依赖于更深的网络层次，为了解决MLP无法做到更深层次的问题，首次将残差网络加入到特征组合模型中。

Deep Interest Network for Click-Through Rate Prediction. 2018

与AFM一样，把注意力机制引入到特征组合领域中，不过文章更具有业务气息。
创新点有三：注意力单元、可感知数据分布的激活函数、可感知数据分布的正则化项

Deep Interest Evolution Network for Click-Through Rate Prediction. 2018

针对用户历史行为序列进行建模预测下一次用户的行为，以此来提高预测准确度，获得了很好的效果。
创新点有二：优化了传统GRU方法引入注意力激活单元、针对GRU提出了辅助loss函数。
且开创性的将用户兴趣模型分为：兴趣提取层、兴趣演化层，减轻用户兴趣转移所带来的噪声。

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. 2017

开创性的提出Embedding共享，同时抓取低维及高维特征组合。

Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction. 2016

没啥特别的，就是预训练一个FM，将其中的$v_1.....v_i$作为MLP的embedding输入。

Wide & Deep Learning for Recommender Systems. 2016

首次将平行结构引入CTR领域，实现人工和自动的特征交互。
首次提出 “记忆” 与 “泛化” 能力。

xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. 2018

比较复杂的一个DCN改进版本，将向量交叉变为矩阵交叉，并利用卷积网络的思想（卷积核 + pooling层）对三维张量进行降维处理后再进行最后的预测。

Product-based Neural Networks for User Response Prediction. 2016

证明了MLP的特征交互能力不足，此后的很多的模型如(DCN)都证明了这一点。
此模型的思路是做一个重叠（stack）结构，embedding后先特征交叉再输入到MLP中。
外积效果最好，但一般使用内积。