1 行为序列建模总体架构

2 行为序列整体总结

用户行为序列建模是推荐算法中至关重要的一环，也是目前较为核心和前沿的研究方向。其主要分为短序列建模和长序列建模两大方向。短序列建模又主要分为池化和序列化两种方式，其中池化包括Sum-Pooling、Average-Pooling、Max-Pooling等非特征交叉型，和以DIN为代表的Attention-Pooling。序列化则包括以DIEN为代表的RNN型，和以BST、DSIN等为代表的Transformer型。目前基于Transformer强大的特征抽取和并行计算能力，Transformer型已经成为了短序列建模的主流。

长序列建模则更进一步，考虑如何挖掘用户长期兴趣。其主要分为离线法和在线法两大类。离线法以MIMN为代表。它通过独特的工程设计，将长周期行为序列先离线建模好，在线请求时直接调用，大大减少了模型耗时，从而满足上线需求。在线法以SIM和ETA为代表，它们基于两阶段范式，先搜索出长序列中与当前候选物品相关的行为，得到一个短序列，再基于Transformer等短序列建模方法，得到最终的序列表征。

用户行为序列建模是推荐系统中的重点和难点，目前越来越多的公司在这个方向投入重兵，并取得了非常不错的业务效果。同时，其与NLP中的文本序列建模一脉相承，有不少共同点，很多思想和方法可以相互借鉴。
 

3 参考文献

这是精通推荐算法23 ~ 精通推荐算法31，总共9篇文章的参考文献。这也是行为序列建模领域比较核心的paper，建议读者一定要详细阅读。

1. Paul Covington, Jay Adams, and Emre Sargin. 2016. Deep Neural Networks for YouTube Recommendations. In RecSys. 191–198.
2. Guorui Zhou, Xiaoqiang Zhu, et al. 2018. Deep Interest Network for Click-Through Rate Prediction. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM, 1059–1068.
3. Guorui Zhou, Na Mou, Ying Fan, et al. 2019. Deep Interest Evolution Network for Click-Through Rate Prediction. In Proceedings of the 33nd AAAI Conference on Artificial Intelligence. Honolulu, USA.
4. Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, and Wenwu Ou. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba. In Proceedings of the 1st International Workshop on Deep Learning Practice for High-Dimensional Sparse Data, pages 1–4, 2019.
5. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NIPS, pages 5998–6008, 2017.
6. Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, and Keping Yang. Deep Session Interest Network for Click-Through Rate Prediction. In IJCAI, 2019.
7. Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, and Kun Gai. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction. In KDD, 2019.
8. Pi Qi, Xiaoqiang Zhu, Guorui Zhou, Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan, and Kun Gai. Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction. In KDD, 2020.
9. Qiwei Chen, Changhua Pei, Shanshan Lv, Chao Li, Junfeng Ge, and Wenwu Ou. 2021. End-to-End User Behavior Retrieval in Click-Through Rate Prediction Model. arXiv preprint arXiv:2108.04468 (2021).

4 作者新书推荐

历经两年多，花费不少心血，终于撰写完成了这部新书。行为序列建模在第五章中重点阐述了，目录结构如下。

源代码：扫描图书封底二维码，进入读者群，群公告中有代码下载方式

微信群：图书封底有读者微信群，作者也在群里，任何技术、offer选择和职业规划的问题，都可以咨询。

详细介绍和全书目录，详见

《精通推荐算法》，限时半价，半日达https://u.jd.com/mq5gLOH