研究背景
- 多任务相关性的复杂性和竞争性,MTL模型往往会出
现性能退化和负迁移 - 跷跷板现象,即一项任务的性能往往会因影响其他任
务的性能而得到提高
研究成果
- 跷跷板现象的发现,MTL由于复杂的内在关联性而没有优于相应的单任务模型
- 从联合表征学习和信息路由的角度,提出了一种新的共享学习结构的PLE模型
- 进行广泛的离线实验,以评估工业和公共基准数据集上PLE的有效性
摘要大意
- 多任务学习(MTL)已经成功地应用于许多推荐应用
- 任务相关性的复杂性和竞争性,MTL模型往往会出现性能退化和负迁移
- 观察到了一个有趣的跷跷板现象
- 提出了一种新的共享结构设计的递进分层抽取(PLE)模型
跷跷板现象:某一个任务的指标上升,但是另外一个任务的指标会下降
PLE的结构
CGC结构
experts结构
GATE结构
Tower结构
实验结果
腾讯视频推荐数据,PLE与单任务模型,MMOE,CGC模型在核心指标AUC, MSE 的对比
腾讯视频推荐数据,PLE与单任务模型,MMOE,CGC模型关于CTR/VCR目标的对比