【前沿热点顶会】NIPS/NeurIPS 2024中与推荐系统有关的论文

具有双重影响的推荐系统中的用户创建者特征动态

推荐系统的设计具有向用户展示相关内容和帮助内容创作者接触目标受众的双重目的。这些系统的两面性自然会影响用户和创建者：用户的偏好可以通过他们被推荐的项目来改变，而创建者可能会受到激励来改变他们的内容，以便更频繁地被推荐。我们定义了一个模型，称为用户-创建者特征动力学，来捕捉推荐系统的双重影响。我们证明了具有双重影响的推荐系统肯定会两极分化，导致系统中的多样性损失。然后，我们从理论和实验两个方面研究了在推荐系统中促进多样性的方法作为一种缓解两极分化的方法。出乎意料的是，我们发现在双重影响存在的情况下，常见的促进多样性的方法不起作用。而相关性优化方法，如 top- $k$ 推荐，可以防止两极分化，提高系统的多样性。

LLM-SR：长尾顺序推荐的大型语言模型增强

顺序推荐系统(SRS)旨在根据用户的历史交互来预测用户的后续选择，并在电子商务和社交媒体等不同领域得到了应用。然而，在现实世界的系统中，大多数用户只与少数项目交互，而大多数项目很少被消费。这两个问题被称为长尾用户和长尾项目挑战，往往给现有的 SR 带来困难。这些挑战可能会对用户体验和卖家利益产生不利影响，因此必须加以解决。虽然有一些作品已经解决了这些挑战，但由于内在的互动稀缺，它们仍然在跷跷板或嘈杂的问题上挣扎。大型语言模型(LLM)的进步从语义的角度为这些问题提供了一个有希望的解决方案。作为该领域的开拓者之一，我们提出了用于顺序推荐的大语言模型增强框架(LLM-ESR)。该框架利用从 LLMS
派生的语义嵌入来增强 SRS，而不增加额外的推理负载。为了解决长尾问题，我们设计了一个双视图建模框架，它结合了来自 LLMS 的语义和来自传统 SR 的协作信号。针对长尾用户的挑战，我们提出了一种检索增强的自我提炼方法，利用相似用户的更多信息交互来增强用户偏好表征。为了验证我们提出的增强框架的有效性和通用性，我们使用三个流行的 SRS 模型在三个真实世界的数据集上进行了广泛的实验。结果一致地表明，我们的方法超过了现有的基线。

通过贪婪细分优化为社会关系推理推荐 LLM

社会关系推理的目的是从图像中识别出朋友、配偶、同事等关系类别。虽然目前的方法采用端到端使用标记的图像数据来训练专用网络的范例，但是它们在可概括性和可解释性方面是有限的。为了解决这些问题，我们首先提出了一个简单但精心设计的框架 SocialGPT，它在一个模块化框架内结合了视觉基础模型(VFM)的感知能力和大型语言模型(LLM)的推理能力，为社会关系识别提供了强大的基线。具体地说，我们指示 VFM 将图像内容转换为文本社会故事，然后利用 LLM 进行基于文本的推理。 SocialGPT 引入了系统的设计原则，以分别适应 VFM 和 LLM，并弥合它们之间的差距。在没有额外的模型训练的情况下，它在两个数据库上实现了具有竞争力的零预测结果，同时提供了可解释的答案，因为 LLMS 可以为决策生成基于语言的解释。在推理阶段， LLMS 的人工提示设计过程繁琐，需要一种自动提示优化方法。当我们从本质上将视觉分类任务转化为 LLMS 的生成性任务时，自动提示优化遇到了一个独特的长提示优化问题。为了解决这个问题，我们进一步提出了贪婪分段提示优化算法(GSPO)，它在分段级别利用梯度信息进行贪婪搜索。实验结果表明， GSPO 算法显著提高了性能，并且该方法也适用于不同的图像风格。

推荐系统中的数学集体行动：通过重新排序播放列表来宣传歌曲

我们研究了基于Transformer的推荐系统中的算法集体行为。我们的用例是一个粉丝集体，旨在通过有策略地将他们的一首歌曲放在他们控制的现有播放列表中来提高艺术家的知名度。在给定对用户体验的影响的限制下，通过目标歌曲的测试时间推荐的增加来衡量集体的成功。为了实现这一目标，我们介绍了两种易于实现的策略，并在一个主要的音乐流媒体平台生产中使用的公开可用的推荐系统模型上测试了它们的有效性。我们的发现表明，即使是小集体(控制不到 0.01%的训练数据)也可以通过策略性地选择插入歌曲的位置来实现高达 25 美元的推荐放大。然后，我们将重点研究该战略的外部性。我们发现，其他歌曲的推荐在很大程度上得到了保留，对平台的性能损失可以忽略不计。此外，新获得的推荐平均分配给其他艺术家。综上所述，我们的发现表明，旨在保护用户体验的集体行动策略如何在不一定具有对抗性的情况下有效地发挥作用，概述了集体行动和数据中毒之间的重要区别。

多方推荐中的内插项和用户公平性

如今的在线平台严重依赖算法推荐来增强用户参与度和推动收入。然而，这些建议可能会同时影响多个利益相关者-平台、物品(卖家)和用户(客户)-每个都有其独特的目标，因此很难找到适合所有利益相关者的正确的中间立场。为了解决这一问题，我们引入了一种新颖的公平推荐框架问题(FIRE)，该框架通过约束优化公式灵活地平衡多个利益相关者的利益。接下来，我们探索动态在线环境中的问题(公平)，其中数据的不确定性进一步增加了复杂性，并提出了一种同时执行实时学习和公平推荐的低后悔算法形式，这两项任务经常是相互冲突的。通过理论分析和对真实世界数据的数值案例研究，我们证明了我们的框架和方法在保持平台收入的同时确保项目和用户的期望公平水平的有效性。

Softmax 直接偏好推荐优化

推荐系统旨在根据用户偏好数据预测个性化排名。随着语言模型(LMS)的兴起，基于语言模型的推荐器以其广泛的世界知识和强大的推理能力得到了广泛的研究。大多数基于 LM 的推荐器将历史交互转换为语言提示，与一个积极的项目配对作为目标响应，并在语言建模失败的情况下对 LM 进行微调。然而，目前的目标不能充分利用偏好数据，并且没有针对个性化排名任务进行优化，这阻碍了基于 LM 的推荐器的性能。受当前直接偏好优化算法在用户偏好匹配方面的进展和 Softmax Lost in推荐的成功的启发，我们提出了 Softmax-DPO(S-DPO)，将排名信息注入到 LM 中，帮助基于 LM 的推荐者区分偏好和负面，而不是仅仅关注正面。具体地说，我们在
用户偏好数据中整合了多个负值，并设计了一个替代版本的 DPO Lost，该版本是为基于 LM 的推荐者量身定做的，与 Softmax 抽样策略相连接。理论上，我们将 SDPO 与负抽样上的软最大损失联系起来，发现它有挖掘硬性负值的副作用，确保了它在推荐任务中的卓越性能。通过在三个真实数据集上的大量实验，证明了 SDPO 在有效建模用户偏好、进一步提高推荐性能的同时，也缓解了 DPO 的数据似然下降问题。

树结构两阶段推荐系统的推广误差界

两阶段推荐系统在有效识别相关项目和从大量选项中个性化推荐方面发挥着至关重要的作用。本文基于错误分解框架，分析了树结构两阶段推荐系统的概括错误，该系统由一个高效的基于树的检索器和一个更精确但耗时的排名器组成。我们使用Rademacher 复杂性来为使用射束搜索的各种基于树的检索器以及转移训练分布下的不同排名器模型建立概括上界。现实世界数据集的理论见解和实践实验都表明，增加基于树的检索器中的分支并协调跨阶段的分布可以增强两阶段推荐系统的概括性能。

了解和改进对抗性协作过滤以实现稳健推荐

对抗性协同过滤(ACF)通过对抗性训练将对抗性扰动应用于用户和项目嵌入，被广泛认为是提高协同过滤推荐系统对中毒攻击的稳健性的有效策略。此外，大量研究表明，与传统的推荐算法相比，自适应过滤算法也能提高推荐性能。尽管取得了这些经验上的成功，但关于 ACF 在性能和稳健性方面的有效性的理论理解仍然不清楚。为了弥补这一差距，在本文中，我们首先从理论上证明，在干净和有毒的数据环境下，与相同训练周期的传统 CF 相比， ACF 可以获得更低的推荐误差。此外，通过建立 ACF 优化过程中推荐误差减少的界限，我们发现根据不同用户的嵌入尺度对不同用户应用个性化扰动幅度可以进一步提高 ACF 的有效性。在这些理论理
解的基础上，我们提出了个性化幅度对抗协同过滤(PamaCF)。大量实验表明，PamaCF 在有效防御各种类型的中毒攻击的同时，显著提高了推荐性能。