EMNLP 2024 个性化/风格化文本生成论文汇总（19篇主会论文）

引言：调研，搬砖… 😊 +🌘+🌗+🌖 = 😇

✅

笔者简介：Wang Linyong，NPU，2023级，计算机技术
研究方向：文本生成、大语言模型

在这里插入图片描述

文章目录

1 Personality-aware Student Simulation for Conversational Intelligent Tutoring Systems
2 HEART-felt Narratives: Tracing Empathy and Narrative Style in Personal Stories with LLMs
3 Crafting Personalized Agents through Retrieval-Augmented Generation on Editable Memory Graphs
4 Personalized Pieces: Efficient Personalized Large Language Models through Collaborative Efforts
5 MirrorStories: Reflecting Diversity through Personalized Narrative Generation with Large Language Models
6 MORPHEUS: Modeling Role from Personalized Dialogue History by Exploring and Utilizing Latent Space
7 “In-Dialogues We Learn”: Towards Personalized Dialogue Without Pre-defined Profiles through In-Dialogue Learning
8 Learning Personalized Alignment for Evaluating Open-ended Text Generation
9 Are Large Language Models In-Context Personalized Summarizers? Get an iCOPERNICUS Test Done!
10 An Empirical Analysis of the Writing Styles of Persona-Assigned LLMs
11 Revealing Personality Traits: A New Benchmark Dataset for Explainable Personality Recognition on Dialogues
12 I-AM-G: Interest Augmented Multimodal Generator for Item Personalization
13 ABLE: Personalized Disability Support with Politeness and Empathy Integration
--------------------- 分界线 | 以上是个性化相关的研究，以下是风格化相关的研究 ---------------------
14 TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control
15 Reusing Transferable Weight Increments for Low-resource Style Generation
16 StyleRemix: Interpretable Authorship Obfuscation via Distillation and Perturbation of Style Elements
17 Reinforcement Learning with Dynamic Multi-Reward Weighting for Multi-Style Controllable Generation
18 Style-Specific Neurons for Steering LLMs in Text Style Transfer
19 Style-Shifting Behaviour of the Manosphere on Reddit
--- 补充说明

1 Personality-aware Student Simulation for Conversational Intelligent Tutoring Systems

● 题目： 会话智能辅导系统的个性化感知学生模拟

● 摘要： 智能教学系统（Intelligent Tutoring Systems，简称 ITSs）可以提供个性化和自适应节奏的学习体验。大型语言模型（LLMs）的出现进一步实现了更好的人机交互，并促进了数学和语言学习等各个学科的对话式 ITSs 的发展。在对话教学中，识别和适应个体特征可以显著提高学生的参与度和学习效率。然而，在训练和评估会话式 ITSs 系统中，刻画和模拟学生的角色仍然具有挑战性。本文提出一种框架，通过提炼和整合认知和非认知方面来构建不同学生群体的概况，并利用 LLMs 在语言学习场景中进行个性感知的学生模拟。通过多方面验证进一步增强了该框架，并从教师和学生的角度进行了广泛的分析。实验结果表明，先进的 LLMs 可以根据给定的语言能力和个性特征产生不同的学生反应，并触发教师的自适应匹配策略。

● 链接：https://arxiv.org/abs/2404.06762

在这里插入图片描述

2 HEART-felt Narratives: Tracing Empathy and Narrative Style in Personal Stories with LLMs

● 题目： 发自内心的叙事：用 LLMs 追踪个人故事中的同理心和叙事风格

● 摘要： 同理心是激发亲社会行为的基石，可以通过在故事中分享个人经历来激发。虽然同理心受叙事内容的影响，但从直觉上讲，人们也会通过叙事风格对故事的讲述方式做出反应。然而，移情与叙事风格之间的关系尚不完全清楚。本文用 LLMs 和大规模众包研究对风格和同理心之间的关系进行了实证研究和量化。本文提出一种新颖的、基于理论的分类法“心”（人类同理心和叙事分类法），描述了可以导致与故事叙述者共情的叙事风格元素。建立了 LLMs 在从核心提取叙事元素方面的表现，表明用所提出的分类法进行提示，会导致合理的、人工级别的注释，超出之前基于词典的方法所能做到的。为了展示对该分类法的实证使用，通过一项大规模的众包研究，收集了一个故事共情判断的数据集，参与者 N=2,624。通过 LLMs 提取的叙事元素，特别是情感的生动性和情节量，可以阐明叙事风格培养对个人故事的同理心的途径。本文工作表明，这种模型可以用于叙事分析，从而产生以人为中心的社会和行为见解。

● 链接： https://arxiv.org/pdf/2405.17633

在这里插入图片描述

3 Crafting Personalized Agents through Retrieval-Augmented Generation on Editable Memory Graphs

● 题目： 在可编辑的记忆图上通过检索增强生成生成个性化代理

● 摘要： 在移动互联网时代，用户数据通常被称为记忆（memories），在个人设备上不断生成。有效地管理和利用这些数据为用户提供服务是一个引人注目的研究课题。本文提出一项新的任务，建立由大型语言模型（LLMs）驱动的个性化代理，利用用户的智能手机记忆来增强具有高级 LLMs 功能的下游应用。为实现这一目标，本文提出 EMG-RAG，一种将检索增强生成（RAG）技术与可编辑记忆图（Editable Memory Graph，EMG）相结合的解决方案。该方法使用强化学习进一步优化，以解决三个不同的挑战：数据收集，可编辑性和可选择性。在真实数据集上的大量实验验证了 EMG-RAG 的有效性，与现有最好的方法相比，取得了约 10% 的性能提升。此外，个性化代理已经转移到一个真正的智能手机 AI 助手，这导致增强的可用性。

● 链接： https://arxiv.org/pdf/2409.19401

在这里插入图片描述

4 Personalized Pieces: Efficient Personalized Large Language Models through Collaborative Efforts

● 题目： 个性化片段：通过协作努力实现高效的个性化大型语言模型

● 摘要： 个性化大型语言模型（LLMs）旨在根据个人用户的偏好定制交互、内容和推荐。虽然参数高效微调（PEFT）方法在性能和泛化方面表现出色，但它们成本高，在单独使用时限制了公共利益。本文提出个性化部件（Per-Pcs），一种允许用户通过协作安全地共享和高效组装个性化 PEFT 的框架。Per-Pcs 包括选择分配器，将其 PEFT 分解为多个部分，并为每个部分训练门。这些片段被添加到一个池中，目标用户可以从中选择并组合使用他们的历史数据的个性化 PEFT。该方法保护了隐私，并支持细粒度的用户建模，而不需要过多的存储和计算需求。实验结果表明，Per-Pcs 的性能优于非个性化和 PEFT 检索基线，在六个任务中提供与 OPPU 相当的性能，并显著降低资源使用。进一步分析 Per-Pcs 在分配器数量和选择策略、分配器共享比例、计算时间和存储空间的可扩展性等方面的鲁棒性。Per-Pcs 的模块化促进了安全共享，使 LLMs 个性化更加高效、有效，并通过协作广泛访问。

● 链接： https://arxiv.org/pdf/2406.10471

在这里插入图片描述

5 MirrorStories: Reflecting Diversity through Personalized Narrative Generation with Large Language Models

● 题目： 镜像故事：通过大语言模型的个性化叙事生成来反映多样性

● 摘要： 本研究探索了大型语言模型（LLMs）在创建个性化“镜像故事”方面的有效性，这些故事反映了个体读者的身份并与之产生共鸣，解决了文学中显著缺乏多样性的问题。本文提出 MirrorStories，一个由 1500 个个性化短篇故事组成的语料库，通过整合姓名、性别、年龄、种族、读者兴趣和故事道德等元素生成。LLMs 可以有效地将不同的身份元素纳入叙事中，人类评估人员可以高精度地识别故事中的个性化元素。通过由 26 名不同的人类法官参与的综合评估，比较了镜像故事与通用叙事的有效性。个性化的LLMs 生成的故事不仅在所有参与度指标（平均评分为 4.22，5 分标准为 3.37）上超过了一般人类编写和 LLMs 生成的故事，而且在保留预期道德的同时实现了更高的文本多样性。本文还提供了分析，包括偏差评估和关于将图像集成到个性化故事中的潜力的研究。

● 链接：

在这里插入图片描述

6 MORPHEUS: Modeling Role from Personalized Dialogue History by Exploring and Utilizing Latent Space

● 题目： MORPHEUS：挖掘和利用潜在空间，从个性化对话历史中塑造角色

● 摘要： 个性化对话生成（Personalized Dialogue Generation，PDG）旨在根据角色或人物角色生成连贯的回应。传统的 PDG 依赖于外部角色数据，这些数据可能是稀缺的，并会引发隐私问题。现有方法通过从对话历史中提取角色信息来解决这些问题，但通常无法对连续空间中的角色进行通用建模。为克服这些限制，本文提出一种新的框架，通过一个三阶段的训练过程，探索和利用潜空间（MORPHEUS），从个性化对话历史中建模角色。创建角色码本（codebook）以紧凑地表示潜在空间中的角色，并利用该码本构建角色信息的后验分布。该方法使模型能够跨角色泛化，甚至允许为未见过的角色生成个性化对话。在中文和英文数据集上的实验表明， MORPHEUS 增强了角色信息的提取，并且在没有外部角色数据的情况下提高了响应生成效果。此外，MORPHEUS 可以被认为是大型语言模型的有效微调。

● 链接： https://arxiv.org/pdf/2407.02345

在这里插入图片描述

7 “In-Dialogues We Learn”: Towards Personalized Dialogue Without Pre-defined Profiles through In-Dialogue Learning

● 题目： “在对话中我们学习”：通过对话中学习实现个性化对话，无需预定义的配置文件

● 摘要： 近年来，个性化对话系统因其生成与不同角色一致的回应的能力而获得了极大的关注。然而，现有的方法大多依赖于预先定义的个人简介，不仅费时费力，而且缺乏灵活性。本文提出对话学习（In-Dialogue Learning，IDL），一种微调框架，增强了预训练的大型语言模型利用对话历史来刻画角色的能力，以在没有预定义轮廓的情况下完成个性化对话生成任务。在三个数据集上的实验表明，IDL 带来了显著的性能提升，BLEU 和 ROUGE 分数分别最高提升了 200% 和 247%。人工评估的结果进一步验证了所提方法的有效性。

● 链接： https://arxiv.org/pdf/2403.03102

在这里插入图片描述

8 Learning Personalized Alignment for Evaluating Open-ended Text Generation

● 题目： 学习个性化对齐评估开放式文本生成

● 摘要： 最近的研究越来越专注于评估大型语言模型（LLMs）与不同人类价值观和偏好的一致性，特别是在故事生成等开放式任务中。传统的评价指标严重依赖于与人工撰写的参考文献的词汇相似性，通常与人工判断的相关性较差，并且未能考虑到与人类偏好多样性的一致性。为解决这些挑战，本文提出 PerSE，一种可解释的评估框架，旨在评估与特定人类偏好的一致性。它被调整为从上下文中的个人配置文件推断特定的偏好，并评估生成的内容和个人偏好之间的一致性。PerSE 通过提供详细的评论和细粒度的评分来增强可解释性，促进更个性化的内容生成。基于 13B 的 LLama-2 的 PerSE 显示，与 GPT-4 相比，肯德尔相关性（Kendall correlation）提高了 15.8%，零样本（zero-shot）审阅者的准确率提高了 13.7%。与 GPT-4 相比，它在新领域上的肯德尔相关系数提高了 46.01%，表明了其可迁移性。

● 链接： https://arxiv.org/pdf/2310.03304

有比较详细的代码
记一下：HYDRA: Model Factorization Framework for Black-Box LLM Personalization

在这里插入图片描述

9 Are Large Language Models In-Context Personalized Summarizers? Get an iCOPERNICUS Test Done!

● 题目： 语境中的大型语言模型是个性化摘要器吗？做一个 iCOPERNICUS 测试！

● 摘要： 大型语言模型（LLMs）在基于上下文学习（In-Context-Learning，ICL）的摘要方面取得了相当大的成功。然而，显著性受到用户特定偏好历史的影响。因此，我们需要在这种 LLMs 中具有可靠的上下文个性化学习（In-Context Personalization Learning，ICPL）能力。对于任何显示 ICPL 的任意 LLMs，它需要具有识别用户配置文件中的对比度的能力。最近的一项研究首次提出了一种称为 EGISES 的个性化程度测量方法。EGISES 衡量模型对用户配置文件差异的响应性。然而，它不能测试一个模型是否利用了 ICPL 提示中提供的所有 3 种类型的线索：(i)示例摘要，（ii）用户的阅读历史，以及（iii）用户配置文件的对比。为解决这个问题，本文提出 iCOPERNICUS 框架，一种对 LLMs 中摘要能力的新颖的上下文个性化学习审查，使用 EGISES 作为比较衡量。作为案例研究，本文根据 17 个最先进的 LLMs 报告的 ICL 性能评估了它们，并观察到 15 个模型的 ICPL 退化(最小值：1.6%；最高：3.6%)，以更丰富的提示进行探测，从而显示缺乏真正的ICPL。

● 链接： https://arxiv.org/pdf/2410.00149

在这里插入图片描述

10 An Empirical Analysis of the Writing Styles of Persona-Assigned LLMs

● 题目： 角色分配 LLMs 写作风格的实证分析

● 摘要： 原文未挂出，只有 github 地址

● 链接： https://github.com/ra-MANUJ-an/writing-style-persona

11 Revealing Personality Traits: A New Benchmark Dataset for Explainable Personality Recognition on Dialogues

● 题目： 揭示人格特征：对话中可解释人格识别的新基准数据集

● 摘要： 人格识别旨在识别用户对话、社交媒体帖子等数据中隐含的人格特征。目前的研究主要将人格识别作为一个分类任务来处理，未能揭示识别出的人格存在的支持证据。该文提出了一种新的可解释人格识别任务，旨在揭示其推理过程，为人格特征提供支持证据。在人格理论的启发下，人格特质由稳定的人格状态模式构成，其中的状态是在特定时间、特定情况下的思想、感受和行为的短期特征模式。本文提出一种可解释的人格识别框架 CoPE (Chain-of-Personality-Evidence)，涉及从特定背景到短期人格状态再到长期人格特质的推理过程。进一步，基于 CoPE 框架构建了一个可解释的人物识别数据集 PersonalityEvd。本文提出了可解释人格状态识别和可解释人格特质识别两种任务，它们需要模型识别出人格状态和特质标签及其相应的支持证据。在这两个任务上基于大型语言模型的广泛实验表明，揭示人格特质是非常具有挑战性的，为未来的研究提出了一些见解。我们的数据和代码可以在这个链接中找到。

● 链接： https://arxiv.org/pdf/2409.19723

在这里插入图片描述

12 I-AM-G: Interest Augmented Multimodal Generator for Item Personalization

● 题目： I-AM-G：用于项目个性化的兴趣增强多模式生成器

● 摘要： 原文未挂出，只有 github 地址

● 链接： https://github.com/xqwustc/I_AM_G

13 ABLE: Personalized Disability Support with Politeness and Empathy Integration

● 题目： 有礼貌和共情整合的个性化残疾支持

● 摘要： 原文未挂出，只有 github 地址

● 链接： https://github.com/Mishrakshitij/ABLE

--------------------- 分界线 | 以上是个性化相关的研究，以下是风格化相关的研究 ---------------------

14 TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control

● 题目： TCSinger：具有风格转换和多层次风格控制的零样本歌唱声音合成

● 摘要： 具有风格迁移和风格控制的零样本歌唱声音合成（Singing Voice Synthesis，SVS）旨在从音频和文本提示中生成具有未见过的音色和风格（包括歌唱方法、情感、节奏、技术和发音）的高质量歌唱声音。然而，歌唱风格的多面性对有效的建模、转换和控制提出了重大挑战。此外，目前的 SVS 模型往往无法为未见过的歌手生成丰富的风格细微差别的歌唱声音。为应对这些挑战，本文提出 TCSinger，第一个用于跨语言语音和演唱风格的零样本支持向量机模型，以及多层次的风格控制。具体而言，TCSinger 提出了三个主要模块：1)聚类风格编码器采用聚类矢量量化模型将风格信息稳定地压缩到一个紧凑的潜空间；2)风格和时长语言模型（S&D-LM）同时预测风格信息和音素时长，对两者都有好处；3)风格自适应解码器使用一种新颖的 mel-风格自适应归一化方法生成细节增强的歌唱声音。实验结果表明，TCSinger 在合成质量、歌手相似性和各种任务的风格可控性方面优于所有基线模型，包括零样本风格迁移、多层次风格控制、跨语言风格迁移和语音到歌唱风格迁移。歌声样本可访问 https://tcsinger.github.io/。

● 链接： https://arxiv.org/pdf/2409.15977

在这里插入图片描述

15 Reusing Transferable Weight Increments for Low-resource Style Generation

● 题目： 重用可转移的权重增量用于低资源风格生成

● 摘要： 文本风格迁移（Text style transfer， TST）是自然语言处理领域的一个重要研究方向，旨在在不改变文本语义的前提下赋予文本一种新的风格。在现实世界中，并不是所有的样式都有丰富的资源。本文提出 TWIST（重用可转移的权重增量用于样式文本生成，全名：reusing Transferable Weight Increments for Style Text generation），一种新的框架，通过利用权重增量中的风格特征来有效迁移低资源样式，以缓解数据稀缺。在目标风格学习过程中，通过专门设计的权重池获得知识，并为未见过的风格初始化参数。为了提高合并的有效性，目标风格权重增量通常通过奇异向量从多个源风格权重增量中合并而来。考虑到风格的多样性，设计了一个多关键记忆网络，该网络同时关注任务级和实例级信息，以获得最相关的权重增量。来自多个风格迁移数据集的结果表明，TWIST 在不同的骨干(backbones)上表现出显著的性能，在低资源场景中取得了特别有效的结果。

● 链接： https://openreview.net/pdf?id=IeofzBIx62

在这里插入图片描述

16 StyleRemix: Interpretable Authorship Obfuscation via Distillation and Perturbation of Style Elements

● 题目： 风格混合：通过风格元素的提炼和扰动来解释作者身份的混淆

● 摘要： 作者混淆是一项重要但具有挑战性的任务，通过改写文本来掩盖作者身份。目前使用大型语言模型（LLMs）的方法缺乏可解释性和可控性，往往忽略了作者特定的风格特征，导致整体性能较差。为解决这个问题，本文开发了 STYLEREMIX，一种自适应和可解释的混淆方法，扰乱原始输入文本的特定的、细粒度的样式元素。STYLEREMIX 使用预训练的低秩自适应（LoRA）模块沿着各种风格轴（例如，形式和长度）专门重写输入，同时保持低计算成本。通过自动评估和人工评估，STYLEREMIX 在各种领域的性能都优于最先进的基线和更大的 LLMs。同时我们发布了 AUTHORMIX，一个来自 14 位作者和 4 个领域的 30K 高质量长文本的大型集合，以及 DISC，一个横跨 16 个独特方向 7 个风格轴的 1500 个文本的平行语料库。

● 链接： https://arxiv.org/pdf/2408.15666

在这里插入图片描述

17 Reinforcement Learning with Dynamic Multi-Reward Weighting for Multi-Style Controllable Generation

● 题目： 多风格可控生成的动态多奖励加权强化学习

● 摘要： 文体是文本中不可或缺的组成部分，它表达了一系列多样化的信息，包括人际关系动态（例如形式）和作者的情绪或态度（例如厌恶）。人类经常同时使用多种风格。一个开放的问题是如何显式地控制大型语言模型，以便在生成文本时将目标样式编织在一起：例如，生成负面和无毒的文本。以往的工作主要研究单一风格的受控生成，或者是一种风格和其他属性的受控生成。本文将其扩展为同时控制多种风格。本文研究了多种风格奖励的各种形式，以强化学习（RL）方法来控制多风格生成。这些奖励公式包括鉴别器的校准输出和鉴别器梯度幅值的动态加权。动态加权通常优于静态加权方法，探索了其在 2-风格 和 3-风格 控制中的有效性，甚至与即插即用模型等强大基线相比。具有多个样式属性的 RL 管道的所有代码和数据都将公开可用。

● 链接： https://arxiv.org/pdf/2402.14146

在这里插入图片描述

18 Style-Specific Neurons for Steering LLMs in Text Style Transfer

● 题目： 用于控制文本风格迁移中的 LLMs 的特定风格神经元

● 摘要： 文本风格迁移（Text style transfer，TST）旨在在不改变文本原意的情况下修改文本的风格。大型语言模型（LLMs）在包括 TST 在内的多个任务中表现出卓越的性能。然而，在零样本设置中，它们倾向于直接将输入文本的很大一部分复制到输出中，而不有效地改变其样式。为了增强文本的风格多样性和流畅性，本文提出 sNeuron-TST，一种用 TST 中特定风格神经元来指导 LLMs 的新方法。识别与源风格和目标风格相关的神经元，并停用仅包含源风格的神经元，以赋予目标风格的单词更高的概率，旨在增强生成文本的风格多样性。这种去激活对生成文本的流畅性有负面影响，本文提出一种改进的对比解码方法来解决这个问题，该方法考虑了去激活源式神经元造成的 token 概率跨层快速转变问题。实证实验证明了所提方法在 6 个基准上的有效性，包括形式、毒性、政治、礼貌、作者和情感。

● 链接： https://arxiv.org/pdf/2410.00593

● 代码： https://github.com/wenlai-lavine/sNeuron-TST

在这里插入图片描述

19 Style-Shifting Behaviour of the Manosphere on Reddit

● 题目： Reddit 上 Manosphere 的风格变化行为

● 摘要： 原文未挂出，只有 github 地址

● 链接： https://github.com/jaikaggarwal/emnlp_2024_styleshifting

— 补充说明

● 若有写得不对、欠妥的地方，或有疑问，欢迎评论交流。

⭐️ ⭐️ 完稿于 2024年10月22日 23:49 教研室工位 💻