https://arxiv.org/pdf/2202.03629
分类
内在幻觉：生成的输出与源内容相矛盾
外部幻觉：生成的输出无法从源内容中验证
数据引发的幻觉（来源不同引发分歧）
训练和推理中的幻觉（编码器不能很好的表征，解码错误，曝光偏差：训练时解码器被鼓励预测以真实前缀序列为条件的下一个标记，推理时根据自身先前生成的歷史序列来生成下一个标记；参数化知识偏差）
衡量幻觉的指标
统计指标
- 词汇特征（n-gram）来计算生成文本和参考文本之间的信息重叠和矛盾（不匹配计数）
- PARENT（表格中蕴含 n 元组的精确率和召回率）
基于模型的指标
- 神经模型
- 基于信息抽取（表示为关系元组格式+验证是否匹配）
- 基于问答
- 自然语言推理指标（忠实度得分定义为源文本与其生成文本之间的蕴涵概率）
- 基于语言模型的指标（无条件 LM 仅在数据集中的目标（真实参考）上进行训练，而一个条件语言模型 𝐿𝑀𝑥则在源数据和目标数据上进行训练）
人工评估：评分/比较
幻觉缓解方法
数据相关：短句修剪，去语境化，语法修改，自动数据清洗/过滤，信息增强
模型角度：编码器改进（双编码），注意力机制改进（稀疏注意力/归纳注意力），解码器改进（多分支解码器/不确定感知解码器）
训练角度：
规划（限制内容顺序/提供框架）
强化学习（用不同的奖励优化模型：ROUGE/多项选择完形填空分数）
多任务学习（单个数据集容易导致幻觉→在训练过程中添加适当的额外任务以及目标任务）
可控生成（受控重采样、可手动提供的控制代码或自动预测的控制代码）
其他方法：正则化/损失重构/后处理（生成+细化）
指标设计
- 能够差异化衡量两种幻觉的细粒度指标
- 事实核查：知识证据选择+声明验证两个子任务
- 泛化：研究源文本/输出文本之间的关系和共同点
- 融入人类认知视角：人类对不同类型的信息敏感程度不同
幻觉减缓方法的未来方向
- 通用且鲁棒的数据预处理方法
- 数字幻觉（生成文本中数字的正确性非常重要）
- 外部幻觉缓解
幻觉（未来可能出现的+解决方案）
- 长文本中的幻觉：基于 Longformer的模型可以帮助编码长输入
- 抽象摘要中的幻觉
- 对话生成中的幻觉（自我一致性/外部一致性）
- 生成问答中的幻觉（生成的答案和基本事实答案之间的语义重叠、生成的答案的忠实度以及答案和源文档之间的事实一致性，只考虑了幻觉的一个方面。可以设计能够考虑与幻觉相关的所有因素(如语义重叠、忠实度或事实一致性)的度量标准）
- 数据转文本中的幻觉
- 机器翻译中的幻觉
- 视觉语言生成中的幻觉
- 图像字幕中的客体幻觉
- 其他VL任务中的幻觉
- LLM中的幻觉（这个方法就多了：预训练数据质量 / 指令调优 / RL / RAG / CoT / 后处理 / 集成
https://zhuanlan.zhihu.com/p/671435046
