计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22

---

目录

---

1. PoisonedRAG: Knowledge corruption attacks to retrieval-augmented generation of large language models

W Zou, R Geng, B Wang, J Jia - arXiv preprint arXiv:2402.07867, 2024

PoisonedRAG: 针对大型语言模型增强检索生成的知识腐败攻击

摘要

这篇论文探讨了大型语言模型（LLMs）在实际应用中的局限性，如知识更新不及时和产生幻觉（hallucination）等问题。为了缓解这些问题，研究者们提出了一种名为检索增强生成（RAG）的技术。然而，现有的研究主要集中在提高RAG的准确性或效率上，对其安全性的探索较少。本文提出了一种名为PoisonedRAG的知识腐败攻击，通过在RAG系统的知识数据库中注入恶意文本，诱导LLM生成攻击者选择的目标答案。研究者们将这个问题形式化为一个优化问题，并根据攻击者对RAG系统的背景知识，提出了两种解决方案。实验结果表明，PoisonedRAG在注入少量恶意文本后，能够实现高达90%的攻击成功率，并且现有的防御措施不足以抵御这种攻击。

创新点

1. 提出了PoisonedRAG，这是首个针对RAG系统的知识腐败攻击。
2. 将知识腐败攻击形式化为一个优化问题，并根据攻击者的背景知识提出了两种解决方案。
3. 实验表明，PoisonedRAG能够在知识数据库中注入少量恶意文本后，实现高攻击成功率。
4. 评估了多种防御措施，发现它们不足以防御PoisonedRAG，强调了开发新防御措施的必要性。

算法模型

PoisonedRAG的算法模型包括以下关键步骤：

1. 威胁模型定义：定义攻击者的目标、背景知识和能力。
2. 优化问题形式化：将恶意文本的生成问题形式化为一个受约束的优化问题。
3. 恶意文本生成：通过分解恶意文本为两个子文本（S和I），分别用于满足检索条件和生成条件。
4. 黑盒和白盒设置：根据攻击者是否能够访问检索器的参数，提出了两种不同的攻击解决方案。

文章标题翻译

PoisonedRAG: 针对大型语言模型增强检索生成的知识腐败攻击

摘要

这篇论文探讨了大型语言模型（LLMs）在实际应用中的局限性，如知识更新不及时和产生幻觉（hallucination）等问题。为了缓解这些问题，研究者们提出了一种名为检索增强生成（RAG）的技术。然而，现有的研究主要集中在提高RAG的准确性或效率上，对其安全性的探索较少。本文提出了一种名为PoisonedRAG的知识腐败攻击，通过在RAG系统的知识数据库中注入恶意文本，诱导LLM生成攻击者选择的目标答案。研究者们将这个问题形式化为一个优化问题，并根据攻击者对RAG系统的背景知识，提出了两种解决方案。实验结果表明，PoisonedRAG在注入少量恶意文本后，能够实现高达90%的攻击成功率，并且现有的防御措施不足以抵御这种攻击。

创新点

1. 提出了PoisonedRAG，这是首个针对RAG系统的知识腐败攻击。
2. 将知识腐败攻击形式化为一个优化问题，并根据攻击者的背景知识提出了两种解决方案。
3. 实验表明，PoisonedRAG能够在知识数据库中注入少量恶意文本后，实现高攻击成功率。
4. 评估了多种防御措施，发现它们不足以防御PoisonedRAG，强调了开发新防御措施的必要性。

算法模型

PoisonedRAG的算法模型包括以下关键步骤：

1. 威胁模型定义：定义攻击者的目标、背景知识和能力。
2. 优化问题形式化：将恶意文本的生成问题形式化为一个受约束的优化问题。
3. 恶意文本生成：通过分解恶意文本为两个子文本（S和I），分别用于满足检索条件和生成条件。
4. 黑盒和白盒设置：根据攻击者是否能够访问检索器的参数，提出了两种不同的攻击解决方案。
   

实验效果

• 攻击成功率（ASR）：在黑盒设置下，PoisonedRAG在NQ数据集上实现了97%的ASR，即使在知识数据库中有超过268万条干净文本的情况下，通过注入5条恶意文本就能实现。
• 防御措施评估：评估了包括重述（paraphrasing）和基于困惑度（perplexity）的检测等防御措施，结果表明这些防御措施不足以抵御PoisonedRAG。
  
  

结论

PoisonedRAG证明了RAG系统对知识腐败攻击的脆弱性，并强调了开发新防御措施的必要性。实验结果表明，即使在知识数据库中注入少量恶意文本，也能显著影响LLM生成的目标答案。

推荐阅读指数：★★★★☆

2. LLaVA-KD: A Framework of Distilling Multimodal Large Language Models

Y Cai, J Zhang, H He, X He, A Tong, Z Gan, C Wang… - arXiv preprint arXiv …, 2024
https://arxiv.org/pdf/2410.16236

LLaVA-KD：一个用于多模态大型语言模型知识蒸馏的框架

摘要

本文提出了一个名为LLaVA-KD的新框架，旨在将大型多模态语言模型（l-MLLM）的知识迁移到小型多模态语言模型（s-MLLM）。通过引入多模态蒸馏（MDist）和关系蒸馏（RDist），框架最小化了l-MLLM和s-MLLM在视觉-文本输出分布上的差异，并传递了l-MLLM对视觉特征之间相关性的建模能力。此外，提出了一个三阶段的训练方案，包括蒸馏预训练（DPT）、监督微调（SFT）和蒸馏微调（DFT），以充分发挥s-MLLM的潜力。实验和消融研究验证了每个组件的有效性。

研究背景

大型语言模型（LLM）在自然语言处理领域取得了显著成就，推动了多模态大型语言模型（MLLM）的发展，以实现视觉和语言信息的统一理解。然而，MLLM的模型规模和计算复杂性的增加限制了其在资源受限环境中的使用。小型MLLM（s-MLLM）旨在减少计算需求，但往往导致性能显著下降。

问题与挑战

如何在不改变小型模型架构的情况下，通过有效的训练策略提高s-MLLM的性能，使其能够捕捉到l-MLLM能够捕获的复杂知识。

如何解决

通过知识蒸馏技术，提出了一个三阶段的训练方案，包括蒸馏预训练（DPT）、监督微调（SFT）和蒸馏微调（DFT），以及MDist和RDist策略，以提高s-MLLM的性能。

创新点

• 提出了LLaVA-KD框架，用于从l-MLLM向s-MLLM转移知识。
• 引入了MDist和RDist策略，分别用于对齐视觉-文本表示和传递视觉特征之间的相关性建模能力。
• 设计了一个三阶段的训练方案，以充分利用s-MLLM的潜力。

算法模型

• MDist：通过Kullback-Leibler Divergence（KLD）最小化l-MLLM和s-MLLM在视觉和语言模态上的输出分布差异。
• RDist：通过优化自相关矩阵的相似性，使s-MLLM继承l-MLLM对视觉标记之间复杂关系的理解能力。
• 三阶段训练方案：包括DPT、SFT和DFT，以提高s-MLLM的多模态对齐和理解能力。
  

实验效果

• 在五个流行的多模态基准测试中，LLaVA-KD-1B在模型大小为1B参数时，显著优于之前的大规模MLLM模型，如BLIP2-13B和InstructBLIP-7B。
• 消融研究表明，三阶段训练方案中的每个组件都对性能有积极影响。
  

重要数据与结论

• LLaVA-KD在多个基准测试中表现出色，证明了其在资源受限环境中部署轻量级MLLM的潜力。
• 通过结合MDist和RDist，以及三阶段训练方案，LLaVA-KD能够有效地从大型MLLM转移知识到小型MLLM。

推荐阅读指数：★★★★☆

3. Large Language Models Empower Personalized Valuation in Auction

J Sun, T Zhang, H Jiang, K Huang, C Luo, J Wu, J Wu… - arXiv preprint arXiv …, 2024
https://arxiv.org/pdf/2410.15817

大型语言模型在拍卖中增强个性化估值

摘要

本文提出了一个名为Semantic-enhanced Personalized Valuation in Auction (SPVA)的个性化估值框架，该框架利用大型语言模型(LLMs)来整合语义信息，从而改善拍卖中的估值过程。SPVA采用两阶段方法：首先微调LLMs以编码竞拍者的个性化估值，然后构建一个结合了出价算法的Vickrey拍卖环境，以证明更准确的估值可以带来更高的利润。此外，研究者开发了一个包含超过23,000个样本的语义增强数据集，并引入了新的个性化评估指标，以反映竞拍者的偏好和利润。通过模拟不同的拍卖场景，该方法证明了其在现实世界拍卖设置中的有效性。

研究背景

拍卖是经济学中的一种基础经济机制，涉及商品或服务的估值和在特定框架内的竞标算法，用于揭示市场的真实价值。然而，当前的研究主要集中在给定拍卖机制中的出价算法上，往往忽视了将个体竞拍者的独特偏好和与物品相关的语义信息整合到估值过程中的优势。

问题与挑战

• 缺乏合格的数据集，无法涵盖足够的信息以进行准确的估值。
• 传统估值模型难以编码表示竞拍者内在意图和估计值的语义信息。
• 现有的评估指标未能考虑个体偏好，主要关注收入最大化。

如何解决

通过提出SPVA框架，该框架使用LLMs来深入理解竞拍者的偏好和估值。研究者使用GPT-4来丰富数据集，解释竞拍者估值和出价意图的背后逻辑，并将数据合成为指令提示，用于进一步微调模型。

创新点

• 提出了一个结合个性化估值和拍卖出价的两阶段框架SPVA。
• 使用LLMs来丰富数据集并微调模型，以提高估值的准确性。
• 开发了一个超过23,000个样本的语义增强数据集。
• 引入了新的评估指标EU（Essential Utility）和EV（Essential Value），以准确评估竞拍者的个性化估值和决策意图。

算法模型

• 个性化估值：使用GPT-4生成多样化的指令提示，并应用LoRA技术微调模型。
• 拍卖出价：基于Vickrey拍卖机制，结合Individual Pacing算法来指导竞拍者确定最优出价。

实验效果

• 在不同的预算约束下，SPVA在EU和EV指标上均表现出色，证明了其在不同场景下的稳定性和有效性。
• 与现有的LLM模型相比，SPVA在预测竞拍者偏好和物品价值方面的性能有显著提升。

重要数据与结论

• SPVA在加权F1分数、平均绝对误差(MAE)和对数转换的MAE上均优于基线模型。
• 在不同预算和物品数量下，SPVA在EU和EV指标上的表现优于其他模型。

推荐阅读指数：★★★☆☆

4. REEF: Representation Encoding Fingerprints for Large Language Models

J Zhang, D Liu, C Qian, L Zhang, Y Liu, Y Qiao, J Shao - arXiv preprint arXiv …, 2024
https://arxiv.org/pdf/2410.14273

REEF: 用于大型语言模型的特征表示指纹

摘要

本文提出了REEF（Representation Encoding Fingerprints），这是一个无需训练的方法，用于识别疑似模型是否是受害者模型的后续开发版本。REEF通过计算和比较疑似模型和受害者模型在相同样本上的表示来确定它们之间的关系。REEF不损害模型的通用能力，对序列微调、剪枝、模型合并和置换都具有鲁棒性。因此，REEF为第三方和模型所有者保护大型语言模型（LLM）的知识产权提供了一种简单有效的途径。

研究背景

大型语言模型（LLM）的训练需要大量的计算资源和数据。为了保护这些模型的知识产权，模型所有者和第三方需要能够识别疑似模型是否是基于某个特定受害者模型开发的。现有的水印方法会在模型中引入额外的训练成本，并可能损害模型的通用能力，甚至可能被移除。

问题与挑战

如何提取能够验证受害者模型的独特特征（即指纹），同时避免额外的训练成本和能力损害，是保护LLM知识产权的关键挑战。

如何解决

REEF通过计算疑似模型和受害者模型在相同样本上的表示之间的中心核对齐（Centered Kernel Alignment, CKA）相似度来解决这一问题。REEF不需要对模型进行额外的训练，且对模型的各种后续开发都具有鲁棒性。

创新点

• 提出了REEF，一种无需训练的特征表示指纹方法，用于识别疑似模型是否源自受害者模型。
• REEF对模型的各种后续开发（如剪枝、微调、合并和置换）都具有鲁棒性。
• REEF不会损害模型的通用能力，提供了一种保护LLM知识产权的有效方法。

算法模型

REEF使用中心核对齐（CKA）来计算疑似模型和受害者模型表示之间的相似度。CKA基于Hilbert-Schmidt独立性准则（HSIC），用于测量两组随机变量之间的独立性。REEF还考虑了线性核和径向基函数（RBF）核，并证明了CKA相似度对于列置换和列缩放变换是不变的。

实验效果

• 在不同模型和不同开发方式（如微调、剪枝、合并和置换）下，REEF都展现出了高相似度，证明了其有效性。
• 实验结果表明，REEF在保护模型知识产权方面具有很高的适用性和鲁棒性。

重要数据与结论

• REEF在各种情况下都能准确识别出源自受害者模型的疑似模型。
• REEF对于模型剪枝比率高达90%的情况下仍然有效。
• REEF在面对恶意开发者尝试通过定制损失函数来规避检测时，仍然能够保持其有效性。

推荐阅读指数：★★★★☆

5. UCFE: A User-Centric Financial Expertise Benchmark for Large Language Models

Y Yang, Y Zhang, Y Hu, Y Guo, R Gan, Y He, M Lei… - arXiv preprint arXiv …, 2024
https://arxiv.org/pdf/2410.14059


UCFE：面向大型语言模型的用户中心金融专业知识基准测试

摘要

本文介绍了UCFE（User-Centric Financial Expertise benchmark），这是一个创新框架，旨在评估大型语言模型（LLMs）处理复杂现实世界金融任务的能力。UCFE基准测试采用结合人类专家评估和动态、任务特定的交互来模拟不断演变的金融场景的复杂性。研究者首先进行了涉及804名参与者的用户研究，收集了他们对金融任务的反馈。其次，基于这些反馈创建了数据集，该数据集涵盖了广泛的用户意图和交互。该数据集作为基准，使用LLM-as-Judge方法评估了12个LLM服务。结果显示，基准分数与人类偏好之间存在显著一致性，皮尔逊相关系数为0.78，证实了UCFE数据集和评估方法的有效性。UCFE基准测试不仅揭示了LLMs在金融领域的潜力，还为评估它们的性能和用户满意度提供了一个强大的框架。

研究背景

随着LLMs在金融领域的应用不断扩展，金融专业人员越来越多地使用LLMs来解决专业金融任务。这些任务的复杂性包括专业背景、金融术语、法律复杂性以及动态市场，这些都需要LLMs能够准确分析金融信息，因为即使是对信号或市场信息的轻微忽视也可能导致重大的财务损失。

问题与挑战

现有的金融基准测试主要关注结构化的NLP任务和确定性答案，依赖于多项选择题或特定答案的任务，如情感分析和命名实体识别。这些限制了评估生成能力，这对于模拟现实世界金融应用至关重要。此外，金融法规的不断演变要求LLMs不断更新知识以保持合规性和实用性。

如何解决

为了解决这些挑战，研究者提出了一个新颖的框架UCFE，它通过结合人类专家判断和LLMs来评估LLMs处理现实世界金融任务的能力。通过动态、以用户为中心的交互，这项工作探索了LLMs的边界，检验了LLMs适应不断演变的专业需求和越来越复杂的任务要求的能力。

创新点

• 提出了一个新的框架，结合了人类专家判断和LLMs来评估LLMs处理复杂金融任务的能力。
• 通过动态、以用户为中心的交互，探索了LLMs的潜力和在现实世界金融场景中的局限性。
• 引入了新的评估指标EU（Essential Utility）和EV（Essential Value），以准确评估竞拍者的个性化估值和决策意图。

算法模型

UCFE基准测试使用LLM-as-Judge方法，通过Elo评分系统来评估模型性能。该方法从金融特定的任务开始，使用GPT-4模拟用户交互，生成对话数据，并基于实际行为进行模拟。然后，使用Claude-3.5-Sonnet作为评估器，根据特定的提示比较模型输出，并根据人类专家的偏好进行比较。

实验效果

实验结果显示，经过金融语料库继续预训练的模型（如Tongyi-Finance-14B-Chat和CFGPT2-7B）在理解复杂金融概念和准确解释用户意图方面表现出显著的改进。此外，中等大小的模型（7B到14B参数）表现尤为出色，它们在计算效率和领域专业知识之间取得了有效平衡。

重要数据与结论

• 模型性能与人类偏好之间存在显著一致性，皮尔逊相关系数为0.78。
• 经过金融文本数据训练的LLMs在各种任务中表现出色。
• 中等大小的模型在计算效率和领域专业知识之间取得了有效平衡。

推荐阅读指数：★★★★☆

---

后记

如果觉得我的博客对您有用，欢迎打赏支持！三连击(点赞、收藏、关注和评论)不迷路，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。