【大语言模型】ACL2024论文-23 检索增强的多语言知识编辑

news2025/3/16 4:33:24

【大语言模型】ACL2024论文-23 检索增强的多语言知识编辑


目录

文章目录

  • 【大语言模型】ACL2024论文-23 检索增强的多语言知识编辑
    • 目录
      • 摘要
      • 研究背景
      • 问题与挑战
      • 如何解决
      • 核心创新点
      • 算法模型
      • 实验效果(包含重要数据与结论)
      • 相关工作
      • 后续优化方向
    • 后记


检索增强的多语言知识编辑(Retrieval-augmented Multilingual Knowledge Editing)
在这里插入图片描述

摘要

本文提出了一种名为检索增强多语言知识编辑器(ReMaKE)的方法,旨在更新大型语言模型(LLMs)中的知识。由于LLMs中的知识经常不正确或过时,且通过微调更新知识计算成本高昂且不可靠,因此知识编辑(KE)作为一种有效且经济的替代方案应运而生。当前的KE研究主要集中在单一语言设置中,通常是英语。ReMaKE通过从多语言知识库检索新知识并与提示串联,实现多语言设置中的模型无关知识编辑。实验结果表明,ReMaKE在多语言环境中的表现超过了基线知识编辑方法,是首个在多语言设置中工作的知识编辑方法。研究者还提供了一个包含12种语言的多语言知识编辑数据集(MzsRE),以及代码和额外的项目信息。

研究背景

大型语言模型(LLMs)在搜索引擎和其他下游任务中被用作事实知识的来源。尽管取得了显著进展,LLMs中的事实可能是错误的或随着世界的变化而过时。从头开始预训练或微调LLMs以适应新知识不仅计算成本高昂,而且不能保证成功。因此,研究者提出了知识编辑(KE)技术,作为微调的有效替代方案,用于在LLMs中添加或更新特定事实。KE可以涉及更新模型参数或添加额外组件。尽管对此问题兴趣浓厚,当前的KE研究集中在单一语言设置中,通常是英语。然而,如果新知识以一种语言提供,而我们希望在另一种语言中查询LLM,该怎么办?为了解决多语言知识编辑问题,研究者提出了ReMaKE。

问题与挑战

多语言知识编辑面临的挑战包括:

  1. 跨语言知识传播:如何在一种语言中编辑知识,并在所有其他语言中传播这些更改。
  2. 检索相关性:开发能够根据用户输入提取高度相关信息的多语言检索器。
  3. 上下文干扰:减少由于不相关事实而产生的上下文干扰。
  4. 模型和语言不可知:开发一种不依赖于特定LLM或语言设置的知识编辑框架。

如何解决

ReMaKE通过以下方式解决上述挑战:

  • 多语言知识检索:通过将查询和知识库条目映射到共享的多语言嵌入空间,并训练分类器来确定知识事实是否与查询语义相关。
  • 多语言上下文编辑:ReMaKE执行零次拍摄和几次拍摄编辑,通过将检索到的结果与用户输入串联形成提示,以预测输出。
  • 模型和语言不可知:ReMaKE可以应用于任何LLM,并且是可扩展的,可以跨不同语言编辑大量事实。

核心创新点

ReMaKE的核心创新点包括:

  1. 检索增强的多语言知识编辑框架:ReMaKE是首个能够在多语言设置中工作的多语言知识编辑框架。
  2. 检索器的高相关性:开发的多语言检索器能够提取与用户输入高度相关的信息,减少上下文干扰。
  3. 零次拍摄和几次拍摄编辑:ReMaKE能够执行零次拍摄和几次拍摄编辑,提高了编辑的灵活性和效果。

算法模型

ReMaKE由两个阶段组成:多语言知识检索和多语言上下文编辑。在多语言知识检索阶段,ReMaKE使用一个简单的多语言检索模型来搜索知识库中与查询最相关的事实上。在多语言上下文编辑阶段,ReMaKE执行零次拍摄和几次拍摄编辑,通过将检索到的知识与用户查询串联起来创建提示。
在这里插入图片描述
在这里插入图片描述

实验效果(包含重要数据与结论)

实验结果表明,ReMaKE在多语言环境中的表现超过了基线知识编辑方法。ReMaKE在12种语言中的平均准确率得分从最小的+24.76(捷克语)增加到最大的+58.72(俄语),表明这种方法已准备好大规模部署。具体数据包括:

  • 可靠性:ReMaKE在各种语言中的可靠性得分均高于基线方法,显示出较高的平均准确率。
  • 通用性:ReMaKE在处理被改写输入时的平均准确率也高于基线方法,表明其在提示框架偏差下的有效性。
  • 局部性:ReMaKE在响应知识编辑后不相关语义查询的平均准确率上表现优异,测试了知识编辑器仅更新所需知识而不影响模型中其他知识的能力。
  • 可移植性:ReMaKE在需要推理的问题上的平均准确率得分高于基线方法,表明KE有效地适应了LLMs的知识以支持推理。

在这里插入图片描述

相关工作

相关工作主要集中在单语言知识编辑方法上,这些方法可以分为四个主要范式:超网络编辑器、定位和编辑编辑器、插件编辑器和基于提示的编辑器。这些方法都是基于模型依赖的单语言方法,编辑性能不可靠且可扩展性低。ReMaKE解决了这些问题,并将KE扩展到多语言场景,涵盖了许多事实。

后续优化方向

未来的工作将集中在以下几个方向:

  1. 扩展知识库:研究者计划扩展知识库以适应现实世界的应用,并研究大容量知识库对关键指标的影响。
  2. 改进检索器:提高检索器的准确性,特别是在处理某些语言(如中文和俄语)时。
  3. 多语言模板开发:开发正式的多语言模板,以适应更广泛任务的范围。
  4. 推理能力提升:研究如何通过KE方法影响LLMs的推理能力,以提高可移植性得分。

后记

如果您对我的博客内容感兴趣,欢迎三连击 ( 点赞、收藏和关注)和留下您的评论,我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2252305.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ETSI EN 300328 标准的一些笔记

ETSI - European Telecommunications Standards Institute 欧洲电信标准化协会 ETSI EN 300328 是欧洲协调标准,此标准适用于工作在2.4G频段范围内运行的宽频传输系统和设备的无线电频谱。 例如 WIFI、Zigbee、蓝牙、 (国内的星闪)。不涵盖UWB。 符合了EN 300328标…

VSCode:代码格式化插件

settings.json文件中添加如下配置并保存 {"workbench.sideBar.location": "left","cssrem.rootFontSize": 80,"git.ignoreWindowsGit27Warning": true,"eslint.codeAction.showDocumentation": {"enable": true…

Redis实现限量优惠券的秒杀

核心&#xff1a;避免超卖问题&#xff0c;保证一人一单 业务逻辑 代码步骤分析 全部代码 Service public class VoucherOrderServiceImpl extends ServiceImpl<VoucherOrderMapper, VoucherOrder> implements IVoucherOrderService {Resourceprivate ISeckillVoucher…

Github提交Pull Request教程 Git基础扫盲(零基础易懂)

1 PR是什么&#xff1f; PR&#xff0c;全称Pull Request&#xff08;拉取请求&#xff09;&#xff0c;是一种非常重要的协作机制&#xff0c;它是 Git 和 GitHub 等代码托管平台中常见的功能&#xff0c;被广泛用于参与社区贡献&#xff0c;从而促进项目的发展。 PR的整个过…

大数据技术Kafka详解 ② | Kafka基础与架构介绍

目录 1、kafka的基本介绍 2、kafka的好处 3、分布式发布与订阅系统 4、kafka的主要应用场景 4.1、指标分析 4.2、日志聚合解决方法 4.3、流式处理 5、kafka架构 6、kafka主要组件 6.1、producer(生产者) 6.2、topic(主题) 6.3、partition(分区) 6.4、consumer(消费…

Docker中配置Mysql主从备份

Mysql配置主从备份 一、Docker中实现跨服务器主从备份二、配置步骤1.配置主库2.配置从库3.遇到问题3.其它使用到的命令 一、Docker中实现跨服务器主从备份 在 Docker 中配置 MySQL 主从备份主要通过 MySQL 主从复制实现 二、配置步骤 1.配置主库 # 进入mysql主库容器 docke…

组态王实现设备OEE数据采集的项目总结

组态王实现设备OEE数据采集的项目总结 方案设计硬件设计软件设计 难点总结数据通讯数据转换报表数据存储 项目拓展 最近在做一个项目&#xff0c;关于采集设备OEE数据。陆陆续续做了小半个月&#xff0c;现在算告一段落&#xff0c;特整理总结。 方案设计 硬件设计 本项目是…

C++《set与map》

在之前我们已经学习了解了CSTL当中的string和vector等容器&#xff0c;现在我们已经懂得了这些容器提供的接口该如何使用&#xff0c;并且了解了这些容器的底层结构。接下来我们在本篇当中将继续学习STL内的容器set与map&#xff0c;在此这两个容器与我们之前学习的容器提供的成…

FPGA 15 ,Xilinx Vivado 的基本使用,使用 Vivado 点亮LED灯,具体实现(使用赛灵思 Vivado编写 Verilog 代码)

目录 前言 我们都知道 Xilinx Vivado 是一款强大的 FPGA 集成开发环境&#xff0c;支持从设计输入、综合、实现到仿真的全流程。它兼容 Verilog 和 VHDL 等硬件描述语言&#xff0c;具备高层次综合功能&#xff0c;能有效提升复杂数字系统的设计效率和性能优化。这里来分享记…

VxLAN 集中式网关配置实验

一、拓扑&#xff1a; 二、配置思路&#xff1a; 1、CE1、2、3 配置 IGP&#xff0c;如 RIP 2、CE1、3 配置 BD 域并绑定二层 VNI&#xff0c;起用 NVE 并建立 VxLAN 隧道&#xff1a;源是自己的环回口&#xff0c;对端是 CE2、3 的环回口&#xff0c;用二层 VNI 联接&#x…

qml项目创建的区别

在Qt框架中&#xff0c;你可以使用不同的模板来创建应用程序。你提到的这几个项目类型主要针对的是Qt的不同模块和用户界面技术。下面我将分别解释这些项目类型的区别&#xff1a; 根据你提供的信息&#xff0c;以下是每个项目模板的详细描述和适用场景&#xff1a; Qt Widgets…

仿真s7 snap7 写入

# 准备写入数据 data bytearray(20) # 创建 20 字节的缓冲区 (每个整数占 2 字节&#xff0c;共 10 个整数)# 按顺序将值 1, 2, 3, ..., 10 写入数据缓冲区 for i in range(10):set_int(data, i * 2, i 1) # 每个整数占 2 字节&#xff0c;从 i * 2 的位置开始写入整数# 将…

【计算机网络】实验6:IPV4地址的构造超网及IP数据报

实验 6&#xff1a;IPV4地址的构造超网及IP数据报 一、 实验目的 加深对IPV4地址的构造超网&#xff08;无分类编制&#xff09;的了解。 加深对IP数据包的发送和转发流程的了解。 二、 实验环境 • Cisco Packet Tracer 模拟器 三、 实验内容 1、了解IPV4地址的构造超网…

[CSP-J 2024] 小木棍

题目传送门 P11229 [CSP-J 2024] 小木棍 题解思路&#xff1a; 1、首先想到的是搜索&#xff0c;全排列填盒子的思想&#xff0c;小木棍数够组成某个数&#xff0c;把某个数放到盒子里&#xff0c;这里就是累加到sum上&#xff0c;还做了个剪枝&#xff0c;中间如果已经大于…

AI运用落地思考:如何用AI进行物料条码的识别及异常检测?

一、AI进行物料条码识别 &#xff08;一&#xff09;基于深度学习的方法 图像预处理 首先需要对包含物料条码的图像进行预处理。这包括调整图像的大小、对比度、亮度等操作&#xff0c;以便提高条码图像的清晰度和可识别性。例如&#xff0c;如果图像较暗&#xff0c;可以通过…

基于STM32的电能监控系统设计:ModBus协议、RS-485存储和分析电能数据(代码示例)

一、项目概述 随着智能电网的发展&#xff0c;电能管理的科学性与有效性变得越来越重要。本项目旨在设计并实现一个基于STM32103C8T6单片机的电能监控系统&#xff0c;该系统可以实时采集、存储和分析电能数据&#xff0c;帮助用户实现对电能的高效管理。 项目目标 实时监控&…

从数据库模型设计到字段设计,用自然语言实现数据库开发,颠覆传统的数据库开发模式

前言 在数据库开发过程中&#xff0c;开发者经常面临以下困扰&#xff1a; 1. 焦头烂额的数据库设计阶段 在设计数据库阶段&#xff0c;开发者需要全面考虑表结构、关系模型、字段定义等&#xff0c;稍有不慎就会影响后续的开发与维护&#xff0c;常常让人感到无从下手。 2…

51c自动驾驶~合集39

我自己的原文哦~ https://blog.51cto.com/whaosoft/12707676 #DiffusionDrive 大幅超越所有SOTA&#xff01;地平线DiffusionDrive&#xff1a;生成式方案或将重塑端到端格局&#xff1f; 近年来&#xff0c;由于感知模型的性能持续进步&#xff0c;端到端自动驾驶受到了来…

docker安装hadoop环境

一、使用docker搭建基础镜像 1、拉取centos系统镜像 # 我这里使用centos7为例子 docker pull centos:7 2、创建一个dockerfiler文件&#xff0c;用来构建自定义一个有ssh功能的centos镜像 # 基础镜像 FROM centos:7 # 作者 #MAINTAINER hadoop ADD Centos-7.repo /etc/yum.re…

多级缓存设计实践

缓存是什么&#xff1f; 缓存技术是一种用于加速数据访问的优化策略。它通过将频繁访问的数据存储在高速存储介质&#xff08;如内存&#xff09;中&#xff0c;减少对慢速存储设备&#xff08;如硬盘或远程服务器&#xff09;的访问次数&#xff0c;从而提升系统的响应速度和…