《Unified Structure Generation for Universal Information Extraction》论文阅读

news2024/11/21 0:16:37

文章目录

    • 文章介绍
    • 文章方案
      • 用于统一结构编码的结构化抽取语言(SEL)
      • 用于可控IE结构生成的结构模式指导
      • 使用UIE生成
    • 预训练任务
    • 微调任务
    • 总结
    • 参考

文章地址: https://arxiv.org/abs/2203.12277

文章介绍

  目前对于自然语言处理中的信息抽取任务如关系抽取、时间抽取、情感识别等等,大多研究都是根据具体的任务设计不同的方案和框架,消耗了大量的时间且割舍了不同领域的相关知识。因此这篇文章提出了一个统一的生成框架UIE(unified text-to-structure generation framework)。UIE通过基于不同方案的提示机制(prompt mechanism),将不同的任务提取为统一的表达范式从而自适应的提取对应目标,在4个IE任务,13个数据集当中均达到了SOTA效果,且被今年的ACL会议录用。

文章方案

用于统一结构编码的结构化抽取语言(SEL)

  众所周知,不同的任务其提取目标各不相同,如下图所示
在这里插入图片描述
因此首先要解决的是把它们归统一化,这里作者设计了如下方案
在这里插入图片描述
  如上图所示,作者发现所有的提取任务均可以视为两个原子操作:

  1. Spotting:即在句子中定位定位目标信息块,比如事件中的实体和触发词。
  2. Associating:即找出不同信息块之间的联系表示,例如实体对之间的关系。

  如上图所示,每一个SEL均包含3个语义单位:
1.Spot Name:源文本中的特定信息块
2.ASSONAME :代表不同信息块之间的联系,在图中表示就是上层与下层之间的联系。
3.INFOSPAN:源文本中的目标信息块和关联所在的具体位置,也就是任务的输出。

用于可控IE结构生成的结构模式指导

  通过SEL可以将不同的IE任务转化为一系列的原子操作,但毕竟不同的IE任务的输出不同,因此对于特定任务如何指导模型的输出是另一个要解决的问题。
  为此,我们提出了结构模式指导器(SSI),这是一种基于模式的提示机制,用于控制需要发现和关联哪些类型的信息。

在这里插入图片描述
  UIE将SSL(s)和源文本(x)作为输出,然后生成标准化的SEL语法描述,下图符号代表拼接。
在这里插入图片描述
  为了描述任务的提取目标,SSI构建了一个基于模式的提示,并在生成过程中将其用作前缀。具体形式如下图所示:
在这里插入图片描述
部分标注方案如下所示:
在这里插入图片描述

使用UIE生成

  这里作者是借鉴的T5模型(同时用了Transformer decoder和encoder的架构),encoder部分的公式如下所示:
在这里插入图片描述
decoder公式如下所示(decoder时只能看到当前位之前的信息,从左到右):
在这里插入图片描述

预训练任务

  作者设置了3种预训练的方式:
Text-to-Structure Pre-training Dpair ,输入为SSL+原始语句,同时为了让模型更好的训练,加入了一些负样本作为噪声,比如:“((person: Steve
(work for: Apple)))”, and we sample vehicle and located in as the negative schema to construct meta-schema,
在这里插入图片描述
Structure Generation Pre-training Drecord ,主要是为了训练模型可以生成有效结构的能力,因此只训练decoder部分,即只输入前边的部分让其生成后面的部分
在这里插入图片描述
Retrofitting Semantic Representation Dtext ,改进语言表示。就是借鉴了T5模型的mask处理,随机mask一些单词,让模型通过周围的单词进行预测,
在这里插入图片描述
最终的loss为3个叠加。
  当然作者这里并没有将三个任务分开进行处理,而是随机输入,原文如下:
在这里插入图片描述

微调任务

  微调任务的输入与预训练的Dpair类似,输入全部的三元组元素,当然也加入了相应的负样本,如下图所示
在这里插入图片描述

总结

  其实看到这种文章,心里咯噔了一下。统一的模型超过了专门处理某领域的模型,很佩服,但是又可知每个领域又是很卷的,但是也许又可以根据这个预训练模型(比如以前的BERT)进一步去做,后续看看其他基于这个论文的工作会是怎么样的了。

参考

https://zhuanlan.zhihu.com/p/495619962

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/111943.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

业聚医疗港交所上市:市值76亿港元 为钱永勋家族企业

雷递网 雷建平 12月23日血管介入器械公司――业聚医疗集团有限公司(OrbusNeich Medical Group Limited)(简称“业聚医疗”,股票代码为:6929 )今日在港交所上市。业聚医疗发行价为8.8港元,募资净…

SpringCloudGateway源码(四)限流组件

前言 如果不使用Alibaba Sentinel的网关流控规则&#xff0c; 是否可以选择使用SpringCloudGateway基于Redis的限流组件&#xff1f; 基于这个问题&#xff0c;笔者想了解一下scg自带限流组件的实现原理。 一、使用案例 1、pom 注意要加入redis-reactive依赖。 <depe…

OA系统遇到的问题

目录 一、开始时间与结束时间之差 二、弹出层的大小以及位置设置 2.1、高度设置body-style 2.2、位置设置dialogStyle 三、vue2安装引入Ant Design Vue 四、按钮控制盒子的显示与隐藏 五、表单生成器思想 5.1、点击左侧控件库生成中间的控件元素 5.2、点击中间的控件&…

Flink-状态编程的基本概念

文章目录Flink 中的状态1.1 有状态算子1.2 状态的管理1.3 状态的分类&#x1f48e;&#x1f48e;&#x1f48e;&#x1f48e;&#x1f48e; 更多资源链接&#xff0c;欢迎访问作者gitee仓库&#xff1a;https://gitee.com/fanggaolei/learning-notes-warehouse/tree/master Fli…

springcloud-gateway简介

目录 1. gateway简介 1.1 是什么 1.2 作用 1.3 主要特征 1.4 与zuul的主要区别 1.5 主要组件 1.6 架构图 2. 开发示例 2.1 创建一个gateway模块 2.2 与nacos结合使用 2.2.1 默认规则 2.2.2 通过配置文件配置路由 2.2.3 动态路由 1. gateway简介 1.1 是什么 SpringC…

一文带你深入理解【Java基础】· 网络编程(上)

写在前面 Hello大家好&#xff0c; 我是【麟-小白】&#xff0c;一位软件工程专业的学生&#xff0c;喜好计算机知识。希望大家能够一起学习进步呀&#xff01;本人是一名在读大学生&#xff0c;专业水平有限&#xff0c;如发现错误或不足之处&#xff0c;请多多指正&#xff0…

Kali Linux中安装IDLE的方法

1 IDLE简介 IDLE是Integrated Development and Learning Enviroment即集成开发和学习环境的简称&#xff0c;是Python的集成开发环境。在Kali Linux中&#xff0c;可以通过IDLE进行Python编程。 2 Kali Linux中安装IDLE 2.1 查看Kali Linux中是否安装IDLE 在Kali Linux终端…

WEB1.0起源:全球首个网站info.cern.ch

伯纳斯李&#xff08;图&#xff09;1990年创立第一个网站。 info.cern.ch是世上第一个网站&#xff0c;提供有关万维网的资料。 info.cern.ch这个网站依然运作如常。 英国科学家蒂姆伯纳斯-李 (Tim Berners-Lee) 于 1989 年在 CERN 工作期间发明了万维网 (WWW)。Web 最初的构思…

基于Vue+SpringBoot智慧校园疫情防控系统(PC端、手机端)--附源码

介绍 智慧校园疫情防控系统——PC 手机端 多端并行 项目源码下载&#xff1a;https://download.csdn.net/download/DeepLearning_/87340321 软件架构 手机端信息系统——日常健康信息填报系统&#xff08;前端手机端 文件夹&#xff09;电脑端智疫图 —— 数据可视化界面 &…

一种新的语义分割思路

这两天看到一篇挺有意思的论文&#xff0c;虽然不是语义分割方面的但是挺有意思的&#xff0c;因此在这里跟大家分享一下&#xff0c;这个也是一种语义分割的思路和方法。 Paper&#xff1a;Fully-Convolutional Siamese Networks for Object Tracking. SiamFC是深度学习目标…

【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master

上一篇文章对 ResourceManager 整体架构和功能进行了讲述。本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。 下面将会介绍 RM 与 AM 整体通信执行流程&#xff0c;并对 RM 中涉及的对应服务进行具体讲解。 为了更好的学习本篇知识&#xff0c;建议先熟悉以下知识…

股票量化分析工具QTYX使用攻略——实盘交易信号监控(更新2.5.7)

搭建自己的量化系统如果要长期在市场中立于不败之地&#xff01;必须要形成一套自己的交易系统。如何学会搭建自己的量化交易系统&#xff1f;边学习边实战&#xff0c;在实战中学习才是最有效地方式。于是我们分享一个即可以用于学习&#xff0c;也可以用于实战炒股分析的量化…

3天学会撰写软件发明专利——5.专利法律常识

“无意中发现了一个巨牛的人工智能教程&#xff0c;忍不住分享一下给大家。教程不仅是零基础&#xff0c;通俗易懂&#xff0c;而且非常风趣幽默&#xff0c;像看小说一样&#xff01;觉得太牛了&#xff0c;所以分享给大家。点这里可以跳转到教程。”。 1)假冒专利行为及其法…

Activemq的Broker

目录 一、broker是什么 二、启动broker时指定配置文件 三、嵌入式Broker &#xff08;一&#xff09;Pom.xml &#xff08;二&#xff09;Broker实例 &#xff08;三&#xff09;验证 一、broker是什么 相当于一个ActiveMQ服务器实例。说白了&#xff0c;Broker其实就是…

YK-L1刷机

文章目录1.测试是否能够连接到路由器2.刷breed3.Padavan firmware编译4.烧板5.验证杂文1.1内核模块编写&#xff08;使用insmod方式&#xff09;1.2内核模块编写&#xff08;跟随内核一起编译&#xff09;参考资料1.测试是否能够连接到路由器 插上网线和电脑相连&#xff0c;网…

计算机网络基础——一文详解IPv4与子网划分

IPv4地址概述 在因特网中&#xff0c;为了实现计算机之间的相互通信&#xff0c;通常需要为每台计算机分配一个IP地址。在互联网的发展过程中主要有两个版本的互联网协议&#xff0c;分别是IPv4(Internet Protocol version4)和IPv6 (Internet Protocol version 6) IPv4的IP地址…

SpringBoot:模块探究之spring-boot-starters

Spring Boot Starters 是一组方便的依赖描述符&#xff0c;您可以将它们包含在您的应用程序中。您可以获得所需的所有 Spring 和相关技术的一站式服务&#xff0c;而无需搜索示例代码和复制粘贴大量依赖项描述符。 例如&#xff0c;如果想使用 Spring 和 JPA 进行数据库访问&am…

SpringBoot整合Redis实现几种自定义数据序列化存储方式

JDK自带序列化方式 在Java中RedisTemplete提供了统一的API来操作Redis&#xff0c;比如插入一条String类型的数据&#xff0c;我可以用 redisTemplate.opsForValue().set("name", "美羊羊"); SpringDataRedis可以接收任何类型的对象并将其转成Redis可以处…

小布助手,身入大千世界

在2018年—2019年&#xff0c;AI智能助手一度火热&#xff0c;成了科技行业的全新风口。智能音箱与手机中&#xff0c;我们能看到各种各样的智能助手横空出世&#xff0c;一度成为产品标配。但随着时间缓缓冲刷&#xff0c;就像所有科技风口一样&#xff0c;有的AI智能助手随着…

一种非侵入式幂等性的Java实现

今天我们来谈谈什么是幂等性&#xff1f; 引用百度百科的解析如下&#xff1a; 幂等&#xff08;idempotent、idempotence&#xff09;是一个数学与计算机学概念&#xff0c;常见于抽象代数中。 在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同…