ACL论文-系列2

news2024/11/28 14:27:47

文章目录

  • 关系抽取——OD-RTE: A One-Stage Object Detection Framework for Relational Triple Extraction
        • 目标函数1——object 四个顶点概率
        • 目标函数2——span的概率
        • 总目标函数
  • Revisiting Relation Extraction in the era of Large Language Models
  • Can NLI Provide Proper Indirect Supervision for Low-resource Biomedical Relation Extraction?
  • Continual Contrastive Finetuning Improves Low-Resource Relation Extraction
  • Coarse-to-fine Few-shot Learning for Named Entity Recognition
  • PromptNER: Prompt Locating and Typing for Named Entity Recognition
        • 损失函数

关系抽取——OD-RTE: A One-Stage Object Detection Framework for Relational Triple Extraction

关系抽取使用object detection的方式,得到三元组。
每个token作为一个pixel,然后物体检测,在这个grid中,找到object的上下左右四个角。

在这里插入图片描述
object的四个角分别为:UL、UR、LR、LL,分别表示:
UL is the upper left vertex of the object region
UR is the upper right vertex of the object region
LR is the lower right vertex of the object region
LL is the lower left vertex of the object region

计算每个token是object四个角的概率:
在这里插入图片描述

目标函数1——object 四个顶点概率

在这里插入图片描述

目标函数2——span的概率

在这里插入图片描述

总目标函数

在这里插入图片描述
模型结构图:

在这里插入图片描述

Revisiting Relation Extraction in the era of Large Language Models

核心: 大语言模型在relation extraction 任务中的表现。
不足:

  1. we did not consider corpora containing n-ary relations between entities 没有考虑n为关系
  2. 没有在过长的文本和包含过多关系的文本中run experiments。(such as DocRED)

Can NLI Provide Proper Indirect Supervision for Low-resource Biomedical Relation Extraction?

** 任务形式:** 生物学中的关系分类问题 ,给出两个实体,判断实体之间的关系类型。

NBR 将输入视为前提,同时将每个关系标签口头化为基于模板的自然语言假设,从而将 RE 重构为 NLI。NBR 学会根据蕴涵得分对关系进行排序,这样正确关系的假设得分应高于错误关系的假设得分。

实施方式上:
将sentence中entity mention做mask,然后将entity type 填充在每个relation的template中,用于relation classification。
每个relation填充后得到的template,做NLI任务,可分为三类:中立、矛盾和蕴含。

具体来说,我们设计了以下几种模板(详情和性能见附录§D),每种模板都包含两种类型的实体掩码: 
 1. 简单模板用 "is-a "短语口头表达两个实体之间的关系。
 2.  描述性模板提供关系的上下文描述。
 3.  示范模板包括一个随机抽样的具有相同关系的训练集示例。 
 4. 描述+演示模板结合了描述性说明和抽样示例。 
 5. 学习提示模板(Yeh 等人,2022 年)为描述学习最佳离散标记。

Continual Contrastive Finetuning Improves Low-Resource Relation Extraction

任务形式: 文件级别的关系分类模型。

pretraining the entity pair embedding by RE-based objective and finetuning on labeled data by classification-based objective.

方法实施:
1.预训练阶段:
使用(未标记的)文档语料库,基于我们改进的匹配空白训练目标(MTB;Baldini Soares 等人,2019 年)对实体对嵌入进行预训练,其中 LM 学会判断两个实体对嵌入是否对应于实体对,并通过对比学习加强表征学习
在这里插入图片描述
这个对比学习损失函数中,是把来自同一个文件的entity pairs作为positive pair,把不同的entity pairs作为negative pairs.
在这里插入图片描述
这个对比损失函数中,是把同一个entity pair,但不同mask rate下的entity pair作为positive pairs。
总损失函数:
在这里插入图片描述

2.微调阶段:
首先,我们建议通过对比学习来不断微调预训练的嵌入,从而鼓励与相同关系对应的实体对嵌入相似。 多中心对比损失 (MCCL),它鼓励实体对只与同一关系的实体对子集相似,从而允许一种关系形成多个聚类.
在entity pair embedding上,加一个classifier做分类任务。
多聚类中心的分类任务: 带权重的Loss函数
在这里插入图片描述

其次,我们使用k-nearest neighbors (kNN; Khandelwal et al. arXiv:2212.10823v3 [cs.CL] 31 May 2023 2020, 2021) 在推理中,根据最相似的实例进行预测。

Coarse-to-fine Few-shot Learning for Named Entity Recognition

PromptNER: Prompt Locating and Typing for Named Entity Recognition

核心:设计了双槽模板,一个slot表示position slot,一个slot表示type slot。
在这里插入图片描述

举个例子如下:
a sentence X =“Jobs was born in San Francisco”, the default dual-slot multi-prompt input sequence can be represented as:

在这里插入图片描述

损失函数

损失函数包括实体的type分类和实体location的定位。
实体有左右边界,left和right。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/769346.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

TCP 协议简记 01 - TCP 包格式 连接管理

最近对 TCP 协议做了一次系统性的学习,种巨复杂的知识,只有系统性的总结归纳并且不断的实践才能够真正的掌握。后续会分为几篇文章来对 TCP 协议进行系统性的总结,帮助自己更好的理解 TCP 协议,也希望能够帮助到和我一样被 TCP 弄…

STM32MP157驱动开发——LED驱动(设备树)

文章目录 设备树驱动模型如何使用设备树写驱动程序设备树节点要与 platform_driver 能匹配设备树节点指定资源,platform_driver 获得资源 LED 模板驱动程序的改造:设备树驱动模型修改设备树,添加 led 设备节点修改 platform_driver 的源码编译…

【论文阅读】聚集多个启发式信号作为监督用于无监督作文自动评分

摘要 本文提出一个新的无监督的AES方法ULRA,它不需要真实的作文分数标签进行训练;ULRA的核心思想是使用多个启发式的质量信号作为伪标准答案,然后通过学习这些质量信号的聚合来训练神经自动评分模型。为了将这些不一致的质量信号聚合为一个统…

springboot 多数据源配置

1.引入相关pom文件 <!-- spring boot 启动 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId><exclusions><exclusion><artifactId>log4j-api</artifactId&…

7.5Java EE——Bean的装配方式

一、基于XML的装配 两种基于XML的装配方式 在基于XML的装配就是读取XML配置文件中的信息完成依赖注入&#xff0c;Spring容器提供了两种基于XML的装配方式&#xff0c;属性setter方法注入和构造方法注入。下面分别对这两种装配方式进行介绍。 a.属性setter方法注入 属性sett…

Vuex 数据共享

文章目录 前言Vuex项目的创建state 配置项getters 配置项mutations 配置项actions 配置项 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 体现数据共享的概念 所有组件都可以使用那数据 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可…

时序数据库 TDengine 与金山云两大产品完成兼容互认证

万物互联时代&#xff0c;企业数字化转型和政企上云如火如荼。在云计算迎来重大发展机遇的同时&#xff0c;数据库在企业数字化转型中也扮演着重要的角色——随着业务量的激增&#xff0c;数据库的弹性扩容、容灾备份等需求逐渐显现&#xff0c;在此挑战下&#xff0c;时序数据…

前端学习记录~2023.7.17~CSS杂记 Day9

前言一、浮动1、使盒子浮动起来2、清除浮动3、清除浮动元素周围的盒子&#xff08;1&#xff09;clearfix 小技巧&#xff08;2&#xff09;使用 overflow&#xff08;3&#xff09;display: flow-root 二、定位1、定位有哪些2、top、bottom、left 和 right3、定位上下文4、介绍…

jupyter notebook更换虚拟环境(内核)

jupyter notebook更换虚拟环境&#xff08;内核&#xff09; 创建一个新的虚拟环境 # stk_env 虚拟环境的名字&#xff0c;任取。 conda create -n stkenv python3.9激活虚拟环境 conda activate stkenv安装ipykernel # 为该虚拟环境&#xff0c;安装内核。 conda install -c a…

rabbitmq模块启动报java.net.SocketException: socket closed的解决方法

问题 最近在接手一个项目时&#xff0c;使用的是spring-cloud微服务构架&#xff0c;mq消息消费模块是单独一个模块&#xff0c;但启动这个模块一直报如下错误&#xff1a; java.net.SocketException: socket closed 这个错误是这个模块注册不到nacos报的错&#xff0c;刚开…

FCOS 论文学习

1. 解决了什么问题&#xff1f; 之前的目标检测器如 RetinaNet、SSD、YOLOv3 都依赖于 anchors。基于 anchors 的检测器有如下三个缺点&#xff1a; 检测表现对于 anchors 的大小、宽高比和数量等超参数很敏感&#xff1b;即使精心设计了 anchors&#xff0c;但由于大小和宽高…

架构训练营学习笔记:4-2 存储架构模式之复制架构

高可用的关键指标 问题&#xff1a;分为故障跟灾难。不是有了多活架构就不在用复制架构 &#xff0c;还是之前的合适原则&#xff1a;多活架构的技术复杂度 跟成本都比复制架构高。 高可用的关键指标 恢复时间目标(RecoveryTimeObjective&#xff0c;RTO)指为避免在灾难发生后…

rabbitmq部署(docker方式)

前言&#xff1a;rabbitmq一旦有漏洞&#xff0c;版本升级麻烦&#xff0c;于是改为docker部署 环境&#xff1a;centos7 #停掉之前的服务 systemctl stop rabbitmq-server systemctl disable rabbitmq-server 查了官网&#xff0c;当前3.11.x 最高版本是3.11.19, 虽然3.12…

【开源分享】在线客服系统源代码-thinphp网站在线客服系统源码(附源码完整搭建教程)...

本文的核心是一个多国语言在线客服聊天系统源码。我们将在这里保持非常简单。 这是一款旧版本的PHP客服源码。 基于ThinkPHP5 workerman&#xff0c;整体架构比较老&#xff0c;PHP客服端以及界面等需要在php-fpm下运行&#xff0c;即时通讯websocket服务端需要命令行执行。 源…

N-gram模型学习

网上有很多比较细节比较复杂比较清晰的介绍&#xff0c;我这里就不再细细的描述了&#xff0c;之前看文献的时候看到了这个模型&#xff0c;脑子里又没有印象&#xff0c;结果发现是python的学习范畴。 总的来说&#xff0c;这是一种文字&#xff0c;甚至可以上升到符号关联性…

基于Python的工业图像异常检测基础技术详解

引言 博文字数7000&#xff0c;建议阅读时间20分钟。 这篇博客对当前几种典型的图像异常检测算法进行了比较&#xff0c;包括Kmeans、Kmeans以及大津法&#xff08;OTSU&#xff09;&#xff0c;并给出了相关的代码实现与测试方法。总结的比较结果如下表所示&#xff1a; 方…

cocosCreator 3.6以上接入腾迅Bugly 捕捉JS错误 Android

cocosCreator3.6以上接入Bugly上报其实很简单&#xff0c;不需要网上那么多弯弯绕&#xff0c;三须三步走。 1. 按照官网方式接入android的bugly 2. android端写一个Bugly上报管理类 3. 修改你工程目录下native\engine\common\Classes\目录下的Game.h, Game.cpp两个文件&…

发电厂主厂房智能照明控制系统的设计和应用

摘要&#xff1a;当前&#xff0c;电厂主厂房的照明规模较大&#xff0c;而且具有许多回路&#xff0c;增加了电厂照明负荷&#xff0c;导致照明过程中的能源消耗较高。对此&#xff0c;电厂需要合理设计智能照明系统&#xff0c;运用智能技术提高电厂照明的运行管理水平&#…

如何在化工行业运用IPD?

化工行业作为国民经济的重要基础性行业&#xff0c;包含数以万计的产品种类&#xff0c;各具有不同的物理化学特性。化工产品的消费同国民经济状况联系非常紧密&#xff0c;主要去向广泛分布于基建、房地产、农业、汽车、服装等国民经济各个领域。按应用领域划分&#xff0c;典…

PCA与SVD

PCA流程&#xff1a; 当数据维度大时&#xff0c;构建协方差矩阵并求其特征值、特征向量会导致计算量大。所以可以利用SVD求解。 PCA算法的优化目标就是: ①降维后同一维度的方差最大。 ②不同维度之间的相关性为0。 根据线性代数&#xff0c;我们可以知道同一元素的协方差就…