EMNLP22 外部知识注入:Prompt-Learning for Short Text Classification

news2024/9/23 3:25:50

Prompt-Learning for Short Text Classification

任务形式:短文本分类问题,但是短文本的短长度、特征稀疏性和高模糊性给分类任务带来了巨大挑战。

1以往的工作,在注入外部信息上

大多数提示学习方法手动扩展标签词仅考虑类别名称以纳入完形填空式预测中的知识,这将不可避免地导致分类任务中的遗漏和偏差。

提示学习方法要么手动扩展标签词 [Schick and Schutze, 2020b],要么只考虑类别名称以纳入完形填空式预测中的知识 [Hu et al., 2021]。人工设计的标签词明显受先验知识的限制,可能导致知识扩展的遗漏和偏差。其他一些作品试图结合外部知识并对文本分类的扩展标签词进行去噪。然而,这种有知识的方法只考虑了类名而忽略了短文本中的实体和概念信息
研究出发点:融入短文本中的概念知识,不仅仅考虑分类中的类别知识

2 文章模型

所提出的短文本分类(PLST)的提示学习方法结合了来自 Probase 等开放知识图谱的外部知识,以扩展标签词空间。更具体地说,首先从 Probase 等开放知识图谱中检索与短文本中的实体相关的前 N ​​个概念。然后计算检索到的概念与嵌入空间中的类标签之间的距离,以进行标签词细化{}(应该是通过计算概念和类别之间的距离,用来确定短文本类别的)。我们的方法的优点是它通过考虑短文本本身而不只是类名来生成更有效的标签词

实施

1.基于提示学习的短文本分类问题,将分类问题建模为填空问题,表示为预测mask位置的类别词。
在这里插入图片描述
2. 选择Probase1作为外部知识源,它是微软构建的一个开放的Knowledge Graph
每个主题的标签名称 y 用作锚词 (?哟有问题吧,不是以text中的实体概念为锚吗???),从 Probase 中检索前 N 个概念,按概率排序,可以表示为 N (v)。因此,扩展的标签词集可以表示为 Vy = {y} ∪ N (v),这是一个将标签词集映射到一个特殊类别的表达器映射
3.虽然对概念按照概率进行了排序,但仍然存在噪声。
在嵌入空间中,计算每个展开的标签词和每个标签名称y之间的距离dist(Vy, y)。这样将分类概率较高的词聚类到每个主题的标签名称中,既考虑了层次概念本身,又能契合特殊类别的标签词。最后,我们从每个类别的 dist(Vy, y) 中选择前 M 个词作为 verbalizer refinement

4.在最终的 verbalizer 构造之后,我们需要将每个细化标签词的预测概率映射到特殊类别,这可以记为 verbalizer 使用的目标函数 g。由于可以假定最终语言化器中的每个词对预测的贡献相同,因此预测分数的平均值用于文本分类,即

在这里插入图片描述
在这里插入图片描述

很奇怪,这篇文章method部分和在摘要部分的描述感觉差别很大,和模型实施图感觉差别也很大,是我理解的问题?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/132478.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

得分_UVa1585分子量_UVa1586数数字_UVa1225周期串_UVa455子序列_UVa10340

目录 P57_习题3-1_得分_UVa1585 P57_习题3-2_分子量_UVa1586 原子数范围0~99 书上给的代码 P57_习题3-3_数数字_UVa1225 P57_习题3-4_周期串_UVa455 P59_习题3-9_子序列_UVa10340 P57_习题3-1_得分_UVa1585 给出一个由O和X组成的串(长度为1~80&a…

网络原理2 TCP协议

TCP协议 文章目录TCP协议TCP的特点TCP的基本特性确认应答机制超时重传机制丢包连接管理机制TCP建立连接---三次握手TCP断开连接---四次挥手滑动窗口机制丢包问题流量控制机制拥塞控制机制延迟应答机制捎带应答机制面向字节流问题TCP中的异常处理程序崩溃了正常关机突然断电关机…

在前端解决跨域

1、环境依赖 C:\Users\cyberzhaohyvm>node -v v14.17.3 C:\Users\cyberzhaohyvm>vue -V vue/cli 5.0.4 2、在项目所在目录,安装axios 进入项目所在目录: D:\01sourcecode\10Tutorial\08Vue\17-2022-12-28-v2\elementui-demo npm install axios …

Redis单线程为什么这么快?

Redis单线程为什么这么快? 第一章 Redis单线程为什么这么快 Redis深度剖析【第一章】Redis单线程为什么这么快?前言一、Redis为什么要使用单线程,而不是多线程?单线程的优势如果Redis使用多线程:既然多线程切换存在消…

【博学谷学习记录】大数据课程-学习第一周总结

Linux服务器 对于Linux操作系统来说,其本身是一个整体,包括Linux内核、系统库和系统程序,Linux内核是其最基础的部分,它实现了对硬件资源的管理,并且提供了使用这些硬件资源的通用接口。 自1991年发布Linux内核来&…

项目实战之旅游网(十四)项目部署-Docker

为了节约资源,在生产环境中我们更多的是使用Docker容器部署SpringBoot应用, 我们要用maven里的docker插件来生成镜像并且远程连接Docker, 开启远程docker服务: # 修改docker配置文件 vim /lib/systemd/system/docker.service 把…

简阅人体姿态估计深度学习方法-simpread-Human Pose Estimation Deep Learning Approach

What is Human Pose Estimation? Human Pose Estimation (HPE) is a way of identifying and classifying the joints in the human body Human Pose Estimation(HPR 人体姿态估计)是一个对人体关节进行识别和分类的方法。 Essentially it is a way to capture a set of co…

Good Bye 2022: 2023 is NEAR C. Koxia and Number Theory

原题链接:Problem - C - Codeforces 题意: 给定一个长度为n的数组,请问是否存在一个数 x ,使得任意两个数 与满足 。若是输出 YES ,反之输出 NO 。 思路: 我们可以发现一个规律: 规律&#…

本周大新闻|沙特PIF再投Magic Leap,周融资超5.1亿美元

本周大新闻,AR方面,OVER推出众包AR地图Map2Earn;AR房产平台homeAR推扫码看房功能;苹果智能指环专利公布,支持手势和触觉反馈。 VR方面,奇遇MIX正式发布;AjnaLens将发布新XR头显;Gen…

Cartesi 2022 年 12 月回顾

查看你不想错过的更新2022 年 12 月 31 日 ,我们将继续保持高昂的建设斗志一直持续到2023年。我们在2022年年底前参加了两次编程马拉松, 并不是一次。我们将 Cartesi 的技术带给了ETH India 活动的2000 多名建设者,我们还与 SuperwomenDAO 合…

RabbitMQ消息确认

目录 1. 消息确认作用 2 开发示例 2.1 生产者确认 2.2 消费者确认 1. 消息确认作用 保证消息的可靠性主要依靠三种机制:一个是消息的持久化,一个是事务机制,一个就是消息的确认机制。 1)消息持久化 消息持久化是将消息写入…

卷径计算详解(卷径通过卷绕的膜长和膜厚进行计算)

有关卷绕+张力控制可以参看专栏的系列文章,文章链接如下: 变频器简单张力控制(线缆收放卷应用)_RXXW_Dor的博客-CSDN博客_收放卷应用张力控制的开闭环算法,可以查看专栏的其它文章,链接地址如下:PLC张力控制(开环闭环算法分析)_RXXW_Dor的博客-CSDN博客。https://blo…

双向链表的双向冒泡排序、红白蓝砾石排序、算法设计4-5

(PS:直接拿的友友zy的) 一个不知名大学生,江湖人称菜狗 original author: jacky Li Email : 3435673055qq.com Time of completion:2023.1.1 Last edited: 2023.1.1 目录 (PS:直接拿的友友zy的…

添加USB wifi驱动到RK3568

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、USB接口的wifi芯片二、使用步骤wireless tools 移植wireless tools 工具测试wpa_supplicant 移植openssl 移植libnl 库移植WIFI 联网测试总结前言 在日常开…

CTF-Web渗透(入门|笔记|工具)

php各种漏洞绕过 传送门:https://cloud.tencent.com/developer/article/2127498 php伪协议 详细博客讲解: https://blog.csdn.net/cosmoslin/article/details/120695429 http://hummer.vin/2022/05/10/PHP%E4%BC%AA%E5%8D%8F%E8%AE%AE/ https://ww…

Codeforces Round #833 (Div. 2)

题目链接 A. The Ultimate Square 题意: 给你一个n,表示有n块砖,第i块砖是1*(i/2),这里是上取整,问你最大能组合成的正方形的边长是多少 思路: 观察样例就会发现是n/2上取整,下面看代码&…

快速了解网络原理

作者:~小明学编程 文章专栏:JavaEE 格言:热爱编程的,终将被编程所厚爱。 目录 局域网和广域网 局域网 局域网组建的方式 广域网 网络通信基础 IP地址 端口号 协议 什么是协议 协议分层 分层模型 OSI七层模型 TCP/IP…

Python解题 - CSDN周赛第18期 - 又见背包

卧床一周,一觉醒来,恍如隔世,做什么事都提不起兴趣,也不知道这算不算后遗症。 本期的题目还是比较简单的,也有几道做过的题。最后一道照搬过来的背包题也是比较经典的01背包了,整体感觉没有什么值得说的&am…

linux常用命令(四)- 文件备份解压缩

查看压缩文件信息 - zipinfo zipinfo命令用于列出压缩文件信息。 语法 zipinfo [-12hsvz][压缩文件]-1 只列出文件名称。-2 此参数的效果和指定"-1"参数类似,但可搭配"-h",“-t"和”-z"参数使用。-h 只列出压缩文件的文件名称。-s…

c++11 标准模板(STL)(std::deque)(四)

定义于头文件 <deque> std::deque 元素访问 访问指定的元素&#xff0c;同时进行越界检查 std::deque<T,Allocator>::at reference at( size_type pos ); const_reference at( size_type pos ) const; 返回位于指定位置 pos 的元素的引用&#xff0c;有边…