(2022 COLING)Context-Tuning情景化提示

news2024/9/29 23:29:06

论文题目(Title):Context-Tuning: Learning Contextualized Prompts for Natural Language Generation

研究问题(Question):自然语言生成,生成长文本。

研究动机(Motivation):在现有的研究中,一般的提示方法通常独立于输入,缺乏对输入语义的充分考虑。该研究将输入进行掩码,从预训练模型中得到相关的知识,作为提示信息。

主要贡献(Contribution):

1. 作者指出他是第一个将输入相关信息编码为文本生成的连续提示的人。该上下文调优方法可以根据特定的输入文本引出相关知识,增强生成文本与输入文本之间的相关性。

2. 另外提出反提示,从输出到输入的逆方式增强相关性。

3. 将该方法与几个基线模型进行比较,以评估四种自然语言生成任务。大量的实验证明了上下文调优方法的有效性。逆提示基于连续提示,可以在微调过程中灵活优化。

研究思路(Idea):首先,根据输入文本派生提示,以从PLMs中提取有用的知识进行生成。其次,使用连续逆提示来改进自然语言生成的过程,通过建模一个从输出到输入的逆生成过程,使生成的文本与输入更相关。另外,使用轻量级上下文调优方法,在保持良好性能的同时只调优0.12%的参数。

研究方法(Method):

研究过程(Process):

        1.数据集(Dataset)

        2.评估指标(Evaluation)BLEU、Distinct、Human Evaluation
        3.实验结果(Result)

总结(Conclusion):发表于CCF B,利用输入mask,得到一些关于输入的相关知识作为提示信息,是具有一定的新颖性。现有的文本生成提示信息一般将情感信息考虑进行,作者也提到后续考虑。但就其mask输入来说,可能给输入带来一定的噪声,mask获得的信息可能是有误的,那也就导致提示的方向是错误,可设法在其中进行信息判断,有用的信息进行提示,无用信息则筛除。这可能也就是实验BLEU和多样性值低的原因。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/984262.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

春播秋收 “羊”鸣德州 一场“苏尼特羊”跨越千里的美丽邂逅

恰逢金秋丰收时节,中秋佳节来临之际,9月2日,百仕达地标之都整合天南海北优质农产品,联合苏尼特右旗和德州市天衢新区,共同举办“2023年地标之都中秋选货节暨苏尼特羊推介会”。 本次活动以“ 收自然之硕鉴本味之美”为…

国标GB28181协议视频平台EasyGBS国标平台设备播放断流现象的排查分析及解决

EasyGBS平台基于GB28181国标协议,支持多路设备接入,并对多平台、多终端分发出RTSP、RTMP、FLV、HLS、WebRTC等多种格式的视频流。平台可为大数据等综合性监管平台提供极强的视频能力,已经在大量的项目中落地应用,如明厨亮灶、平安…

框架分析(10)-SQLAlchemy

框架分析(10)-SQLAlchemy 专栏介绍SQLAlchemy特性分析ORM支持数据库适配器事务支持查询构建器数据库连接池事务管理器数据库迁移特性总结 优缺点优点强大的对象关系映射支持多种数据库灵活的查询语言自动管理数据库连接支持事务管理易于扩展和定制 缺点学…

华硕ROG2/ROG5/ROG6/ROG7Pro强解锁L锁-快速实现root权限-支持Zenfone9/8/7

2023年9月新增解锁BL适配(需要联系技术远程操作): 新增支持华硕ROG5/5S/5Pro机型强制解锁BL,并且支持OTA在线更新功能 新增支持华硕ROG6/6Pro机型强制解锁BL,并且支持OTA在线更新功能 新增支持华硕ROG7/7Pro机型强制解…

antd中在vue项目中自定义穿梭框

antd中在vue项目中自定义穿梭框 1、完成代码 <template><a-modaltitle"高危因素选择":width"1000":visible"riskVisible":confirm-loading"confirmLoading"ok"handleOk"cancel"handleCancel"okText&qu…

攻克海外市场!企业客户培育,销售额倍增

随着全球市场的不断融合和国际贸易的加速&#xff0c;越来越多的企业纷纷进军海外市场&#xff0c;寻求新的增长机会。然而&#xff0c;在这一过程中&#xff0c;客户培育成为了取得成功的关键因素之一。运营坛今天将带领大家深入剖析为什么客户培育在国际市场尤为关键&#xf…

手写Spring:第2章-创建简单的Bean容器

文章目录 一、目标&#xff1a;创建简单的Bean容器二、设计&#xff1a;创建简单的Bean容器三、实现&#xff1a;创建简单的Bean容器3.0 引入依赖3.1 工程结构3.2 创建简单Bean容器类图3.3 Bean定义3.4 Bean工厂 四、测试&#xff1a;创建简单的Bean容器4.1 用户Bean对象4.2 单…

cmake编译(qtcreator)mingw下使用的osg3.6.5

官网下载osg3.6.5源码&#xff0c;先不使用依赖库&#xff0c;直接进行编译 如果generate后报错&#xff0c;显示找不到boost必须库&#xff0c;则手动增加路径。然后先在命令行中使用mingw32-make&#xff0c;如果显示不存在&#xff0c;则需要去环境变量里配置一下这个工具的…

h5开发网站-使用jquery来实现二层嵌套的左侧列表,点击后显示右侧内容的效果

一、需求&#xff1a; 使用jquery来实现二层嵌套的左侧列表&#xff0c;点击后显示右侧内容的效果。 二、思路&#xff1a; 为一级列表项和二级子列表项分别添加了点击事件处理程序。当一级列表项被点击时&#xff0c;使用.slideToggle()方法展开或收起对应的二级子列表项。…

Linux--进程--vfork与fork区别

vfork&#xff1a; 所需头文件&#xff1a;#include <sys/types.h> #include <unistd.h> pid_t vfork(void); 功能&#xff1a; vfork() 函数和 fork() 函数一样都是在已有的进程中创建一个新的进程&#xff0c;但它们创建的子进程是有区别的。 参数&#xff…

【自执行闭包JS逆向】某网站登录MD5加密分析

文章目录 一、写在前面二、抓包分析三、加密函数分析 一、写在前面 最近工作比较忙&#xff0c;不过还是在督促自己利用有限的时间学习更新一些技术文章。互联网这个行业大家目前也都知道是非常内卷的&#xff0c;所有大家在工作之余养成良好的自主学习习惯是非常好的&#xff…

egg单元测试Mocha报错Error: Cannot find module ‘mocha‘解决办法

最近在玩egg&#xff0c;使用mocha作为单元测试工具时发现一个很奇怪的报错&#xff0c;差了大多数文档都没说明&#xff0c;只好去官网搜了下&#xff0c;发现官网有解决方案。 1. 问题 如果你的报错和我的差不多&#xff0c;恭喜您&#xff0c;以下就是解决方案。 2. 解决方…

基于Delft3D模型水体流动、污染物对流扩散、质点运移、溢油漂移及地表水环境报告编制丨掌握模型建立、参数校准、模拟运行和结果分析等实际操作

目录 专题一 Delft3D软件介绍及建模原理和步骤 专题二 掌握Delft3D各模块的基本原理&#xff0c;以及在模型中的操作流程、实例练习模型 专题三 Delft3D数值模拟溶质运移模型建立 专题四 工程实施前后水文情势、流场、冲淤的变化 专题五 地表水环境风险预测 专题六 地表水…

HarmonyOS/OpenHarmony(Stage模型)应用开发组合手势(一)连续识别

组合手势由多种单一手势组合而成&#xff0c;通过在GestureGroup中使用不同的GestureMode来声明该组合手势的类型&#xff0c;支持连续识别、并行识别和互斥识别三种类型。 .GestureGroup(mode:GestureMode, …gesture:GestureType[]) mode&#xff1a;必选参数&#xff0c;为G…

老听说企业要做私域运营,那具体如何做呢?

以前企业获得新客户的方式是从各大流量平台进行引流&#xff0c;但现在这些公域平台人力投入和产出的比例不合理&#xff0c;或者费用太高而无法承担。因此&#xff0c;企业需要建立自己的私域流量池&#xff0c;无需付费、随时可接触的私域流量池。 那么&#xff0c;怎么做私域…

【数据结构】 七大排序详解(壹)——直接插入排序、希尔排序、选择排序、堆排序

文章目录 &#x1f340;排序的概念及引用&#x1f431;‍&#x1f464;排序的概念&#x1f431;‍&#x1f453;排序运用&#x1f431;‍&#x1f409;常见的排序算法 &#x1f334;插入排序&#x1f38b;基本思想&#xff1a;&#x1f6eb;直接插入排序&#x1f4cc;算法步骤&…

彩色图像处理彩色模型

彩色图像处理 彩色基础 人类感知一个物体的颜色是由物体反射光的性质决定的描述彩色光源的基本量&#xff1a; 辐射&#xff1a;是从光源流出能量的总量&#xff0c;用瓦特来度量光强&#xff1a;给出观察者从光源感知的能量总和的度量&#xff0c;用流明来度量亮度&#xff…

小龟带你写Java经典题(合并有序数组)

合并有序数组 1.题目2.图解分析3.代码演示 1.题目 2.图解分析 3.代码演示

汽车行业“墨守成规”?VR全景助力车企打开新局面

近年来&#xff0c;随着互联网时代的快速发展&#xff0c;各个行业都在不断挖掘创新点&#xff0c;汽车行业也是如此。以往汽车销售在线下门店的限制较多&#xff0c;由于营销方式、场地限制等原因&#xff0c;用户的体验过于单一&#xff0c;并且现场展示样车不多&#xff0c;…

控制算法::速度前馈

伺服三环设计---位置环前馈环路设计 - 百度文库 (baidu.com) 伺服电机-松下伺服前馈功能的使用示例_上海会通自动化科技发展有限公司 (shhuitong.net) 运动控制中速度前馈的作用_省身求是的博客-CSDN博客 速度前馈功能_技成培训网论坛 (jcpeixun.com)