【AI理论学习】提示学习中常见的Prompt方法

news2024/11/14 3:15:18

提示学习中常见的Prompt方法

  • 硬模板方法
    • 1. PET(Pattern Exploiting Training)
    • 2. LM-BFF
  • 软模板方法
    • 1. P-tuning
    • 2. Prefix tuning
    • 3. Soft Prompt Tuning
  • 总结
  • 参考资料

提示学习中常见的Prompt方法可以大概分为硬模板方法和软模板方法。

硬模板方法

主要介绍PET方法和LM-BFF方法。

1. PET(Pattern Exploiting Training)

硬模板-PET(Pattern Exploiting Training),它是一种较为经典的提示学习方法,即将问题建模成一个完形填空问题,然后优化最终的输出词。虽然 PET 也是在优化整个模型的参数,但是相比于传统的 Fine-tuning 方法,对数据量需求更少。建模方式如下(以往模型只要对 P ( l ∣ x ) P(l|x) P(lx)建模就好了( l l l是label),但现在加入了Prompt P P P以及标签映射(称为verbalizer),所以这个问题就可以更新为): s p ( l ∣ x ) = M ( v ( l ) ∣ P ( x ) ) s_p(l|x)=M(v(l)|P(x)) sp(lx)=M(v(l)P(x))其中 M M M表示模型, s s s相当于某个prompt下生成对应word的 l o g i t s logits logits。再通过softmax,就可以得到概率: q p ( l ∣ x ) = e s p ( l ∣ x ) ∑ l ′ ∈ L e s p ( l ′ ∣ x ) q_p(l|x)=\frac{e^{s_p(l|x)}}{\sum_{l'\in L}e^{s_p(l'|x)}} qp(lx)=lLesp(lx)esp(lx)
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
通过提供具有自然语言“任务描述”的预训练语言模型,可以以完全无监督的方式解决一些NLP任务(例如,Radford等人,2019)。虽然这种方法的表现不如监督方法,但我们在这项工作中表明,这两种想法可以结合起来:我们引入了模式开发训练(PET),这是一种半监督训练程序,将输入示例重新表述为完形填空式短语,以帮助语言模型理解给定的任务。然后,这些短语被用来为一大组未标记的例子分配软标签。最后,对生成的训练集执行标准监督训练。对于几种任务和语言,PET在低资源环境中大大优于监督训练和强半监督方法。
论文地址:https://arxiv.org/abs/2001.07676v3

作者在训练时又加上了MLM loss,进行联合训练:
 PET for sentiment classification
在用于情感分类的 PET 中,首先创建一些编码某种形式的任务描述的模式,以将训练示例转换为完型填空问题; 对于每个模式,预先训练的语言模型被微调。其次,训练后的模型集成对未标记数据进行注释。最后,对得到的软标记数据集进行分类器训练。

具体过程为:

  1. 在少量监督数据上,给每个Prompt训练一个模型;
  2. 对于无监督数据,将同一个样本的多个prompt预测结果进行集成,采用平均或加权(根据acc分配权重)的方式,再归一化得到概率分布,作为无监督数据的soft label;
  3. 在得到的soft label上 finetune 一个最终模型。

2. LM-BFF

基于规则的方法构建的模板虽然简单,但是这些模板都是“ 一个模子刻出来的 ”,在语义上其实挺难做到与句子贴合。因此一种策略就是 直接让模型来生成合适的模板 ,因为文本生成本质上就是去理解原始文本的语义,并获得在语义上较为相关的文本。这样不论给定什么句子,我们可以得到在语义层面上更加贴合的模板。
Making Pre-trained Language Models Better Few-shot Learners
论文地址:https://aclanthology.org/2021.acl-long.295.pdf

LM-BFF是陈丹琦团队的工作,其出自于《Making Pre-trained Language Models Better Few-shot Learners》(ACL2021)。在Prompt Tuning基础上,提出了Prompt Tuning with demonstration & Auto Prompt Generation
MLM pre-training
LM-BFF提出了基于生成的方法来构建Pattern,而给定相应的Pattern之后,再通过搜索的方法得到相应的Verbalizer。如下图所示:
Our approach for template generation
首先定义一个Template的母版(有点类似于PTR中的含有占位符的子模板),将这些母版与原始文本拼接后喂入T5模型(T5模型属于自回归式的生成模型)后在 < X > <X> <X> < Y > <Y> <Y>占位符部分生成相应的字符,最终形成对应的Template。然后再基于生成的Template和label word进行训练。

硬模板方法的缺陷:硬模板产生依赖两种方式:根据经验的人工设计 & 自动化搜索。但是,人工设计的不一定比自动搜索的好,自动搜索的可读性和可解释性也不强

软模板方法

1. P-tuning

P-tuning不再设计/搜索硬模板,而是在输入端直接插入若干可被优化的Pseudo Prompt Tokens,自动化地寻找连续空间中的知识模板
GPT Understands
论文地址:https://arxiv.org/pdf/2103.10385.pdf

所谓PET,主要的思想是借助由自然语言构成的模版(英文常称Pattern或Prompt),将下游任务也转化为一个完形填空任务,这样就可以用BERT的MLM模型来进行预测了。

某种意义上来说,这些模版属于语言模型的“探针”,我们可以通过模版来抽取语言模型的特定知识,从而做到不错的零样本效果,而配合少量标注样本,可以进一步提升效果。

然而,前面已经说了,对于某些任务而言,人工构建模版并不是那么容易的事情,模型的优劣我们也不好把握,而不同模型之间的效果差别可能很大,在这种情况下,人工标注一些样本可能比构建模版还要轻松得多。所以,如何根据已有的标注样本来自动构建模版,便成了一个值得研究的问题了。

P-tuning重新审视了关于模版的定义,放弃了“模版由自然语言构成”这一常规要求,从而将模版的构建转化为连续参数优化问题,虽然简单,但却有效。

  1. 不依赖人工设计
  2. 要优化的参数极少,避免了过拟合(也可全量微调,退化成传统 finetuning)
  3. 传统离散prompt直接将模板T的每个token映射为对应的embedding,而 P-Tuning 将模板 T 中的Pi(Pseudo Prompt)映射为一个可训练的参数 hi 。

An example of prompt search for “The capital of Britain is [MASK]”
优化关键点在于,自然语言的hard prompt,替换为可训练的soft prompt;使用双向LSTM 对模板 T 中的 pseudo token 序列进行表征;引入少量自然语言提示的锚字符(Anchor)提升效率,如上图的“capital” ,可见 p-tuning是hard+soft的形式,并不是完全的soft形式。具体的做法:

  1. 初始化一个模板:The capital of [X] is [mask]
  2. 替换输入:[X] 处替换为输入 “Britian”,即预测 Britain 的首都
  3. 挑选模板中的一个或多个token作为soft prompt
  4. 将所有soft prompt送入LSTM,获得每个soft prompt的隐状态向量h。
  5. 将初始模板送入BERT的 Embedding Layer,所有soft prompt的token embedding用h代替,然后预测mask。

核心结论:基于全量数据,大模型:仅微调 prompt 相关的参数,媲美 fine-tuning 的表现。

2. Prefix tuning

P-tuning更新prompt token embedding的方法,能够优化的参数较少。Prefix tuning 希望能够优化更多的参数,提升效果,但是又不带来过大的负担。虽然prefix tuning是在生成任务上被提出来的,但是它对soft prompt后续发展有着启发性的影响。
Prefix-Tuning
微调是利用大型语言模型来执行下游任务的事实上的方法。但是,它修改了所有语言模型参数,因此需要为每个任务存储完整的副本。在本文中,我们提出了Prefix-Tuning,这是用于自然语言生成任务进行微调的轻量级替代品,它可以使语言模型参数冻结,但优化了一个小的连续特定任务特定的矢量(称为前缀)。前缀调整可以从prompt中汲取灵感,从而使后续token可以参加此前缀,就好像它是“虚拟令牌”。我们将前缀调整应用于gpt-2,以生成表 - 文本,并将其用于摘要。我们发现,通过仅学习0.1%的参数,前缀调整可以在完整的数据设置中获得可比的性能,在低数据设置中的表现优于微调,并且可以更好地推断出在训练过程中看不见的主题的示例。

论文地址:https://arxiv.org/abs/2101.00190
Fine-Tuning
由上图可见,模型上在每层 transformer 之前加入 prefix。特点是 prefix 不是真实的 token,而是连续向量(soft prompt),Prefix-tuning 训练期间冻结 transformer 的参数,只更新 Prefix 的参数。只需要存储大型 transformer 的一个副本和学习到的特定于任务的前缀即可,为每个附加任务产生非常小的开销。

Prefix-tunning考虑两个生成任务:table-to-text 和摘要任务。
An annotated example of prefix-tuning using an autoregressive LM and an encoder-decoder model
对于table-to-text任务,本文使用自回归语言模型GPT-2,输入为source( x x x)和target( y y y)的拼接,模型自回归地生成 y ~ \tilde{y} y~
p ϕ ( z i + 1 ∣ h ≤ i ) = s o f t m a x ( W ϕ h i ( n ) ) p_\phi(z_{i+1}|h_{\le i})=softmax (W_\phi h_i^{(n)}) pϕ(zi+1hi)=softmax(Wϕhi(n))

对于摘要任务,使用BART模型,编码器输入source文本 x x x,解码器输入target 黄金摘要( y y y),模型预测摘要文本 y ~ \tilde{y} y~

在传统微调方法中,模型使用预训练参数进行初始化,然后用对数似然函数进行参数更新。
max ⁡ ϕ log ⁡ p ϕ ( y ∣ x ) = ∑ i ∈ Y i d x log ⁡ p ϕ ( z i ∣ h < i ) \max_{\phi} \log p_\phi (y|x)=\sum_{i\in Y_{idx}} \log p_\phi (z_i|h_{<i}) ϕmaxlogpϕ(yx)=iYidxlogpϕ(zih<i)

本文将指令优化为连续的单词嵌入,而不是通过离散的token进行优化,其效果将向上传播到所有Transformer激活层,并向右传播到后续的token。严格来说,这比离散提示符更具表达性,后者需要匹配嵌入的真实单词。

上图2为回归模型为例的做法:

  1. 加入前缀后模型输入表示为 Z = [ P R E F I X ; x ; y ] Z = [ PREFIX ; x ; y ] Z=[PREFIX;x;y]
  2. Prefix-tuning 初始化一个训练的矩阵 P P P,用于存储prefix parameters
  3. 前缀部分 token,参数选择设计的训练矩阵,而其他部分的token,参数则固定 且为预训练语言模型的参数

结论:Prefix-tuning 在生成任务上,全量数据、大模型:仅微调 prompt 相关的参数,媲美 fine-tuning 的表现。

3. Soft Prompt Tuning

它验证了软模板方法的有效性,并提出:固定基础模型,有效利用任务特定的 Soft Prompt Token,可以大幅减少资源占用,达到大模型的通用性。
Guiding Frozen Language Models with Learned Soft Prompts
文章地址:https://ai.googleblog.com/2022/02/guiding-frozen-language-models-with.html

soft prompts相比于比离散的文本prompt,可以蕴含更质密的信息 (成千上万个examples)。对Prefix-tuning的简化,固定预训练模型,只对下游任务的输入添加额外的 k个可学习的 token。这种方式在大规模预训练模型的前提下,能够媲美传统的 fine-tuning 表现。
With and Without prompt tuning
左图:通过模型调优,传入数据被路由到特定于任务的模型。右:通过即时调优,来自不同任务的示例和提示可以大批量地在单个冻结模型中流动,从而更好地利用服务资源。

总结

Prompt Learning的组成部分

  1. 提示模板:根据使用预训练模型,构建 完形填空 or 基于前缀生成 两种类型的模板。
  2. 类别映射/Verbalizer:根据经验选择合适的类别映射词。
  3. 预训练语言模型。

典型的Prompt Learning方法总结

  1. 硬模板方法:人工设计/自动构建基于离散 token 的模板,例如PETLM-BFF
  2. 软模板方法:不再追求模板的直观可解释性,而是直接优化Prompt Token Embedding,是向量/可学习的参数,例如P-tuningPrefix TuningSoft Prompt Tuning

参考资料

  1. 深入浅出提示学习思想要旨 及 常用Prompt方法
  2. Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
  3. P-tuning:自动构建模版,释放语言模型潜能
  4. 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》阅读笔记
  5. 谷歌 Soft Prompt Learning

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/447151.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Windows10系统关闭自动更新及优化

研究背景&#xff1a; 自从用了windows10系统后&#xff0c;老是会遇到糟心的事情&#xff0c;不知不觉的情况下C盘就爆红了&#xff0c;而导致这个的主要原因就是系统老是自动更新&#xff0c;每次更新都是好几个G&#xff0c;耗流量不说&#xff0c;还特别占用C盘空间&#…

110. 平衡二叉树【75】

难度等级&#xff1a;容易 上一篇算法&#xff1a; 102. 二叉树的层序遍历【206】 力扣此题地址&#xff1a; 110. 平衡二叉树 - 力扣&#xff08;Leetcode&#xff09; 1.题目&#xff1a;110. 平衡二叉树 给定一个二叉树&#xff0c;判断它是否是高度平衡的二叉树。 本题中…

realme GT neo5 手机关闭系统更新

realme GT neo5 手机关闭系统更新 前言 realme 手机总是自动系统更新&#xff0c;就很烦&#xff0c;而且今天早上我在付钱的时候&#xff0c;直接就自动关机&#xff0c;更新系统了&#xff0c;让我在那傻等着&#xff0c;我服了 当场我就气晕了 如果要更新&#xff0c;我直…

系统分析师之信息化技术(十一)

目录 一、企业信息化概述 1.1 信息系统的基本概念 1.1.1 什么是信息 1.1.2 什么是信息化 1.1.3 信息系统分类 二、企业信息化规划 2.1 信息化战略体系 2.2 企业战略与信息化战略集成方法 三、信息系统开发方法 3.1 信息系统开发方法 3.2 系统建模 四、信息系统战略…

【机器学习sklearn】第二节:线性回归和线性分类

作者&#x1f575;️‍♂️&#xff1a;让机器理解语言か 专栏&#x1f387;&#xff1a;机器学习sklearn 描述&#x1f3a8;&#xff1a;本专栏主要分享博主学习机器学习的笔记和一些心得体会。 寄语&#x1f493;&#xff1a;&#x1f43e;没有白走的路&#xff0c;每一步都算…

我也曾经因安装库而抓狂,直到我遇到了

入门教程、案例源码、学习资料、读者群 请访问&#xff1a; python666.cn 大家好&#xff0c;欢迎来到 Crossin的编程教室 &#xff01; 几乎所有的 Python 学习者都遇到过“安装”方面的问题。这些安装问题包括 Python 自身环境的安装、第三方模块的安装、不同版本的切换&…

关于二分图

什么是二分图 1. 从离散数学的角度理解&#xff1a; A ---R---> B&#xff0c;B ---R---> A&#xff0c;且A、B自身不存在R关系&#xff0c;那么这种R关系对应的图就是二分图 二分图是一种无向图 2. 从染色问题角度 你会发现&#xff1a; 奇数个结点无法完成染色 &g…

苹果手机相片删除了怎么恢复回来?恢复照片,3分钟搞定!

案例&#xff1a;苹果手机相片删除了还能找到吗&#xff1f; 【友友们&#xff0c;苹果手机照片不小心删除了&#xff0c;有什么方法可以快速恢复吗&#xff1f;】 如果你是苹果手机用户&#xff0c;那么你可能会经常使用手机的相机功能来记录生活中的美好瞬间。然而&#xff…

asp.net+sqlserver+C#网上订餐系统

目 录 第1章.绪论 4 1.1 系统开发背景 4 1.2 开发设计目的和意义 5 1.3 网上订餐系统设计思想 5 1.4可行性分析 6 1.4.1技术可行性分析 7 1.4.2其他可行性分析 7 第2章.需求分析 9 2.1 需求分析 9 2.2建立用例图 11 2.3描述用例图 11 2.3.…

传统机器学习(五)决策树算法(一)

传统机器学习(五)决策树算法(一) 1.1 决策树算法手动实现 ​ 可以参考&#xff1a;机器学习实战&#xff08;二&#xff09;决策树-分类树&#xff08;海洋生物数据集案例&#xff09; 1.2 sklearn决策树参数详解 1.2.1 入参参数详解 class sklearn.tree.DecisionTreeClas…

STM32H7B0VBT6芯片烧写程序踩坑记录

1.新的芯片第一次烧写需要通过ST官方烧录软件CubeProgrammer进行串口烧写。 软件下载: [https://www.stmcu.com.cn/Designresource/detail/software/710763] 或 [https://www.stmcu.com.cn/Designresource/detail/software/710762] 连接串口(A9,A10号引脚),打开文件 BOOT0拉高…

2023年学什么编程语言,最容易找工作?

在众多行业中&#xff0c;程序员属于高薪职业。无论是在国外还是国内&#xff0c;程序员的薪金水平普遍高于其他行业的工作岗位&#xff0c;例如web前端开发、软件工程、游戏开发、APP开发、网络爬虫、网站开发、人工智能开发、网络维护、Java开发、大数据分析、Python开发等工…

【艾特淘】淘宝新灯塔指标已更新,这几点要注意!

2022年新版淘宝新灯塔指标已于2022年8月1日正式生效&#xff0c;新版考核迭代了店铺指标&#xff0c;淘汰了过去考核能力较弱的指标&#xff0c;新增了旺旺满意度、平台求助率等指标&#xff0c;针对商家等级权益也有所调整&#xff0c;很多商家都对这些新的情况比较不了解。为…

JDBC(数据库和Java)

JDBC JDBC&#xff08;Java数据库连接&#xff09;是一种Java API&#xff08;应用程序编程接口&#xff09;&#xff0c;允许Java程序与数据库交互。它提供了一个标准接口&#xff0c;用于从Java程序连接到关系数据库&#xff08;如MySQL、Oracle和Microsoft SQL Server&#…

银行数字化转型导师坚鹏:商业银行数字化风控(1天)

商业银行数字化风控 课程背景&#xff1a; 数字化背景下&#xff0c;很多银行存在以下问题&#xff1a; 不清楚商业银行数字化风控发展现状&#xff1f; 不清楚对公业务数字化风控工作如何开展&#xff1f; 不知道零售业务数字化风控工作如何开展&#xff1f; 课程特色…

二叉树搜索树详解

定义 二叉搜索树&#xff08;BST&#xff0c;Binary Search Tree&#xff09; 或为一颗空树&#xff0c;或满足一下性质若它的左子树不为空&#xff0c;则左子树上所有节点的值都小于根节点的值若它的右子树不为空&#xff0c;则右子树上所有节点的值都大于根节点的值它的左右…

单测时尽量用fake object

1. 单元测试的难点&#xff1a;外部协作者(external collaborators)的存在 单元测试是软件开发的一个重要部分&#xff0c;它有助于在开发周期的早期发现错误&#xff0c;帮助开发人员增加对生产代码正常工作的信心&#xff0c;同时也有助于改善代码设计。**Go语言从诞生那天起…

C++支持函数重载的原理--名字修饰

这章的原理并不难&#xff0c;前提是你要理解编译和链接。不会的会可以看一下这篇博客快速过一遍。 为什么C支持函数重载&#xff0c;而C语言不支持函数重载呢&#xff1f; 在C/C中&#xff0c;一个程序要运行起来&#xff0c;需要经历以下几个阶段&#xff1a;预处理、编译、汇…

Apache Flink ML 2.2.0 发布公告

来源 | Apache Flink 官方博客 翻译 | 林东 Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布&#xff01;本次发布的版本重点添加了 Flink ML 中的特征工程算法。现在 Flink ML 包含了 33 个开箱可用的特征工程算法&#xff0c;可以支持很多常见的特征工程任…

springboot,Flowable 流程实例的激活与挂起(一)

一.简介 要实现流程实例的挂起和激活&#xff0c;首先要知道什么是流程实例的挂起和激活。 挂起&#xff1a; ①一个定义好的流程模板&#xff08;流程定义&#xff09;&#xff0c;如果挂起了&#xff0c;那么就无法据此创建新的流程实例。 ② 一个流程实例如果挂起了&#…