GPS: Genetic Prompt Search for Efficient Few-shot Learning

1 简介

Genetic Prompt Search (GPS) 通过提示改进少样本学习，它利用遗传算法自动搜索高性能提示

遗传提示搜索 (GPS) 算法，该算法使用生成模型逐渐改变提示，并根据它们在小型开发集上的表现来选择候选者。

GPS不需要更新任何参数，只是为每个下游任务搜索最优的硬提示。

2 模型结构

实施流程：
1.选择小部分数据数据作为验证集。
2.设计两个评测矩阵，fGP S 是决定在每次迭代中保留或删除哪些提示的度量函数，gGP S 代表生成新提示的遗传函数
3.以上是准备工作，正式开始迭代过程。首先随机初始化一系列的handcrafted prompts.
4.生成一系列的prompts，然后根据prompt在dev 数据集上的评测效果，选择高分的prompts。在每次迭代中，选择top-k的templates,并保存这些templates。

template的生成策略：
（1）回译
（2）利用生成函数完成填空问题
（3）句子续写，使用模板：Write two sentences that mean the same thing

---

prompt存储时的评测策略：
完形填空，我们按照之前的工作 (Gao et al., 2021b) 在验证集 Ddev 上用平均 logits 对提示进行评分。对于回译和续句，由于平均 logits 不适用，我们使用 Ddev 上的准确度对每个提示进行评分。