PromptSource官方文档翻译

news2025/2/12 0:05:21

核心概念解析

提示模板（Prompt Template）

P3数据集

安装指南

基础安装（仅使用提示）

开发环境安装（需创建提示）

API使用详解

基本用法

子数据集处理

批量操作

提示创建流程

Web界面操作

手动下载数据集处理

技术背景

项目起源

核心论文

常见问题处理

macOS环境问题

连接错误

文档核心价值

应用场景示例

研究人员

开发者

教育领域

PromptSource 是一个用于创建、共享和使用自然语言提示的工具包

近期研究表明，大型语言模型展现出对新任务的零样本泛化能力。例如：

GPT-3 证明了大型语言模型在零样本和少样本学习中的强大能力
FLAN 和 T0 证明通过多任务微调可以进一步增强零样本性能

这些研究的共同点是使用"提示"（Prompts）技术，这引发了NLP研究者和工程师的广泛兴趣。PromptSource 应运而生，主要提供：

创建提示的Web界面
提示模板存储库（P3：Public Pool of Prompts）
便捷的API接口

核心概念解析

提示模板（Prompt Template）

使用Jinja模板语言编写的文本转换规则。示例（SNLI数据集）：

jinja2

{{premise}}

问题："{{hypothesis}}" 是否成立？是、否，还是可能？ ||| {{answer_choices[label]}}

P3数据集

当前包含：

2000+英文提示
覆盖170+英文数据集
托管在Hugging Face

安装指南

基础安装（仅使用提示）

pip install promptsource

开发环境安装（需创建提示）

git clone https://github.com/your/promptsource.git
cd promptsource
pip install -e .  # 注意需要Python 3.7环境

API使用详解

基本用法

python

from datasets import load_dataset
from promptsource.templates import DatasetTemplates

# 加载数据集
dataset = load_dataset("ag_news", split="train")
example = dataset[1]

# 获取提示模板
ag_news_prompts = DatasetTemplates('ag_news')

# 选择并应用模板
prompt = ag_news_prompts["classify_question_first"]
input_text, target = prompt.apply(example)

子数据集处理

python

dataset_name = "super_glue/rte"
prompts = DatasetTemplates(dataset_name)

批量操作

python

from promptsource.templates import TemplateCollection

# 获取所有模板
collection = TemplateCollection()
print(collection.datasets_templates)  # 输出结构：{(数据集名,子集名): 模板对象}

提示创建流程

Web界面操作

启动本地服务：

streamlit run promptsource/app.py

三種模式说明：

Sourcing模式：创建新模板
数据集预览：查看模板应用效果
总览模式：分析P3数据集统计信息

界面示意图

手动下载数据集处理

export PROMPTSOURCE_MANUAL_DATASET_DIR=/your/custom/path

将数据集放置在~/.cache/promptsource目录下

技术背景

项目起源

隶属于BigScience开放研究计划
目标：研究大规模语言模型的公共开发环境
相关成果：T0系列模型

核心论文

bibtex

@misc{bach2022promptsource,
     title={PromptSource: 自然语言提示的集成开发环境和存储库},
     author={Bach等},
     year=2022,
     archivePrefix={arXiv},
     primaryClass={cs.LG}
}