OpenAI前段时间官方放出了自己的提示工程指南,从大模型小白到开发者,都可以从中消化出不少营养。看看全世界最懂大模型的人,是怎么写提示词的。官方给出了6 个大提示策略:
1、清晰的指令:
告诉AI你具体想要什么。比如,如果你想要简短的答案,就直接说“给我一个简短的回答”。这样AI就不用猜你的意图了。
模型无法读懂你的思维。如果需要简短的回答,就明确要求;如果需要专家级的写作,也要明确指出。提供清晰的指令,减少模型猜测的需要。
▶具体操作:
• 在查询中包含细节,以获得更相关的答案。
• 要求模型采用特定的角色或风格。
• 使用分隔符明确指出输入的不同部分。
• 明确指定完成任务所需的步骤。
• 提供示例以帮助模型理解任务。
• 指定输出的期望长度。
2、提供参考文本:
如果你有关于你要写的主题的具体资料或例子,给AI看看。
这样它就能提供更准确、更相关的内容。语言模型可能会创造虚假答案,尤其是在询问特定主题或要求引用和URL时。提供参考文本可以帮助模型提供更准确的答案。
▶具体操作:
• 指导模型使用参考文本来回答问题。
• 要求模型在回答时引用参考文本中的内容。
3、将复杂任务分解为简单子任务:
如果你有一个复杂的主题要写,试着把它分成几个小部分。比如,先写一个关于主题背景的部分,然后再写关于主要观点的部分。
就像软件工程中将复杂系统分解为模块化组件一样,将任务提交给语言模型时也应采取类似的做法。复杂任务的错误率通常高于简单任务。复杂任务通常可以重新定义为一系列简单任务的工作流程。
▶具体操作:
• 使用意图分类来识别用户查询的最相关指令。
• 对于需要长时间对话的应用,总结或过滤之前的对话。
• 分段总结长文档,并递归地构建完整摘要。
4、给模型时间“思考”:
模型在立即回答问题时可能会犯更多的推理错误。要求模型在给出答案之前进行“思考链”可以帮助模型更可靠地推理出正确答案。
▶具体操作:
• 指导模型在急于得出结论之前先自行找出解决方案。
• 使用内部独白或一系列查询来隐藏模型的推理过程。
• 在之前的回答中询问模型是否遗漏了什么。
5、使用外部工具:
有时候结合使用AI和其他工具(比如数据搜索工具)可以得到更好的结果。利用其他工具的输出来补偿模型的不足。
例如,文本检索系统可以向模型提供相关文档信息,代码执行引擎可以帮助模型进行数学计算和运行代码。
▶具体操作:
• 使用基于嵌入的搜索来实现高效的知识检索。
• 使用代码执行来进行更准确的计算或调用外部API。
• 让模型访问特定的功能。
6、测试和调整:
尝试不同的指令和方法,看看哪种效果最好,然后根据结果进行调整。
使用黄金标准答案评估模型输出”是一种有效的方法,用于确保AI模型的回答质量。
• 定义黄金标准答案:首先,确定一个问题的正确答案应该包含哪些已知事实。这些事实构成了评估AI回答的标准。
• 模型查询与事实对比:使用模型查询来生成答案,然后检查这个答案中包含了多少个所需的事实。
• 评估答案的完整性:根据答案中包含的事实数量来评估其完整性和准确性。如果一个答案包含了所有或大部分所需事实,那么可以认为这个答案是高质量的。
这种策略特别适用于需要精确和详细信息的场景,例如科学、技术或学术研究。通过与黄金标准答案的对比,可以有效地监控和提高AI模型的输出质量。