# Datawhale AI 夏令营
夏令营手册:从零入门 AI 逻辑推理
比赛:第二届世界科学智能大赛逻辑推理赛道:复杂推理能力评估
代码运行平台:魔搭社区
赛题任务
本次任务主要采用大语言模型解决推理任务,如何使用大语言模型实现top方案呢?
- 是训练&微调模型提升解决逻辑推理问题的能力。
- 是使用各种prompt工程、agent系统方案,达到模型解决逻辑推理问题的能力边界。
模型训练&微调
在Task3中使用了Lora微调后,模型的推理速度及性能都得到了提升,除此之外可以通过调整prompt进行入手,或者尝试全量微调。微调思路改进。除了我们直接使用答案作为微调数据,还有哪些呢?比如你可以使用大模型的推理思路吗?你可以使用推理方向吗?这些都值得大家思考。微调数据够了吗?我们所有的问题总共有1321个,这些数据大家觉得够吗?如果不够是不是可以再加点?
prompt & agent
prompt
提示工程(Prompt Engineering)是一门较新的学科,关注提示词开发和优化,帮助用户将大语言模型(Large Language Model, LLM)用于各场景和研究领域。 掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。
研究人员可利用提示工程来提升大语言模型处理复杂任务场景的能力,如问答和算术推理能力。开发人员可通过提示工程设计、研发强大的工程技术,实现和大语言模型或其他生态工具的高效接轨。
提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接,以及理解大语言模型能力方面都起着重要作用。用户可以通过提示工程来提高大语言模型的安全性,也可以赋能大语言模型,比如借助专业领域知识和外部工具来增强大语言模型能力。
基于对大语言模型的浓厚兴趣,我们编写了这份全新的提示工程指南,介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。
agent是什么?
可以把Agent想象成环境中的数字人,其中
Agent = 大语言模型(LLM) + 观察 + 思考 + 行动 + 记忆
这个公式概括了智能体的功能本质。为了理解每个组成部分,让我们将其与人类进行类比:
- 大语言模型(LLM):LLM作为智能体的“大脑”部分,使其能够处理信息,从交互中学习,做出决策并执行行动。
- 观察:这是智能体的感知机制,使其能够感知其环境。智能体可能会接收来自另一个智能体的文本消息、来自监视摄像头的视觉数据或来自客户服务录音的音频等一系列信号。这些观察构成了所有后续行动的基础。
- 思考:思考过程涉及分析观察结果和记忆内容并考虑可能的行动。这是智能体内部的决策过程,其可能由LLM进行驱动。
- 行动:这些是智能体对其思考和观察的显式响应。行动可以是利用 LLM 生成代码,或是手动预定义的操作,如阅读本地文件。此外,智能体还可以执行使用工具的操作,包括在互联网上搜索天气,使用计算器进行数学计算等。
- 记忆:智能体的记忆存储过去的经验。这对学习至关重要,因为它允许智能体参考先前的结果并据此调整未来的行动。
以下是MetaGPT定义的一个agent的运行过程:
- 一个agent在启动后他会观察自己能获取到的信息,加入自己的记忆中
- 下一步进行思考,决定下一步的行动,也就是从Action1,Action2,Action3中选择执行的Action
行思考,决定下一步的行动,也就是从Action1,Action2,Action3中选择执行的Action - 决定行动后,紧接着就执行对应行动,得到这个环节的结果