g1简介:

g1 是一个利用 Llama 3.1 70b 模型在 Groq 硬件上实现类似 OpenAI o1 推理链能力的开源项目。它通过精心设计的提示策略来引导语言模型进行逐步推理，从而解决了传统语言模型在逻辑推理方面的不足。g1 项目的目标是探索如何利用提示策略来提高语言模型的推理能力，并推动开源社区开发新的策略来产生类似 o1 的推理能力 。

g1 的工作原理是利用动态推理链，逐步引导 Llama 3.1 模型完成复杂的逻辑问题。模型在解决问题时不会直接给出答案，而是按步骤进行推理，每一步都有明确的标题和内容，确保推理过程可视化和结构化 。

g1 的提示策略包括要求模型使用至少三种不同的方法来解决问题，并探索多种可能性，确保模型能够正确地解决问题。这种策略帮助 Llama 3.1 在解决逻辑问题上的准确率显著提升 。

g1 项目的一个关键特点是其推理过程的透明度。用户可以看到每一步推理过程的标题和内容，帮助理解模型的推理逻辑。这种透明度有助于增强用户对模型的信任，并促进语言模型技术的进一步发展 。

此外，g1 项目还展示了如何使用 Streamlit 构建用户友好的交互界面，方便用户体验 g1 的推理能力。通过这种方式，g1 项目不仅提供了一种新的推理策略，还为用户提供了实际操作的示例 。

总的来说，g1 项目通过提示工程和动态推理链的方式，成功地提升了开源语言模型的推理能力，为未来语言模型的发展提供了新的可能性 。

一键整合包:

下载:https://pan.quark.cn/s/f22c34995982

解压后修改start_streamlit.bat脚本里的api即可运行

获取groq apikey:

https://console.groq.com/keys

注:Groq 提供的API允许开发者使用其服务来推理运行在 Groq LPU 上的大型语言模型。这个 API 是免费的，并且与 OpenAI API 兼容，使得开发者可以轻松地将 Groq 的推理服务集成到他们的应用程序中。

调用限制:

streamlit页面示例

start_streamlit.bat