我们将为生成式人工智能新闻搜索创建一个后端。我们将使用通过 Groq 的 LPU 提供服务的 Meta 的 Llama-3 8B 模型。

关于Groq
如果您还没有听说过 Groq，那么让我为您介绍一下。 Groq 正在为大型语言模型 (LLM) 中文本生成的推理速度设定新标准。 Groq 提供 LPU（语言处理单元）接口引擎，这是一种新型的端到端处理单元系统，可为计算密集型应用程序提供最快的推理，并为其提供顺序组件，如法学硕士。

我们不会深入探讨与 GPU 相比，Groq 上的推理速度有多快。我们希望利用 Groq 和 Llama 3 文本生成功能提供的速度提升来创建生成式 AI 新闻搜索。这将类似于 Bing AI 搜索、Google AI 搜索或 PPLX。

为什么是LLama 3？
Meta 最近发布的 Llama 3 型号大受欢迎。更大的 70B Llama 3 型号目前在 LMSys LLM 排行榜上排名第五。在英语任务中，同一模型排名第二，仅次于 GPT-4。