面壁小钢炮3.0发布：端侧ChatGPT时代的技术飞跃

news2024/9/22 4:12:44

一、面壁小钢炮3.0模型介绍

➤ MiniCPM 3.0 开源地址：

🔗 https://github.com/OpenBMB/MiniCPM

🔗 https://huggingface.co/openbmb/MiniCPM3-4B

2024年9月5日，面壁智能发布 MiniCPM3-4B！该模型的表现超越 Phi-3.5-mini-instruct 和 GPT-3.5-Turbo-0125，并且能够比肩 Llama3.1-8B-Instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat 等多个 7B-9B 参数量的模型。

2024年，面壁智能再一次超越了自己。在年初发布初代面壁小钢炮时，他们立下了一个大胆的Flag：在年底之前，让GPT-3.5水平的AI模型在端侧设备上运行。而令人振奋的是，他们不仅实现了这个目标，还提前了近4个月。

面壁所带来的MiniCPM 3.0模型，仅拥有4B参数，但在多个重要领域表现卓越，包括自然语言理解、知识推理、代码生成和数学能力等。在这些方面，MiniCPM 3.0不仅与GPT-3.5相媲美，甚至在部分任务上实现了全面超越。

在与Qwen2-7B、Phi-3.5、GLM4-9B和LLaMa3-8B等国内外领先模型的多轮对比测试中，MiniCPM 3.0凭借其轻量化设计和强大的推理能力，脱颖而出，成为端侧AI的性能新标杆。

同时，他们也提出了大模型界的摩尔定律-面壁定律！面壁定律指的是大模型的知识密度不断提升，平均每8个月提升一倍！

随着数据、算力和算法的协同发展，模型的知识密度不断增强，意味着我们能够用更少的参数达到甚至超越之前更大规模模型的能力。例如，2022年底，内置了GPT-3.5的ChatGPT首次亮相，而在2024年，参数仅为4B的MiniCPM 3.0模型就能实现与GPT-3.5相同的性能。这样的进步不仅展示了技术上的飞跃，也反映了在算法优化和算力使用效率上的巨大提升。这标志着轻量级模型将具备更强的能力，在端侧设备上运行成为可能。

二、模型亮点

作为新一代的端侧AI模型，面壁小钢炮3.0不仅保留了小巧轻量的优势，更实现了在性能和功能上的全面升级。它不仅能够轻松处理长文本的理解与生成，还全面支持Function Calling功能，能够灵活调用多种API实现任务自动化，此外，结合RAG（检索增强生成）技术，它可以高效整合外部知识源，在自然语言生成中提供更加精准、上下文丰富的答案。

1.超长上下文

32,128,256,512K...面壁「无限」长文本功能打破大模型记忆限制，上下文长度无限拓展，想多长就多长。除了超越GPT-4、KimiChat等标杆模型的优异表现;更神奇的是，文本越长，这个 4B 小钢炮凭借愈加稳定的表现，展现出的性能优势越强。

同时，面壁小钢炮3.0采用LLM X MapReduce技术，InfiniteBench Zh.QA评测结果显示，不同长度长文本上，4B参数的MiniCPM 3.0整体性能优于Kimi，在更长的文本上表现出相较更强的稳定性。

2.Function Calling

在端侧AI的竞争中，智能体应用已成为各大技术企业争相抢夺的“必争之地”。而随着GPT-4o级 Function Calling 终端Agent应用的逐渐成熟，面壁智能也正蓄势待发，凭借新一代的MiniCPM 3.0模型迈出了关键的一步。

MiniCPM 3.0的Function Calling能力不仅与GPT-4o相媲美，更是在一系列测试中表现出色，超越了像Llama3.1-8B和Qwen-2-7B等多款业界知名大模型。

3.RAG

通过RAG（检索增强生成）技术，模型不仅能够生成内容，还能从外部知识库中检索最新的信息，从而拥有与时俱进的专业知识，这在各类行业应用中极其实用。

这次，面壁智能带来了RAG三件套：检索模型、重排序模型以及面向RAG场景的LoRA插件，每一款都出类拔萃。检索模型能够快速找到与任务相关的外部数据，重排序模型确保返回的结果精准且相关，而LoRA插件则针对RAG场景进行了优化，使得端侧模型可以高效、灵活地运用外部知识。