引领端侧多模态新时代：MiniCPM-V 2.6重磅登场

news2025/1/10 5:55:08

前沿科技速递🚀

在人工智能领域，每一次技术的进步都伴随着参数规模的提升和计算力的突破。然而，面壁智能公司最新推出的MiniCPM-V 2.6端侧多模态模型，却以相对“小巧”的8B参数量级，打破了传统思维，实现了端侧多模态能力的重大飞跃。这款模型不仅在单图、多图、视频理解三项任务上超越了GPT-4V，更为端侧AI应用开启了全新的篇章。

来源：传神社区

01 “三合一”最强端侧多模态：全面超越GPT-4V

MiniCPM-V 2.6的最大亮点在于其“三合一”的多模态理解能力。传统的端侧模型往往只能在单一模态上表现出色，而MiniCPM-V 2.6通过深度优化模型架构和训练算法，成功实现了在单图、多图和视频理解上的全面突破。这款模型不仅能够对单张图片进行深入理解，还能在多图联合分析和动态视频内容理解方面给出精准、富有洞察力的结果。

这种能力的实现，对端侧AI应用具有里程碑式的意义。我们可以期待，在未来的端侧设备中，更多智能化、丰富多样的AI应用将会出现，如实时图像识别、视频内容分析和多模态交互等，进一步提升用户体验。

02 多项功能首次上端：开启端侧AI的新篇章

除了多模态理解能力的全面提升，MiniCPM-V 2.6还首次在端侧模型中实现了多项功能，包括实时视频理解、多图联合理解、多图ICL（视觉类比学习）和多图OCR等。这些功能的引入，标志着端侧AI应用的新里程碑。

🎬实时视频理解 是MiniCPM-V 2.6的一大亮点。传统的端侧模型由于计算资源和模型复杂度的限制，难以实现实时视频处理。然而，MiniCPM-V 2.6通过对模型结构和算法的优化，成功实现了这一功能。这对于视频监控、实时互动等应用场景具有重大意义，能够让端侧设备更加智能、高效。

🖼️多图联合理解 则为图像比较和多图分析等应用场景提供了新的可能。MiniCPM-V 2.6不仅能处理单张图片，还能同时处理多张图片，并理解它们之间的关联和差异。这一创新功能，对于处理复杂视觉信息的任务具有极高的价值。

💪多图ICL（视觉类比学习） 和 多图OCR 功能的实现，则进一步丰富了MiniCPM-V 2.6的应用场景。通过视觉类比学习，模型能够识别和理解不同图片之间的相似性和差异性，从而实现更精准的图像分类和识别。OCR功能的加入，使得该模型能够高效地识别和处理图片中的文字信息，为文本提取和图像标注等应用场景提供了有力支持。

03 极致高效：全面优化像素密度、内存占用和推理速度

在追求高性能的同时，面壁智能团队也注重对模型效率的优化。MiniCPM-V 2.6在像素密度、内存占用和推理速度等方面实现了极致的高效性。这得益于团队在模型压缩和加速技术上的深入研究，使得该模型在端侧设备上运行时能够占用更少的资源，同时保持高效的处理速度。

具体来说，MiniCPM-V 2.6采用了先进的模型压缩技术，降低了参数规模和计算复杂度，使其在端侧设备上运行时更加轻量化。无论是在像素密度较高的图像上，还是在内存资源有限的端侧设备上，该模型都能表现出色，快速且准确地完成任务。

此外，MiniCPM-V 2.6在推理速度上也取得了显著提升。与上代模型相比，推理速度提高了33%，达到每秒18 tokens，使其能够更加高效地处理复杂的多模态任务。这种高效性使得该模型在更多端侧AI应用场景中得以实现，为智能手机、平板电脑和其他端侧设备的功能升级提供了有力支持。

04 全面性能验证：实力见证未来之星

面壁智能团队通过一系列的评测和对比实验，全面展示了MiniCPM-V 2.6的性能和实力。无论是在单图理解、多图处理还是视频理解任务上，该模型均表现出色，超越了GPT-4V。在OCR任务中，MiniCPM-V 2.6的文字识别准确率和速度也优于其他端侧OCR模型，展现出强大的多模态处理能力。

在幻觉评测榜单 Object HalBench 上，MiniCPM-V 2.6 的幻觉水平（幻觉率越低越好）优于 GPT-4o、GPT-4V、Claude 3.5 Sonnet 等众多商用模型。MiniCPM-V 2.6的低幻觉率进一步提升了其在复杂场景中的处理能力，使其能够更加准确地识别和理解图像内容。这一特性的实现，为端侧AI应用的可靠性和稳定性提供了有力保障。

05 典型示例

对于GPT-4V 官方演示经典命题：调整自行车车座。这个对人很简单的问题对模型却非常困难，它非常考验多模态模型的复杂推理能力和对物理常识的掌握能力。仅 8B 的 MiniCPM-V 2.6 展现出顺利完成这项挑战的潜力，通过和模型进行多图多轮对话，它清晰地告知完成调低自行车车座的每一个详细步骤，还能根据说明书和工具箱帮你找到合适的工具。

让模型解释下面两张图背后的小故事，MiniCPM-V 2.6 能够通过 OCR 精准识别到两张图片上的文字：“WFH Employees 8:59 AM”和 “WFH Employees 9:00 AM”，推理出“WFH”居家办公状态，然后结合两张图片的视觉信息联合推理出“工作在家时，8:59还在床上睡觉，9点立马出现在视频会议上”的居家办公的“抓狂”状态，尽显梗图的槽点和幽默，可谓是多图联合理解和 OCR 能力的强强结合。