随着人工智能技术的飞速发展，多模态大型语言模型（LLMs）在理解和生成文本方面取得了显著成就。然而，这些模型在核心视觉感知任务上的表现仍远落后于人类。本文介绍了Blink基准测试，这是一套针对多模态LLMs的视觉感知能力的新测试，旨在评估那些在其他评估中未被充分测试的能力。即使是最先进的模型，如GPT-4V和Gemini，在Blink上的表现也远低于人类水平，这表明当前的多模态LLMs在视觉感知方面还有很大的提升空间。

上图展示了Blink基准测试的概览，包含14个视觉感知任务的示例，这些任务对人类来说可以迅速解决，但对当前的多模态LLMs构成挑战。这些任务受经典计算机视觉问题的启发，并被重新构为多项选择题，供多模态LLMs回答。

Blink基准测试的设计初衷是评估多模态LLMs在核心视觉感知任务上的表现，这些任务通常对人类来说易如反掌，但对机器来说却颇具挑战。Blink的独特之处在于其多样化的视觉提示，它不仅仅局限于文本提示，还包括了圆形、方框和遮罩等多种视觉元素，这些视觉提示有助于模型集中注意力并深入理解图像的特定区域。

Blink的另一个显著特点是其超越了单纯的视觉识别能力，它涵盖了3D推理、几何理解、功能推理等一系列复杂的视觉感知能力。这些能力对于机器来说至关重要，因为它们涉及到对场景的深入理解和解释。

Blink中的问题被设计为不需要特定领域知识即可解答，这些问题对人类而言是“视觉常识”，可以在几秒内解决。这样的设计使得Blink能够直接评估机器与人类在视觉感知方面的基础差异。

Blink采用了交错的图像-文本格式，问题和选项可以是图像或文本形式，这种多样性要求模型真正理解问题并推动了模型解释能力的边界。

上图对比了Blink和其他现有基准测试的特点。展示了Blink在视觉提示、感知能力评估、常识问题以及图像-文本格式方面的新颖性：

1. 多样化的视觉提示：Blink 包含多种视觉提示，如圆形、方框和图像遮罩，而以前的基准测试只有文本问题和答案。
2. 全面评估视觉感知能力：Blink 评估了更广泛的视觉感知能力，如多视图推理、深度估计和反射率估计。相比之下，先前的基准测试通常更侧重于基于识别的视觉问答（VQA）。
3. 视觉常识问题：Blink 包含了人类可以在几秒钟内回答的“视觉”常识问题，而以前的一些基准测试（如文献[87]）需要领域知识。

Blink的数据来源非常广泛，它包括了从室内家居场景到室外城市或自然环境的多样化图像。这些图像既有抽象的图表，也有合成图像和真实照片，确保了评估的全面性。

上图展示Blink 基准测试中包含的14个任务的统计数据。Blink基准测试中的14个任务是从经典的计算机视觉问题中提取并重新构想为多项选择题。这些任务覆盖了从像素级别的模式匹配到图像级别的高级视觉理解。例如，视觉对应任务评估模型理解和识别不同视角、光照条件或时间下相同场景点的能力；相对反射率任务则评估模型对材料属性及其与光相互作用的理解。

为了构建Blink，研究者们从多个现有视觉数据集中提取图像，并收集了新的数据。他们精心挑选了图像，确保所有测试样本都具有独特的图像。这些图像和问题来源于不同的数据集，或由人类手动编写，以确保问题的多样性和挑战性。

在数据质量控制方面，研究者们手动检查了所有收集的数据，并筛选出了不明确的数据，以保证Blink数据集的质量。这个过程确保了Blink基准测试能够提供准确和有意义的评估。通过Blink，研究者们可以更深入地了解现有模型的局限性，并探索提高机器视觉感知能力的新途径。

实验中所选用的多模态LLMs是当前技术前沿的代表，它们包括但不限于GPT-4V和Gemini Pro等模型。这些模型的规模不同，从几亿参数到几十亿参数不等，旨在探索模型规模与视觉感知能力之间的关系。评估协议遵循了标准化的流程，确保了实验结果的可比性和公正性。数据集方面，Blink基准测试采用了精心挑选和设计的图像和问题。这些问题被构造为多项选择题，以便模型能够从中选择最合适的答案。图像和问题的设计覆盖了广泛的视觉感知任务，确保了评估的全面性和挑战性。

实验的过程开始于将这些多模态LLMs暴露于Blink基准测试的数据集之中。模型需要处理图像、理解问题，并从给定的选项中选择最合适的答案。这一过程模拟了人类在面对视觉信息时的快速决策和理解能力。在实验中，模型的性能通过准确率来衡量，即模型选择正确答案的频率。为了确保评估的严谨性，实验重复了多次，并采用了不同的图像和问题组合。

实验结果显示，尽管人类在Blink基准测试上的平均准确率高达95.70%，但现有的多模态LLMs在这些任务上的表现却远未达到人类的水平。例如，即使是表现最好的GPT-4V模型，其准确率也仅为51.26%，仅比随机猜测的准确率高出13.17%。这一结果揭示了现有模型在视觉感知方面存在的显著差距。

上图展示了多模态大型语言模型（LLMs）在 Blink 测试集上的准确率。

上图展示了 Blink 基准测试的定性结果。在这个图表中，研究者比较了不同的多模态大型语言模型（LLMs）如 LLaVA v1.6-34B、Qwen-VL-Max、Gemini Pro、GPT-4V 以及人类在各项任务中的表现。图中的红色选择表示正确答案或地面真实情况（ground truth）。为了可视化的目的，标记被特意放大，并且一些图像被嵌入以节省空间。对于智商测试（IQ test），第三张图像是通过叠加第一张和第二张图像来构建的。

实验结果还揭示了不同模型在不同任务上的表现差异。一些模型在特定任务上表现出了相对的优势，如在空间推理或艺术风格识别任务上。然而，在像素级别和图像区域级别的任务上，所有模型都面临了更大的挑战。

上表提供了不同模型在Blink测试集上的性能结果，包括随机选择、人类表现以及不同模型的准确率。

结果表明，尽管这些模型在某些视觉任务上取得了进展，但它们在理解和处理复杂视觉信息方面仍有很大的提升空间。这一发现为未来的研究提供了明确的方向，即需要进一步改进模型的感知能力，以便它们能够更好地模拟人类的快速和准确的视觉处理能力。

Blink基准测试为多模态LLMs提供了一个简单而有效的测试平台，以评估和提升其视觉感知能力。通过这一基准测试，我们期望能够激发社区的进一步研究，帮助多模态LLMs逐步达到人类级的视觉感知水平。

论文链接：https://arxiv.org/abs/2404.12390

项目地址：https://zeyofu.github.io/blink/