五、文档图像大模型的突破

5.1、文档图像专有大模型

        文档图像大模型在近年来取得了显著的进展，其中最引人注目的是一些专有模型，如LayoutLM系列、UDOP和LiLT等。这些模型基于多模态Transformer Encoder进行预训练和下游任务微调，在文档图像处理方面具有显著的性能。

        LayoutLM系列是Microsoft推出的一系列模型，包括LayoutLM、LayoutLMv2、LayoutLMv3和LayoutXLM。这些模型利用多模态Transformer Encoder进行预训练，并通过对下游任务进行微调来提高性能。

        UDOP是Microsoft提出的另一个文档处理大一统模型，它采用统一的Vision-Text-Layout编码器、分离的Text-Layouot和Vision解码器。这个模型旨在将各种文档处理任务统一到一个框架下，提高处理效率和精度。

        LiLT是合合信息与华南理工大学正在研究的一种视觉模型与大语言模型解耦联合建模的多模态信息抽取新框架。该框架通过双向互补注意力模块（BiCAM）融合视觉与语言模型，在多语言小样本/零样本场景下具有优越的性能。有趣的是，LiLT可以灵活地与单语言或多语言的文本预训练模型联合解决下游任务，并且在单语言下游任务上也表现出优越的性能（特别是在训练样本较少的数据集上）。在常用的单语言数据集上，LiLT的表现总体上也优于LayoutXLM。

        最后，Donut是NAVER开发的一种无需OCR的用于文档理解的Transformer模型。这个模型的开发可能会简化文档处理流程，提高处理的准确性和效率。

5.2、多模态大模型

        BLIP2是Salesforce团队于2023年1月发布的一种模型，它采用了轻量级的查询Transformer将预训练的图像编码器和LLM解码器进行连接。在表征学习阶段，该模型通过图文对比学习、图像文本生成和图像文本匹配三个任务来让Q-Former提取文本相关的特征。在生成预训练阶段，视觉编码器和Q-Former被连接到冻结的LLM上，并通过生成式训练将视觉特征与LLM对齐。

        Flamingo是DeepMind于2022年发表的一种模型，它在LLM中增加了Gated Attention层以引入视觉信息。该模型冻结了Vision Encoder和LLM，并在Visual Encoder后加入了Perceiver Resampler模块以加强视觉表征。此外，还在LLM的每层之前加入了Gated xattn-dense模块以加强跨模块信息交互。2023年3月，LAION团队发布了OpenFlamingo，它是DeepMind的Flamingo模型的开源复制品。

        LLaVA是Microsoft于最近发布的一种模型，它将CLIP ViT-L和LLaMA采用全连接层进行连接。该模型使用GPT-4和Self-Instruct生成高质量的158k instruction following数据。

        最后，MiniGPT-4是一种视觉部分采用ViT+Q-Former、语言模型部分采用Vicuna且视觉和语言模块间采用全连接层衔接的模型。

多模态大模型用于OCR领域的局限性

        多模态大模型在处理显著文本时表现出色，但它们在处理细粒度文本时却往往效果不佳。这是由于受到视觉编码器的分辨率和训练数据的限制。尽管现有的模型已经取得了很大进展，但是它们仍然存在一些局限性。

        视觉编码器的分辨率对于多模态大模型的性能有很大的影响。由于视觉信息往往包含大量的细节和复杂性，因此需要高分辨率的编码器来捕捉这些细节。但是，高分辨率编码器的计算成本也相应较高，这会限制模型的训练速度和效率。

        训练数据也是限制多模态大模型性能的一个因素。现有的模型主要依赖于大规模的预训练数据集进行训练，而这些数据集往往只包含一些大规模的图像和文本。因此，这些模型可能无法很好地处理一些细粒度文本，因为它们没有在训练数据集中见过这些类型的文本。

        多模态大模型的处理方式也是影响其性能的因素之一。由于这些模型主要关注图像和文本之间的跨模态对应关系，因此它们可能忽略了文本内部的一些细粒度信息。这使得这些模型在处理一些需要关注细节的细粒度文本时表现不佳。

5.3、Pixel2seq大模型系列

        Google的Pix2Seq方法将目标检测任务转化为一个图像到序列的语言建模任务，通过语言建模的方式，让模型学习到从图像中抽取有用的特征，并进行合理的分类，从而完成目标检测任务。该方法采用了深度学习技术，通过对大量的数据进行训练，使得模型可以快速、准确地识别出图像中的各种目标。

        继Pix2Seq之后，Google又提出了一个更加完善的框架Pix2Seq v2。Pix2Seq v2是一个统一的基于序列预测的视觉任务框架，它可以用于解决各种视觉问题，如目标检测、图像分类、图像分割等。该框架采用了全新的注意力机制，使得模型可以更好地聚焦于输入图像的关键区域，从而更好地完成任务。

        与Google不同，Microsoft提出了一个叫做UniTAB的多模态编码器（图像&文本）+自回归解码器的方法，它可以完成多种Vision-Language (VL) 任务。该方法将图像和文本两种不同的模态进行有机结合，利用自回归解码器进行预测，从而实现了更加高效和准确的目标检测和图像分类任务。

        Meta也提出了一种新的方法NOUGAT。该方法通过采用Swin Transformer和Transformer Decoder实现了从文档图像到文档序列的输出。Swin Transformer是一种全新的局部与全局信息交互的Transformer结构，具有更好的视觉特征表达能力。而Transformer Decoder则可以将上文所提到的各种视觉特征转换成文本形式，使得人们可以更加方便地理解图像内容。