2024-06-12 ，由上海人工智能实验室、哈尔滨工业大学、南京大学、复旦大学等联合创建OmniCorpus，一个达到百亿级别的图文交错数据集。它不仅规模空前，更以其多元化的数据来源和高质量的数据内容，为多模态大语言模型的研究提供了坚实的数据基础。

一、研究背景：

随着互联网数据的爆炸性增长，如何有效利用海量的图像和文本信息，成为人工智能领域的一个重要课题。多模态大语言模型（MLLMs）通过结合视觉和语言信息，展现出了理解复杂数据和执行多样化任务的巨大潜力。

目前遇到困难和挑战：

1、数据规模和多样性的限制：现有的图像-文本数据集规模有限，且数据来源单一，难以满足多模态大模型的需求。

2、数据质量和结构的挑战：需要一种更自然、更灵活的数据结构，以更好地模拟人类的阅读习惯和数据呈现方式。

3、多模态数据的融合与处理：如何有效地整合图像和文本数据，提高模型的训练效率和泛化能力。

数据集地址：OmniCorpus - 最大开源图文交错数据集|多模态数据集数据集

二、让我们一起来看OmniCorpus数据集

OmniCorpus是一个达到百亿级别的图文交错数据集。这个数据集包含了86亿张图片、1696亿个文本标记以及22亿份文档！，它覆盖了从简单到复杂的多种语言和场景。通过高效的数据引擎，从互联网上采集和提取了大量高质量的文档。涵盖了来自Common Crawl、中文网站和视频平台的多样化数据。

数据集特点：

规模巨大：包含86亿图像和1696亿文本标记，是迄今为止最大的多模态数据集。

来源多样：数据来自多种语言和不同类型的网站，具有很高的数据多样性。

格式灵活：支持从图像-文本交织格式到纯文本语料库和图像-文本对的多种数据结构。

基准测试：

模型评估：通过在多个多模态任务上的测试，评估了数据集对模型性能的提升效果。

性能比较：与现有的数据集和模型进行比较，展示了OmniCorpus数据集的优势。

三、让我们一起展望OmniCorpus数据集的应用

比如，我是一名新闻编辑。

我的工作流程大概是这样的：每天，记者们会从现场发回一些报道和图片。我得一张张看这些图片，结合记者的描述，然后一个字一个字地敲出新闻稿。如果记者没能及时发回文字，或者描述得太简略，我还得自己上网搜索，找信息，填补细节。这不仅耗时耗力，而且有时候，新闻的热度稍纵即逝，这么一折腾，新闻就凉了。

现在有了OmniCorpus数据集训练的系统，完全就不一样了：

1. 快速生成新闻稿： 假设发生了一个突发事件，比如某个地方发生了一场小型火灾。记者赶到现场，拍了一些照片，然后发回一张图片和一些简单的描述，比如“2024年9月30日，市中心老街区发生火灾”。有了OmniCorpus，我们的AI系统就能根据这张图片和简短的文字，快速生成一篇详细的新闻报道。

2. 理解图片内容： AI系统能够理解图片中的内容，比如火势的大小，人群的疏散情况，消防车的数量等等。这些信息都不用等记者描述，AI自己就能从图片里“读”出来。

3. 结合上下文： 更厉害的是，AI还能结合上下文信息，比如这个老街区的历史，以往的火灾事故，甚至火灾预防措施，自动丰富新闻内容。

4. 自动补全细节： 如果记者没能提供完整的信息，AI系统还能自动从以前的报道和网络上的数据中寻找相关信息，补全新闻的细节。

5. 多语言生成： 如果需要发布多语言版本的新闻，OmniCorpus数据集也包含了多种语言的信息，AI可以轻松地生成不同语言的新闻稿。

还有, 还有一次，一个国际马拉松比赛在我市举行。我们的记者在现场拍了一些照片，但是只来得及发回了一句“选手们在雨中奋力奔跑”。然后，网络就断了，记者没法传回更多的信息。

这时候，我们的AI系统就上场了。它首先分析了记者发回的图片，识别出了一些关键信息，比如选手的表情、动作，还有观众的反应。然后，它又从我们的历史资料中找到了以前马拉松比赛的报道，了解了比赛的一般流程和可能的新闻点。最后，它还从网上抓取了一些观众在社交媒体上的实时评论和图片，补充了现场的氛围描述。

就这样，一篇完整的新闻报道就自动生成了，从选手的表现，到观众的反应，再到现场的氛围，应有尽有。而且，这篇报道几乎是在记者发回图片的同时就完成了，新闻的时效性完全得到了保证。

有了这个系统，让我们的新闻制作流程变得更快、更智能。我们可以用更少的人力，制作更多的新闻内容，而且还能确保新闻的质量和时效性。可以让观众有更好的阅读体验。

来吧，让我一起走进数据集：OmniCorpus - 最大开源图文交错|多模态数据