图像描述算法排位赛:SceneXplain与MiniGPT-4谁将夺得桂冠?

news2024/10/6 1:43:14

dba7a4cf61599640599cfded6fdea620.png

如果你对 AI 前沿感兴趣,本场「图像描述算法排位赛」绝对是你不能错过的!在这场较量中,SceneXplain 和 MiniGPT-4 将会比试,谁将摘得这场比赛的桂冠?

📎 直接上手体验:scenex.jina.ai

背景介绍

在 一张图就是一个故事,用 SceneXplain 讲个好故事 中,我们介绍了图像描述(Image Caption),简单来说,你给模型输入一张图像,模型输出是一句能够描述图像场景的文本句子。

模型不仅要理解图片里的内容,还需要使用到自然语言来进行描述。它涉及到 对图像内容的理解自然语言的生成,链接了计算机视觉和自然语言处理两个领域的问题。

近年来,图像描述算法已经不止是生成简单的描述,它已经可以深入到场景分析,能够解释和解释复杂的视觉信息,并提供对图像的全面描述。

好的图像描述能够让开发者有机会完成更多有实际价值的应用,举个例子,在博物馆等领域,视障人士可以获得对艺术作品的准确描述在电商领域,图像描述算法能够自动对数以千万的未标注图像生成描述,高效地实现分类检索

在接下来的“图像描述算法排位赛”里,我们将会对市场上 5 种领先的图像描述算法进行全方位分析和比较。而在这场激烈的竞争中,SceneXplain 和 MiniGPT-4 无疑是最新、最值得关注的两名选手。

我们的评估将重点考察这些算法生成描述的 细节度、话题度、事实准确性以及可读性,同时也会评估它们在复杂场景理解和解释方面的表现。让你更好地了解它们之间的差异,权衡利弊,从而做出正确决策。

参赛选手介绍

本次评估中选取的 5 种图像描述算法:

  • SceneXplain 利用 GPT-4 等大型语言模型的强大功能为复杂的视觉内容生成复杂、详细且上下文丰富的文本描述。通过提供无与伦比的图像理解,树立起图像描述领域新的基准。

  • MiniGPT-4 把 BILP 2 的图像编码器与大型开源语言模型 Vicuna 整合起来,并且冻结了两者的大部分参数,只训练其中很少的一部分。此外,MiniGPT-4 还和 ChatGPT 合作创建了一个数据集,其中包含 3500 个高质量的图像和文本数据集来微调模型,显著提高了模型的生成可靠性和整体可用性。

  • Midjourney:最近发布的 /describe 功能,将图像转换为提示词(Prompt),它能够分析图像的关键内容和图像的类型,如电影风格,油画风格等,用来激发创作者的灵感。

  • BLIP2:从现成的冻结预训练图像编码器和冻结的大型语言模型中引导视觉语言预训练。它是一种通用的预训练框架,也就是说,你可以任意对接自己的模型。

  • CLIP Interrogator 2.1:一款专门设计给 Stable Diffusion 2.0 模型生成提示词的工具。它基于 ViT-H-14 OpenCLIP 模型,展示了图像描述领域的创新潜力。

评估指标

为了让图像描述算法的比较更加公正和全面,我们选择了一组评估指标,这些指标都非常注重生成描述的质量。我们的评估指标 不仅侧重于描述的细节度、话题度和事实性,还注重描述的易读性,这样才能真正帮助我们了解每种算法的优缺点。

1. 细节度

细节度(Details)指标关注算法是否能够准确地 捕捉描述 图像中的每一处细节,并评估算法对视觉信息的理解和描述能力。通过评估生成的图像描述的颗粒度级别,确定算法理解和传达复杂视觉信息的能力。

1496f44e31efbf4c2a58297c5f6bb75b.png

由 SceneXplain/Comet 给出(得分为 5)

在这个奇妙的场景中,一群人和动物聚集在一张桌子旁,参加一场愉快的茶话会。一个小女孩坐在她古怪的伙伴中间,其中包括一个穿着帽子和领结的时髦男子、一个带着好奇表情的猫和一个戴着 蓝色领结 的可爱兔子。桌子上摆满了 茶杯和茶壶,增添了迷人的氛围。这幅迷人的插画将观众带入一个想象丰富的世界,在这里人类和拟人化的动物们聚在一起,品着热气腾腾的茶水,享受彼此的陪伴。

由 BLIP2 提供(得分为 1)

爱丽丝和兔子在茶会上的插图

2. 话题度

话题度(Topicality) 衡量算法在生成描述中 识别整合 与当代事件、流行文化、知名人物或作品相关的内容的能力,这样的描述才能够与目标观众产生共鸣,具有吸引力。

1881652c897e1d03f86045d77f112675.png

由 SceneXplain/Bolt 给出(得分为 5)

在这个极富吸引力的画面中,小丑和蝙蝠侠 正展开一场惊心动魄的对决,引起了人们的注意。小丑带着他标志性的笑容,手里拿着卡牌,和一个穿着蝙蝠侠服装的女人对時,他们之问的紧张气氛显而易见,但随着 蝙蝠俠和猫女 一起打牌,气氛出现了意想不到的转折。蝙蝠标志装饰在蝙蝠俠的头上,象征着他对正义的坚定。在这个耐人寻味的场景中,来自 DC 漫画的许多其他角色也出现在画面里,为它注入了一种兴奋和阴谋的感觉,让观众们坐立不安。

由 CLIP Interrogator 2.1 提供(得分为 1 )

一组并排站立的漫画人物,灵感来自 Jim Lee,系列艺术,猫玩扑克,凯莉詹纳扮演猫女,头,尼尔亚当斯 | 居中

3. 事实性

事实性(Factuality)是图像描述领域中非常重要的一个指标,因为它涉及到生成描述的准确性和可信度。在生成图像描述时,算法需要考虑到图像中的各种元素,如物体、场景、颜色等,然后将这些元素转化为自然语言。

如果算法生成的描述与图像不符,或包含 AI 幻觉(Hallucinations),那么这个模型的事实性分数就会降低。

50a60165fafedd8cd9ce43dc13b783ee.png

由 SceneXplain/Dune 给出(得分为 5)

这张令人心碎的图像捕捉到了巴哈马卡特里娜飓风的毁灭性后果。曾经繁荣的城市景观现在是一片毁灭的景象,许多建筑物变成了废墟。鸟瞰图显示了一座受损的桥梁和 一条被强大风暴破坏的道路。在废墟中,房屋变成了废墟,它们曾经坚固的结构现在只是 飓风肆虐 前的回忆。在这片荒凉中,大自然侵蚀了文明的残余,树木和树叶 取代了一座孤零零地矗立在曾经繁华社区中的房子。这一场景尖锐地提醒人们,此类自然灾害的巨大威力和持久影响。

由 MiniGPT-4 给出(得分为 1)

这张图片显示了一个沿海小镇的景色,岸边有房屋和建筑物。镇四面环水,水中有舟。这些房子是用木头建造的,有茅草屋顶。小镇四周绿树成荫,看不到人影。天空晴朗,没有云彩。该图像是从高空拍摄的,显示了整个城镇。

5. 困惑度

困惑度(Perplexity)是衡量生成文本易读性的一种指标,它与可读性密切相关,分数越低说明文本越好理解,也能说明算法提供的整体用户体验。

需要注意的是,我们没有把速度作为评估指标,因为它可能会受到 GPU 和基础设施等因素的影响,这些因素不在我们的比较范围内。我们着重关注于图像描述的质量,和对复杂场景的理解和解释的能力。

14812418fb32d9463799d290c6fe96ee.gif

我们使用 GPT-2 语言模型,并采用滑动窗口策略来评估一句话的困惑度。这意味着我们会反复滑动上下文窗口,以便模型在进行每个预测时具有更多的上下文信息。

为了确保公正地比较每个图像描述算法的表现,我们采用了一个标准化的评分系统,邀请了精通图像描述和场景理解领域的外部人工标注员,来独立评估算法的表现。对于这 4 个指标:细节度、话题度、事实性和困惑性,每个标注者都会给出一个 1 到 5 的评分,其中 1 分最低,5 分最高。

这种方法保证了分数不仅在各种指标之间保持一致,而且没有任何潜在的偏见,从而确保了对竞争算法进行公平可靠的评估。

深入分析实验结果

为了对图像描述算法进行全面并深入地评估,我们精心挑选了一组 33 张非常复杂的图像,这些图像涵盖了多种风格,包括真实场景、人工创作、油画、照片和漫画等。

5248213d9cb2eb07a81d27c71ea0c964.png 评估使用的图像版权属于它们各自的原作者

我们已将评估的全部结果,包括每种算法生成的描述文本汇总在飞书表格里。感兴趣的小伙伴可以复制链接,深入地了解每个算法的表现,得出自己的结论。

表格:https://u84gxokzmi.feishu.cn/file/OLfObDxbuoYwvlxAZZvc19d7nJf

bb996250ceb03f664c7aef2ab8f818d7.png

除困惑度外,其他指标都是越大越好

为了提供更直观的可视化,我们还创建了一个雷达图,显示每个算法在各种指标上的性能。这种图形表示可以清楚地比较它们的优缺点,使读者更容易理解性能差异。为了图表看起来更清晰,雷达图没有包含(越小越好的)困惑度指标。现在,你可以根据每个算法在雷达图上的区域大小,来高效地判断出它们在细节度、话题度和事实性方面的整体表现。

dbef8400287f98098dfbc1bc639a00bd.png

为了对上述实验结果展开洞察,理解影响算法表现的潜在因素,我们深入研究了图像描述和场景理解的挑战,以及不同算法性能差异背后的可能原因。

1. 复杂的视觉信息处理

在“细节度”指标中,SceneXplain 算法家族(Aqua、Bolt、Comet 和 Dune)表现始终优于其他算法,说明它在 捕捉描述 图像中复杂细节的卓越能力。这表明,SceneXplain 很适合处理复杂的场景理解和说明。

准确地捕捉图像中复杂细节 是非常具有挑战性的。这要求模型必须具备深入的视觉理解,和生成连贯且符合上下文的文本描述的能力。

之所以能够在“细节”指标上表现出色,主要归功于 SceneXplain 的先进架构。利用大型语言模型的能力,它能够准确地捕捉图像中复杂的细节信息,并且更有效地处理复杂的场景理解和描述。

2. 话题度和吸引力

除了准确地捕捉图像中的细节之外,生成与当代事件、流行文化以及知名人物或作品相关的描述也是图像描述的另一个难点。这要求模型必须具备广泛的知识库,和将这些信息融入描述的能力。

在这方面,SceneXplain 中的 Bolt 和 Aqua 表现出色,在所有算法中展示出最高的话题度得分,展现了它们生成相关且吸引人的描述的能力。

SceneXplain 在话题性方面的卓越表现归功于其先进的训练过程,通过让模型接触到各种各样的话题,并使其能够生成更具吸引力的图像描述。

总体而言,通过使用 SceneXplain,我们可以更好地处理图像描述生成的复杂任务,同时生成更具吸引力和话题度的图像描述。

3. 事实性与幻觉

确保生成的字幕的真实性至关重要,因为它有助于避免生成虚假信息或幻觉。BLIP2 的真实性得分最好,但其他指标尤其是细节度和话题度上表现较差,因为 BILP2 生成的几乎都是非常简洁的句子。

另一方面,SceneXplain 在真实性和其他指标之间取得了平衡,说明它的总体表现更为稳定和强劲。

4. 可读性和困惑度

保持描述文本的流畅易读也是一项不小的挑战,需要模型生成既符合上下文又易于理解的描述。SceneXplain 在这项指标上的成功可以归功于它用到了大型语言模型,这些模型以模仿人类说人话而闻名四方。

SceneXplain 中的 Dune 和 Aqua 表现出了最低(也就是最好)的困惑度分数,表明它们生成的描述比其他算法的描述更加易懂、且连贯。

5. SceneXplain 与 MiniGPT-4

相较于 SceneXplain,MiniGPT-4 在细节度和事实性方面表现相对较好,但在话题度和可读性方面则略逊一筹。也就是说,虽然 MiniGPT-4 是一个强有力的竞争对手,但在复杂场景的理解和生成有吸引力的图像描述文本方面,它就没有 SceneXplain 算法那么强大了。

虽然结果已经展示了 SceneX 图像描述算法的整体实力,但在我们的分析中始终保持客观的视角非常重要。我们需要深入挖掘每个算法在各个指标上的表现,并从多个角度来评估它们的综合表现。这样可以提供一个更加完整的评估,让你能够根据自己的具体需求做出明智的决策。

结论

以上就是对各种图像描述算法的全面评估,结果表明,SceneXplain 在细节、话题性、真实性和可读性方面始终表现出色。它利用了 GPT-4 等大型语言模型,SceneXplain 能够为复杂的图像生成 深入细节上下文丰富 的文本描述,从而在市场里脱颖而出。

此外 SceneXplain 提供了易于集成和使用的 API,能够快速提高你的生产效率。

e1c7f45ee24ac536dd83fb5d1a9a1cd2.gif

SceneXplain 在多个领域产生积极影响:

  • 增强可访问性:SceneXplain 能够帮助公共组织转换多媒体内容,生成的全面图像描述可以显著改善视障用户的在线体验。

  • 提升 SEO:有了 SceneXplain 提供的详细准确的图像描述,搜索引擎能更好地理解你的视觉内容,这有望提高你网站的排名,并带来有机流量。

  • 提升视觉叙事能力:SceneXplain 能让你的图片说出更多故事来,所生成的生动描述能够为图像增添深度和丰富性,将普通的图像转变为沉浸式的叙事体验。

想在这个快速变化的互联网时代站稳脚跟,就必须得采用前沿技术了!本次评估显示 SceneXplain 的表现非常出色,不过我们还是建议大家自己去探索它的能力和潜力,才能真正领略它的价值。

📎 产品链接:scenex.jina.ai

5bfc8b0cb65f5c0959e3a9f2a540d04b.png

点击“阅读原文”,即刻体验 Scenex.jina.ai

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/446820.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

手机存储数据恢复软件哪个好用?试了10款,我只认准这一款!

案例:手机存储数据恢复软件哪个好用? 【有没有好介绍的苹果数据恢复软件?可以恢复好几年数据的那种软件?求推荐!】 手机中的数据是用户平时使用手机时不可避免的内容,这些数据包括照片、视频、音乐、文件等…

Baumer工业相机堡盟工业相机如何通过BGAPISDK的软触发实现两相机同步采集(C++)

Baumer工业相机堡盟工业相机如何通过BGAPISDK的软触发实现两相机的同步采集(C) Baumer工业相机Baumer工业相机的高速同步采集的技术背景Baumer工业相机通过BGAPI SDK在回调函数里同步保存图像工业相机在回调函数BufferEvent保存工业相机使用软触发进行同…

【观察】华为:新一代楼宇网络,使能绿建智慧化

“碳达峰”、“碳中和”目标是我国生态文明建设和高质量可持续发展的重要战略安排,将推动全社会加速向绿色低碳转型。作为全球既有建筑和每年新建建筑量最大的国家,大力发展绿色建筑对中国全方位迈向低碳社会、实现高质量发展具有重要意义。 《“十四五”…

使用FirmAE 对zyxel路由器固件仿真实践 | 信息安全

一、FirmAE简介 FirmAE 是一个执行仿真和漏洞分析的全自动框架。FirmAE 使用五种仲裁技术显著提高仿真成功率(从Firmadyne的 16.28% 提高到 79.36%)。 FirmAE的整体架构为如上图所示。与Firmadyne类似,FirmAE在预先构建的自定义Linux内核和库…

Codeforces Round 816 (Div. 2)(C. Monoblock)

传送门 题意: 定义一个数组,定义它 相等连续段的个数 如1,2,2,1,相等连续段有[1],[2,2],[1],共3个 如2,2,2,1,相等连续段有[2,2,2],[1],共2个 给定一个数组a,定义g(l,r)为,子数组中…

fisco bcos 2.0+ 版本浏览器搭建

Fisco Bcos当前已经发布了3版本,在3版本中,Fisco摒弃了原有的区块链浏览器,而是提供了具有更为丰富功能的图形化区块链管理工具WeBase,后续也会提供对于WeBase的搭建部署教程。 文章目录 一、准备条件二、下载浏览器安装脚本1. 下…

ChatGPT4 的体验 一站式 AI工具箱 -—Poe(使用教程)

最近由于人工智能聊天机器人的爆火(ChatGPT),因此各种各样的AI助手流行与网络,各种各样的都有,不论是什么样的其实都是为了我们更方便的解决问题,今天介绍一款AI工具箱——Poe将多种AI集成与一个界面,大家可以一次感受…

Mac系统brew报错“The GitHub credentials in the macOS keychain may be invalid”解决

报错信息如下: $ brew search nginx Warning: Error searching on GitHub: GitHub API Error: Requires authentication The GitHub credentials in the macOS keychain may be invalid. Clear them with: printf "protocolhttps\nhostgithub.com\n" | …

Python双向链表的操作

目录 一、双向链表 双向链表示例图 二、双向链表的操作 1、判断链表是否为空 2,链表长度 3,遍历整个链表 4,在链表头部添加元素 5、链表尾部添加元素 6,在指定位置插入元素 7,修改指定位置的元素 8&#xff0…

百度ai智能写作工具-百度ai自动写文章

百度AI智能写作工具:让创作更快捷、高效! 在当今竞争激烈的文化创意市场中,创作一篇高质量的文章需要投入大量时间和精力。然而,有了百度AI智能写作工具,创作变得更快捷、高效了。 百度AI智能写作工具采用最先进的人…

JVM之垃圾回收器概述

目录 垃圾收集器分类 按线程数分 按照工作模式分 ​编辑 按碎片处理方式分 按工作的内存区间分 评估GC的性能指标 吞吐量 暂停时间 吞吐量 vs 暂停时间 垃圾回收器概述 垃圾收集器没有在规范中进行过多的规定,可以由不同的厂商、不同版本的JVM来实现。 由…

一起学 WebGL:感受三维世界之视图矩阵

大家好,我是前端西瓜哥。之前绘制的图形都是在 XY 轴所在的平面上,这次我们来加入一点深度信息 z,带你走入三维的世界。 视图矩阵 对于一个立方体来说,我们从它的正前方看,不管距离它多远,也只能看到一个…

微服务下网关聚合Swagger文档、starter统一配置Swagger

一、starter实现统一配置微服务文档 把Swagger配置中的公共部分抽取出来Swagger与SpringBoot整合中,可能会由于版本问题出现各种问题 1、制作starter 参考: 【SpringBoot】自定义启动器 Starter【保姆级教程】用starter实现Oauth2中资源服务的统一配置用…

中级软件设计师备考---数据库系统1

目录 数据库模式数据库的设计过程E-R模型关系代数与元组演算 数据库模式 三级模式、两级映射 定义: 三级模式:外模式、概念模式和内模式;两级映射:外模式-概念模式映射、概念模式-内模式映射 外模式是用户看到的数据库的部分 概…

Linux的常见指令 -掌握

前言 为什么要学命令行? windows/苹果图形界面,是商业化的产物,也就是使用必须简单小白,才能有人用,so what?严格意义上讲,我们必须要学一下Linux命令行。因为企业后端有大量的服务器&#xff…

Web3.0:重新定义互联网的未来

💗wei_shuo的个人主页 💫wei_shuo的学习社区 🌐Hello World ! Web3.0:重新定义互联网的未来 Web3.0是指下一代互联网,也称为“分布式互联网”。相比于Web1.0和Web2.0,Web3.0具有更强的去中心化、…

如何快速查找下载外文文献,哪个文献下载网站好用

​​如何高效获取到自己需要的外文文献,最好的办法就是去文献来源数据库中查找,你需要的文献来源数据库有可能是Elsevier(sciencedirect)、也可能是Wiley Online Library、也有可能是IEEE等等,外文数据库机构太多了。这…

微信跨平台方案Donut快速上手

一、Donut简介 Donut 是微信开发出的多端框架,用于支持使用小程序原生语法开发移动应用的框架,开发者可以一次编码,就可以编译出小程序和 Android 以及 iOS 应用,实现多端开发。能够帮助企业有效降低多端应用开发的技术门槛和研发…

html画布绘制图形

一.题目要求 使用canvas标签完成直角三角形、矩形及圆形的绘制. 二.相关知识点 1.认识<canvas> 标签翻译&#xff1a;画布。 <canvas> 标签定义图形&#xff0c;比如图表和其他图像&#xff0c;您必须使用脚本来绘制图形。 <canvas> 标签只是图形容器&am…

[学习笔记] [机器学习] 2. Seaborn及练习案例

视频链接 数据集下载地址&#xff1a;https://download.csdn.net/download/weixin_44878336/87711308 目录 1. 绘制统计图形1.1 可视化数据的分布1.2 绘制单变量分布1.3 绘制双变量分布1.4 绘制成对的双变量分布 2. 用分类数据绘图2.1 类别散点图2.1.1 sns.stripplot()2.1.2 sn…