人工智能开启甲骨文整理研究新范式

news2024/11/26 8:28:26

编者按:在甲骨学研究中,甲骨“校重”整理是一项费事费力但又极其重要的基础性研究工作。微软亚洲研究院与首都师范大学甲骨文研究中心莫伯峰教授团队合作开发的甲骨文校重助手Diviner,第一次将自监督AI模型引入到甲骨文“校重”工作中,并取得数百项新成果,为甲骨文整理领域开创了人工智能与人类专家协作(AI+HI)的全新研究范式。入选《世界记忆名录》的甲骨文,是迄今为止中国发现的年代最早的成熟文字系统,对中国历史乃至世界文化的发展研究具有非凡意义。有人曾说“东周之前无信史”,因为《春秋》一书记录了2000多年前的东周历史,而之前的商文明曾被认为是传说,直至甲骨文被发现,才有力地证明了殷商王朝的存在,把中国信史向上推进了约1000年。


入选《世界记忆名录》的甲骨文,是迄今为止中国发现的年代最早的成熟文字系统,对中国历史乃至世界文化的发展研究具有非凡意义。有人曾说“东周之前无信史”,因为《春秋》一书记录了2000多年前的东周历史,而之前的商文明曾被认为是传说,直至甲骨文被发现,才有力地证明了殷商王朝的存在,把中国信史向上推进了约1000年。

从甲骨文首次被发现至今,出土的甲骨实物约有十五万片。因为收藏、流转的缘故,大部分的甲骨都留下了多张拓本图像,被称为“重片”。甲骨重片数量繁多,效果互有参差,对其整理成为了一项重要的基础性研究工作,称作“校重”。然而,人工校重只能一一对照,费时费力,是甲骨文研究的一大痛点。正如《甲骨文合集补编》“前言”中所述:“这种对重、选片的工作,其烦琐、费工是局外人难以想象的。 ”

近期,微软亚洲研究院主管研究员武智融与首都师范大学甲骨文研究中心莫伯峰教授团队合作,提出了基于自监督学习的甲骨文校重助手Diviner,大幅提升了甲骨文校重工作的效率。系统穷尽比对了18万幅拓本,辅助甲骨学家在上百个甲骨文数据库中发现了大量甲骨重片,不仅复现了专家过去所发现的数万组重片,而且经过初步整理,已发现了三百多组未被前人发现的校重新成果。这项研究为甲骨文整理领域开创了人工智能与人类专家协作(AI+HI)的全新研究范式。本项目全面成果的甲骨学解读稍后将发布于中国社科院先秦史研究室网站 www.xianqin.org。

小知识:为什么同一片甲骨的不同拓本有时会差异巨大?
两个原因导致。一是早期制作拓本时,只拓下了有字的部分,而后来制作拓本,则将所有部分全部拓下,这就会导致早期拓本显得更小。二是早期甲骨比较完整,但随着时间推移甲骨出现了破损,后来所做的拓本就不再完整。也正是因为这些原因,使得甲骨校重工作变得愈发困难。

小知识:只有不同时期的拓本间会出现重片现象吗?
并非如此。在早期的甲骨著录书中就已经出现,同一片甲骨的拓本被同一本书反复收录的情况。所以校重工作并不都是在不同著录书之间进行,在同一本书内部也是需要的。

AI在甲骨文“校重”中令人惊喜的新发现

“校重”是甲骨学领域的一个老题目,此前已经有很多甲骨学家为这项工作倾注了大量心血。比如甲骨文领域最重要的两部著录书《合集》《合补》,在编著过程中花费大量功夫做的工作就是校重。理论上来说,完成一张甲骨拓本的校重工作,应该将它与其余的所有甲骨拓本逐一比照,才能确保没有遗漏。尽管可以利用文字信息和分类方法缩小对比范围,但对于甲骨学家而言,这仍然是一项十分艰巨的工作,且难以保证全面性和准确性。

对比和处理海量数据,并从中挖掘有用信息正是AI的专长。大规模的校重,穷尽性的比对,都难不倒校重助手Diviner。接下来就让我们一起看看Diviner的效果。你也可以测试一下自己能否发现其中的异同?

这些校重结果对甲骨文研究有什么作用?

作为三千年前古人留下的一份礼物,每一片甲骨都弥足珍贵。但目前甲骨的研究主要依靠拓本图像,而非甲骨实物,所以拓本就是甲骨研究的根本出发点。很多时候一个字形、一条卜辞的清楚认知,就来自更全、更清的拓本材料。所以甲骨学家从不放过哪怕只有一个字的拓本。

本次校重助手Diviner就提供了一批更全、更清晰的甲骨图像,更有不少堪称惊喜的新发现:

  • “重而不同“的新图像。左侧是时间较早,没有拓全的甲骨拓本。右侧是时间较晚的拓本,甲骨残破只余下一部分,尽管拓全了但很不完整。通过将两个拓本重叠,获得了一张最完整的甲骨图像,特别是右上部分的一段甲骨文字的完整展现,为甲骨文研究直接提供了一条新材料。

  • “有里有面”的新图像。有些甲骨正反两面皆有文字,但有时只有一面留下了拓本。比如马保春先生曾发现这两版反面拓本可以缀合在一起。但其中一片的正面图像一直没有找到。Diviner校重发现了下面一片甲骨的正反完整拓本,正面缀合复原的图像也终于得以呈现。

  • 从“重片”到“缀合”。左侧图像是过去由张宇卫先生缀合在一起的两片甲骨。通过 Diviner 的校重发现,下部拓本原来还有一片更完整的重片。如此,两片甲骨的缀合就扩展成了三片甲骨的缀合。

  • 从模糊到清晰。由于有些甲骨拓本质量不高,上面文字难以辨认,给甲骨学家带来很多困扰。比如这几组重片,模糊拓本上的文字让人难以辨认,直到这次发现了清晰的重片,才把过去的很多疑惑解决了。

小知识:什么是甲骨缀合?
甲骨缀合是甲骨文研究中另一项重要的整理研究工作。由于材质坚硬容易破碎,原本完整的甲骨很多都碎裂为多个碎片,只有将它们恢复原样才具有更大的研究价值,这种复原工作就是甲骨缀合。

小知识:甲骨文考释有多难?
甲骨文中已知不重复的单字数量约为四千五百个,在过去的120多年中,甲骨学家前赴后继也只破译了一千个左右,大部分甲骨文字仍待破译。中国文字博物馆曾在2017年推出了一项甲骨文考释竞赛,单字破解悬赏10万元。竞赛推出以来,只有来自复旦大学出土文献与古文字研究中心研究员蒋玉斌和清华大学出土文献研究与保护中心教授王子杨成功拿到过这笔奖金。与西方表音体系的古文字相比,甲骨文字的破解难度无疑要大得多。

Diviner在甲骨校重工作中的出色表现和展现出的巨大潜力得到了很多甲骨学家的认可。复旦大学出土文献与古文字研究中心研究员蒋玉斌认为:“甲骨校重与指出互见,是甲骨学重要的基础性工作。同一甲骨片,可能经过多次著录,各版本有早有晚,清晰度、完整度存在差别,需要加以关联、比对、研判。过去,这种工作完全靠学者凭经验、记忆零星举列,虽颇有得,但总体上耗时费力,也仍有大量未能指出的重出、互见现象。莫伯峰教授团队与微软亚洲研究院合作开发的人工智能甲骨文校重助手Diviner,实现了大范围的校重,效率高,成果多,令人振奋。我坚信,在甲骨校重与指出互见方面,校重助手Diviner已经远胜人力,今后此项工作的大规模开展,或将完全由校重助手Diviner这样的工具取代。近年,有多支学术团队致力于甲骨文等古文字研究与人工智能的融合创新,先进的技术手段将为古老文字的研究插上腾飞的翅膀。但人工智能助力古文字研究的着力点在哪里,是首先要解决的问题。校重助手Diviner很好地契合了甲骨文研究的需要与人工智能的专长,功效显著,成果突出,我认为是人工智能辅助甲骨文研究的成功典范。”

自监督学习首次在甲骨文中应用,AI模型泛化性显著

校重助手Diviner能有如此出众的效果,技术上是如何实现的?有哪些创新之处?

近两年,不依赖人工标注数据的自监督学习是AI研究的热门方向,但很多前沿技术仍停留在研究阶段。Diviner不仅第一次将自监督AI模型引入到甲骨文“校重”工作,也是自监督AI模型在真实场景中的一次成功应用。

“尽管自监督研究热度很高,但是很多问题最终还是要通过人工数据标注来解决。我们一直希望使用完全无标注的数据进行自监督学习,甚至是人工根本上无法标注的数据。”微软亚洲研究院主管研究员武智融说,“甲骨校重需要两两比对十八万张数据库中的所有拓片,这为基于完全无标注数据的自监督学习模型应用提供了一个绝佳的落地场景。”

计算两张拓片的视觉相似度,通常的方法会从全局特征出发。然而,在甲骨文的研究中,即使是重片,外观上也可能有很大差异,这是由于拓印范围、拓印方式、磨损等多方面原因造成的。考虑到一块完整的甲骨可能会碎裂成多片,校重时经常需要从大骨片中找出小骨片。因此,基于全局外观表示的传统方法并不能很好地发挥作用。面对这一挑战,研究员想到了甲骨拓片的特性,因其是从同一块甲骨而来,重片之间存在着精确的点与点的对应关系。基于这一特性,校重助手Diviner从局部寻找匹配关系,再拓展到全局。

  • 局部匹配。Diviner使用的局部描述符(local descriptor)是经过自监督训练的深度神经网络。模型应用了对比学习的自监督技术,使用图像增强,让特征在训练时不受甲骨拓片上清晰度、对比度、噪音、旋转等因素的影响。在甲骨图像上训练的局部描述符能够检测和匹配局部块之间的关键点,并进行点对点匹配。
  • 全局优化。基于密集的点与点的匹配结果,通过使用鲁棒的优化算法RANSAC估计全局的几何仿射变换。仿射变换允许模型在内容重复的情况下拼合或拼接已有图像。这种局部到全局的方法对检测大量的甲骨碎片至关重要。

Diviner模型一个特点是具有强大的泛化能力,这归功于其自监督学习的匹配算法。模型通过图像增强技术模拟同一块甲骨在不同时期制作成拓片或者因年深日久造成的图像变化,例如磨损、模糊等。在大规模无标注数据上获取的密集的自我监督,远远比稀疏的基于整体的人工监督更有效。

Diviner模型另一个特点在于能够精确的预测出重片之间点对点的对应关系,并将重片拼合或拼接在一起。这种可以被专家快速解读的结果大大方便了人类与人工智能的协同合作。对于甲骨文这样的冷门绝学,人机合作尤为重要。在校重结果中,专家可以看到局部匹配细节和重叠图,极大地帮助并加速了他们验证的过程。

“过去的甲骨校重工作中,对拓面差异较大的不同拓本之间的认同存在现实困难。甲骨文校重助手Diviner,既不受文字信息的限制,也不受图像数量的限制,直接运用图像比对就可以完成精准的图像校重,并取得了显著的成果。可以预期,随着Diviner模型功能的不断完善,甲骨学界一定会取得更大、更多的科研成果。”清华大学出土文献研究与保护中心教授王子杨如此评价校重助手Diviner。

小知识:甲骨文图像的著录方式有哪些?
甲骨文有三种主要的著录方式。一是拓本,这是甲骨最主要的著录方式,应用了中国传统的墨拓技术;二是照片,早期利用照片进行甲骨著录的情况较少,近年来已经成为甲骨著录的主要方式;三是摹本,采用目视手绘的方式临摹甲骨文字,主要是著录那些没有条件做拓本,也没有条件拍照的甲骨。此外,甲骨3D成像技术近年来也开始进行实验。Diviner模型现在主要针对拓本进行校重,今后将尝试扩展到更广阔的范围。

“AI+HI”为古文化研究打开新大门

“甲骨学是一个系统性的科学,一方面它是一种语言文字研究资料,另一方面它是一种历史研究资料,其研究涉及方方面面,研究者需要了解文字在古代的形、音、义等等,因此我们解决一个问题也要从不同维度探讨。此次与微软亚洲研究院的合作只是甲骨文和人工智能交叉研究的一个小序幕,推开了甲骨学研究的一扇新大门,为后续的研究起到了示范作用。未来,人工智能与古文字研究的结合将具有更广阔的前景。”莫伯峰教授表示。

首都师范大学甲骨文研究中心莫伯峰教授(左)与微软亚洲研究院主管研究员武智融(右)

"我们很高兴看到人工智能模型Diviner能够为甲骨学专家节省用于甲骨文数据整理的时间,让他们更专注于其他方面的研究。甲骨文是兼具象形图像属性和文字属性的神秘语言,多模态的人工智能在甲骨文研究上有着广阔天地。未来,我们希望能够与甲骨文专家一起探索更多有趣的课题。”武智融表示。

计算机图形图像领域知名学者、微软亚洲研究院常务副院长郭百宁表示,“甲骨文作为世界文化的瑰宝,其研究已经发展成为国际性的学术课题。多年来,微软亚洲研究院一直致力于将最前沿的计算机技术应用于文化遗产保护与传承等具有社会意义的研究中,并取得了诸多成果。我们希望可以与更多研究机构、研究学者共同合作,为推进世界文化、历史的保护和传承贡献一份力量。”

*文章中用到的拓本来自四本甲骨著录书:①《甲骨文合集》②《甲骨文合集补编》③《上海博物馆所藏甲骨文字》④《殷虚书契续编》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/42677.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Mysql】数据库的基本操作和表的基本操作

本章内容是,用sql语言实现对数据库的基本操作和表的基本操作 文章目录前言1. 数据库的基本操作1.1 创建数据库1.2 查看数据库1.3 选中数据库1.4 删除数据库2. 数据库基本数据类型3. 表的基本操作3.1 创建表3.2 显示数据库中的表3.3 查看表的构造3.4 删表4. 表的增删改查4.1 增加…

使用synchronized 加锁你加对了么?

本文讲解使用synchronized只是对synchronized的使用,底层原理将在后续文章 目录 从实际中理解共享带来的问题 Java代码实现共享带来的问题进行分析 临界区(Critical Section) 与 竞态条件(Race Condition) 临界区 竞态条件 synchronized解决方案 怎么理解synchronized中…

【web前端期末大作业】基于HTML+CSS+JavaScript实现代理商销售管理系统后台(8页)

🎉精彩专栏推荐 💭文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 💂 作者主页: 【主页——🚀获取更多优质源码】 🎓 web前端期末大作业: 【📚毕设项目精品实战案例 (10…

mathtype在word内的简单使用

一、简单使用 1、快捷键 快捷键说明ctrlaltQ行内公式altshiftQ右编号(行间公式)\ ;{空格、大括号都需要转义ALTF4关闭mathtype窗口 2、小技巧 \left与\right 一定要配对使用,且对于对称的符号(如(), {}等)来说&…

【Linux】---进程控制(创建、终止、等待、替换)

文章目录进程创建fork()进程退出进程退出场景进程退出方法退出码exit、_exit进程等待进程等待的方法waitwaitpid阻塞和非阻塞进程替换替换的原理替换所用到的函数execlexeclpexecle简易的shell进程创建 fork() fork函数在之前的文章中也已经提到过了。其主要作用是从已存在的…

excel提示stdole32.tlb的解决方法

大家在使用excel时有遇到stdole32.tlb错误提示吗?出现这个问题直接导致excel无法启动,非常影响用户的工作效率。为了顺利解决问题,小编给大家带来了详细的解决办法,希望可以帮到你。 win7系统打开excel提示stdole32.tlb的解决方法…

Nosql inject注入

0x00 Nosql inject 最近主要在看那个 YApi 的注入漏洞,也是一个 mongodb的注入 所以来写一下这个东西,其实现在越来越常见的Nosql注入 感觉很多分布式和一些新的系统已经大量使用这种nosql数据库,这个注入和传统的关系型数据库有一点点不同…

【Hack The Box】linux练习-- Meta

HTB 学习笔记 【Hack The Box】linux练习-- Meta 🔥系列专栏:Hack The Box 🎉欢迎关注🔎点赞👍收藏⭐️留言📝 📆首发时间:🌴2022年11月27日🌴 &#x1f36d…

[附源码]计算机毕业设计springboot“科教兴国”支教门户网站

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

复旦MBA项目GNW海外课程|连线全球顶尖商学院,跨时空学习精彩无限!

10月下旬,复旦MBA为期一周的GNW海外课程落下帷幕,复旦在职MBA的同学们通过云端连线,走进全球多所顶级商学院,与深谙商道、学术造诣深厚的教授学者,以及来自不同地域不同文化背景的精英学生取经论道。      复旦MBA…

深入理解死锁问题

死锁问题🏞️1. 死锁概念🌁2. 为什么发生死锁🌠3. 产生死锁的条件🌁4. 如何避免死锁📖4.1 循环等待📖4.2 持有并等待📖4.3 非抢占📖4.4 互斥🌿5. 通过调度避免死锁&#…

【Python开发】一文详解Flask-Login

一文详解Flask-LoginFlask-Login 为 Flask 提供用户会话管理。它处理登录、注销和长时间记住用户会话等常见任务。 Flask-Login 不绑定到任何特定的数据库系统或权限模型。唯一的要求是您的 用户对象实现一些方法,并且您向能够 从用户 ID 加载用户 的扩展提供回调。…

Kotlin 开发Android app(十二):Android布局FrameLayout和ViewPager2控件实现滚动广告栏

在上一节中我们简单的介绍了RecyclerView 的使用,他是整个开发的重点控件,这一节我们来看看FrameLayout 布局结合ViewPager2,开发一个广告控件。 新模块banner 先创建一个新的模块,取名为banner,用来创建我们的滚动广…

Spring Boot自定义Namespace

Spring Boot 自定义Namespace 在学些Spring Boot 自定义Namespace之前,先来看一个简单的案例。在Spring Boot出现之前,所有的bean都是在XML文件的格式 中定义。为了管理方便,一些大型复杂的应用系统,通常定个多个xml文件来共同满…

【笑小枫的按步照搬系列】JDK8下载安装配置

笑小枫💕 欢迎来到笑小枫的世界,喜欢的朋友关注一下我呦,大伙的支持,就是我坚持写下去的动力。 微信公众号:笑小枫 笑小枫个人博客:https://www.xiaoxiaofeng.com 一、安装 1、方式一:进入官网…

Apifox:成熟的测试工具要学会自己写接口文档

好家伙, 在开发过程中,我们总是避免不了进行接口的测试, 而相比手动敲测试代码,使用测试工具进行测试更为便捷,高效 今天发现了一个非常好用的接口测试工具Apifox 相比于Postman,他还拥有一个非常nb的功…

读《基于深度学习的跨视角步态识别算法研究》

2020 背景: 作为一种新兴的识别技术,步态识别具有在非受控、远距离、低分辨率的场景下进行身份识别的优点,并且步态不易改变和伪装,所以近年来得到的关注逐渐增多。 步态识别作为一种新兴的身份识别技术,可以根据人…

jsp美食管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 JSP 美食管理系统 是一套完善的web设计系统,对理解JSP java编程开发语言有帮助,系统采用serlvet dao bean mvc模式开发,系统具有完整的源代码和数据库,系统主要采用B/S模式 开发。开发环境为TOMCAT7.0,Myeclipse8…

ZYNQ之FPGA学习----UART串口实验

1 UART串口简介 UART串口基础知识学习:硬件设计基础----通信协议UART 2 实验任务 上位机通过串口调试助手发送数据给 Zynq,Zynq PL 端通过 RS232 串口接收数据并将接收到的数据发送给上位机,完成串口数据环回,管脚分配如下&…

软件测试的分类

这里先讲一些概念,改日从这里边挑几个细讲。(给小白看的) 按测试对象划分: 界面测试: 软件只是一种工具,软件与人的信息交流是通过界面来进行的,界面是软件与用户交流的最直接的一层&#xff…