编者按:近期,微软亚洲研究院主管研究员武智融与首都师范大学甲骨文研究中心莫伯峰教授团队合作,为人工智能“入驻”甲骨文研究领域成功打开了一扇大门——基于自监督学习技术构建的甲骨文校重助手 Diviner 大幅提升了甲骨文校重工作的效率,并获得了学术界的肯定与认可。这项合作成果让人工智能技术在甲骨文这个“冷门绝学”中找到了用武之地,也为历史传承与文化遗产保护插上了科技之翼。
甲骨文研究的意义是什么?计算机领域研究员与甲骨文研究者,对于人工智能与甲骨文的结合有怎样不同的看法?人工智能技术成功落地甲骨文研究,将对甲骨文等历史文化研究界产生怎样的影响?下面让我们通过武智融博士与莫伯峰教授的对话,了解这一跨界科研成果背后的故事,以及未来的发展前景。
武智融:关于甲骨文的研究,我们这些领域的门外汉只是粗浅地知道甲骨文研究是一项非常有意义的工作。所以先请您给我们科普一下甲骨文发现的历史,以及现存的甲骨收藏情况。
莫伯峰:甲骨文的发现者叫王懿荣,他是晚清一位著名的金石学家。1899年,这位金石学家身患疾病,他在购买的中药里发现一味名为“龙骨”的药材上刻画着奇怪的符号,对文字颇有研究的他意识到,这可能是早期留下的文字,自此展开了对甲骨的购藏,这便是广为流传殷墟甲骨文被发现的故事。
虽然甲骨文被发现是在十九世纪,但直到1928年,殷墟甲骨的科学挖掘才正式起步。在此之前,殷墟甲骨曾经历了一段漫长的私人挖掘和倒卖时期。正是由于这一原因,甲骨流散到了很多地方,不仅国内有很多公私藏家,海外也收藏有大量甲骨,比如日本、加拿大、英国、美国、德国、俄罗斯、新加坡、瑞典、瑞士、法国等国家都收藏有甲骨。当然,最大宗的收藏还是在中国,像中国国家图书馆、台北中研院和故宫博物院,所藏甲骨都达到了数万件。
以上讲的是甲骨实物的收藏情况,实际上甲骨文研究通常并不直接接触这些实物,而是利用它们的图像资源,主要是甲骨拓本。相较于甲骨实物的收藏情况,甲骨拓本的情况就更复杂了。伴随着甲骨在不同藏地间流转,同一片甲骨有时会流下很多拓本,拓本总数远大于甲骨总数。因此,对甲骨文图像资料进行整理就变得十分重要。比如由郭沫若任主编、胡厚宣任总编辑的《甲骨文合集》就是系统整理甲骨图像资料的一部集成。这是一项非常困难的工作,中国社科院历史研究所专门成立了一个“《甲骨文合集》编辑工作组”,从1959年开始直到1982年才完成。之后编辑出版的《甲骨文合集补编》,是对《甲骨文合集》的补充,也同样耗时很久。
武智融:那么我们研究甲骨文的重要意义是什么?关于甲骨文研究都有哪些具体的内容?您的主要研究方向是什么?
莫伯峰:甲骨文是中华文化的瑰宝,正是因为甲骨文的发现,中国信史被向上推进了约一千年。同时,它也是现代汉字的源头,是我国已知最早的成系统文字。汉字是世界上唯一从古代一直沿用至今的文字,甲骨文又是这个“唯一”的源头,这就决定了它无可取代的地位和独一无二的价值。作为人类共同的宝贵财富,甲骨文已被列入《世界记忆遗产名录》,甲骨文发现地河南安阳殷墟也被列入了《世界文化遗产名录》。由于甲骨文的时代离今天已经三千多年了,甲骨文所传递的信息已经笼上了一层迷雾,我们只有通过研究才能把时间附着其上的迷雾去掉,解开这些谜团。
甲骨学已经成为一门综合性学问,历史学家、语言文字学家、考古学家都能从甲骨文中汲取“营养”。对于历史学家而言,甲骨是商代的史料;对于语言文字学家而言,甲骨是宝贵的商代语料;对于考古学家而言,甲骨是古代人类的文化遗存。当然,甲骨文还可以与其他各种学科相结合,比如利用甲骨文中的日食、月食、流星雨的记录,与天文学相结合;利用古生物学知识,又可以为龟甲、牛骨这些原料的来源提供线索。追索各种事物的早期历史,很多都能从甲骨文中找到痕迹。
从研究的角度来看,史料和语料研究有着密切的关系,如果不识字就无法将其当作史料进行研究,反之如果对商朝历史变迁不了解,那么在认字和语言理解上也会存在困难。所以我们在研究中这两方面都会涉及。尽管在外人看来这些研究晦涩难懂,但当兴趣使然深入其中时,你会发现它其乐无穷。将甲骨文字与后代文字进行关联就好像是一个探案、解谜的过程。
武智融:在我和您取得联系,提出想将人工智能技术应用于甲骨文研究之前,您已经做过一些相关的尝试了,您为什么会考虑将人工智能引入到甲骨文研究中?
莫伯峰:这些年,人工智能取得的进展有目共睹,它的很多研究领域都与古文字研究非常契合,比如计算机视觉所处理的问题与图形有关,甲骨文字也是一种图形,两者存在共同之处;再比如机器翻译、语音识别是语言处理任务,甲骨文是记录商代语言的书面符号,本质上也就是语言问题;还有知识图谱的应用,以形式化的方式表示知识结构,同样非常有利用于应用在古文字研究这种专业化非常强的领域。综合多方面的考量,我认为二者结合大有可为。
武智融:而且从计算机领域的角度来看,利用人工智能技术探索甲骨文研究也将对通用人工智能的研究产生有意义的影响。目前,人工智能的落地应用以有监督的训练为主。随着近些年自监督学习的巨大进展,大大拓宽了人工智能的落地场景。在甲骨文领域,由于人类的知识是有限的,能够提供的标签和监督也是极其有限的。这成为了不得不应用自监督学习才可以解决的问题。此外,甲骨文与多模态识别也紧密相关,因为甲骨文本身就是多模态的数据,它的文字本身既是语言也是图形,相当于一种实体上存在两种表现形式。
莫伯峰:的确是这样,要走向通用人工智能,人工智能需要面向一些探索性的问题,获得一些发明、发现。如果只是利用人工智能进行甲骨文的文字识别,那么人类认知将会是机器的天花板,因为大部分机器学习都是有监督训练的,可能最后的结果只是开发出一些学习甲骨文字之类的小程序,以提高公众对甲骨文的认识,但这对甲骨文研究的意义非常有限。我们更希望使用人工智能技术对甲骨文研究有直接、具体的推动作用,哪怕是一小点的进步,在甲骨文研究中也会是创新性的成果。
武智融:那么您认为 Diviner 模型在甲骨文校重工作中发挥了怎样的作用?促进了哪些新成果的出现?
莫伯峰:从我自身参与过的甲骨校重工作经历来看,纯靠人工来做那是相当痛苦,数据量太大了。甲骨校重作为甲骨文研究的基础性题目,引入人工智能技术的意义至少有两方面:一是面向过去。那些已经发表的甲骨拓本都做过人工校重,Diviner 在人工已经做过的工作上还能发现一批新成果,这十分不容易,也非常有价值。没有 Diviner 的介入,这些成果至少不会那么迅速地被获得。二是面向未来。现在还有很大数量的甲骨拓本没有发表出来,未来针对这些甲骨拓本的校重工作,利用 Diviner 模型将会节省大量的人力,并促使整个甲骨校重的工作模式发生改变。
在这次甲骨文校重工作的初步尝试中,我们仅花一周时间就利用 Diviner 模型和部分数据,校对出了200多组重片。这只是一个初步的结果,数据还没有全部整理完,最后校对出的成果肯定将远远超出这一数量。
武智融:我们这次合作的研究成果有一些是单纯的校重;有一些校重成果帮助了甲骨缀合;还有的帮助到一些不同时期、不同完整度的重片实现拼接,让信息更完整;更有两个拓片内容几乎一样,但却不是重片的情况。
那么,这些拓片在历史上是怎么形成的?是原来完整甲骨脱落分裂成两半,之后又被别人拼接起另一半的么?还是有其它的原因?
莫伯峰:这正体现了自监督学习在研究性课题中的独特价值,Diviner 模型发现的结果有些是我们事先都没有预计到的,所以特别具有创新性。如果是有监督学习,我们肯定提供不了那种情况的样本。像你提到的校重推动缀合、不同完整度重片拼接、近似度极高的“伪重片”问题,都是模型结果跑出来以后我们才注意到的。这些情况的出现,基本上都与甲骨流传和甲骨拓本制作过程中的一些特殊情况有关。比如不同完整度重片的现象,就是由于甲骨传拓方法不一致导致的:早期的拓本有些并不是把所有甲骨骨面全部拓全,而是只拓印有文字的部分,所以拓本可能很小,但它原来完整的甲骨可能是很大的一块。而后期拓本制作时,虽然会将整个骨面都完整拓印,但有可能甲骨本身已经破碎不全了,所以拓本也不会完整。这样就出现了重片之间部分重合,部分不重合的现象。
武智融:而且即使两片拓片差异不大,查重也并不是一项简单的工作,因为时间的流逝加上经过多次流转,甲骨表面的物理情况、纹理都会发生变化,所以即使是完全一样的甲骨,在不同时期拓出来的样子也会很不一样。
莫伯峰:是的,在机器判定为重片后,这些结果还需要研究者再进行检验。甲骨学是一个系统性的科学,涉及方方面面,解决一个问题需要从不同维度综合考虑。虽然在机器看来,重片问题就是相似度匹配,但研究者还会从其它维度来综合考虑。比如甲骨文的数字,一是一横,二是两横,三是三横,四是四横,对计算机而言,三与四只有一横之差,相似度非常高,但从人的认知来看是完全不一样的。我们这次还遇到过一个极端特殊的例子——曾有一批甲骨遭受过火灾,导致了形态发生了很大变化,火灾前后的拓本差异很大,我们研究者了解背景,所以能排除这种干扰进行校重,而机器就非常困难了。所以说,研究者可以从多维度去验证,这就展现了人机协作的重要性。
武智融:这里我再概括介绍一下 Diviner 模型的技术实现。在传统的计算机视觉研究中,现有的对比模型和技术主要用于几乎完全相同的图片上,在甲骨文问题中,不同的重片在外观上可能有很大的差异。因为一块完整的甲骨可能会碎裂成多片,重片需要从大骨片中找出小骨片。因此,基于全局外观表示的传统对比模型将不再起作用。Diviner 模型是一个基于自监督学习的高级人工智能模型,可从局部寻找匹配关系,再拓展到全局,为甲骨文构建标准化的数据库提供了新的可能。
而且因为自监督学习的匹配算法,Diviner 模型具有强大的泛化能力。模型可以通过图像增强技术模拟同一块甲骨在不同时期制作成拓片或者因年深日久造成的图像变化,例如磨损、模糊等。在大规模无标注数据上获取密集的自我监督,远远比稀疏的、基于整体的人工监督更有效。同时,Diviner 模型还能够精确地预测出重片之间点对点的对应关系,将重片拼合或拼接在一起。
武智融:通过这次合作,以及 Diviner 模型在甲骨文校重工作中的一些新发现,您认为人工智能技术对未来的甲骨文研究工作有怎样的意义和影响?
莫伯峰:我们这次的合作项目可以说是人机协作的典型案例,人和机器各自发挥了自己的特点和优势,所以解决了一些过去解决不好的问题。通过这次合作让我们对人工智能与甲骨文的跨领域研究更有信心。甲骨文或者说古文字方面的研究还有各种各样的课题,我希望通过人和机器的协作,未来让我们能够对这些问题逐一进行探索,取得更多的进展。
另外,人工智能技术的应用也让我们对一些古文字问题有了新的思考。因为在计算机没有进入这个领域之前,我们对很多问题的思考都是只从人类的角度出发的。计算机的加入会给我们一些新的启示,就是每当机器出现和人不一样的结果时,都给我们提供了一个重新思考的契机——为什么机器会得出这样的结论?它与我们人类答案的差别背后反映了什么实质问题?通过审视我们和机器的不同,也为我们重新思考某些学术问题,提供了非常好的视角。
与微软亚洲研究院的这次合作,虽然只是甲骨文和人工智能交叉研究的一个小序幕,但也给人工智能“进驻”甲骨文研究领域推开了一扇门,能起到一定的示范意义。我相信,未来人工智能和古文字的交叉研究将有广阔的发展前景。