刘卉元 | 中国古画人工智能修复方法研究与实践

2024年07月02日01:52:06 科学 1106
刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

作者

刘卉元中国艺术研究院工笔画院

原文刊于《艺术学研究》2024年第2期

由笔者主持的国家社科基金艺术学青年项目“基于神经网络算法的古画图像还原修复方法研究”课题组在采访中国古画修复专家、调研分析人工智能虚拟修复特点的基础上,提出中国古画数字图像AI算法修复的科学方法,其中包含修复流程、评价标准和算法选择。与此同时,课题组通过算法筛选、训练、优化,最终得到适应中国古画修复的人工智能深度学习算法ACP-LaMa。该算法成果适用于较高清晰度的复杂古画图像修复,且可以较理想地还原中国古画的艺术特色。2023年,笔者申报中国艺术研究院科研项目“中国古画图像算法修复研究”,进一步优化修复流程和算法表现,并将算法应用拓展到书法作品和工艺美术图像修复等领域。目前,项目成果得到了多位古画修复领域专家的关注和认可,现已申报国家发明专利,并与修复机构开展合作。

一、古画人工智能修复的意义

(一)辅助传统古画修复

古画图像人工智能虚拟修复可以在短时间内为修复工作者提供多种可视化的虚拟修复结果作为修复参照。这种将原来抽象的修复目标具体化、明确化的方法,可有效缩减修复准备工作的投入,最终提高实物古画修复工作的时效性、准确性和可靠性。

(二)辅助古画文物保护

数字图像虚拟修复不接触原作,能避免对文物的接触和伤害。同时,虚拟修复过程中完成的修复报告和标注,也可以作为学术资料更广泛地运用于文物保护辅助工作。

(三)服务我国优秀传统文化推广

气息残破、古旧的国画通过数字化修复,转变为符合大众审美喜好的图像作品,能够得到更广泛的传播和展示,是传承中华优秀传统文化的有益方式。

二、古画人工智能修复的难点

(一)高清图像修复

现有技术多针对低清晰度照片类别的图像,而古画扫描或拍照的图像清晰度较高、文件较大。

(二)大面积图像修复能力

修复算法能理解画面全局的图像信息,而非仅基于缺损周边的少量像素推理缺损,易实现对大面积缺损部位的准确填充。

(三)更好地表现中国古画艺术特征

修复算法能够较好地表现画面纹理、质感、色彩过渡,线条修复需符合国画用笔,修复区域能表现出中国古画的艺术特征。

(四)修复结果的客观性

用于训练的数据是否充足和数据是否具备专业性、收敛性,直接影响修复结果是否能在客观上优于人工判断。

(五)算法过程优化

运算过程要求高效、资源优化,避免运算时间过长、运算资源使用过多等问题。

(六)简单易操作

修复过程要便于非计算机技术人员学习、使用,这样才有利于在文物保护和美术研究工作者中推广和使用。

三、中国古画人工智能修复方法系统构建

传统的人工古画修复是一个流程完备、标准清晰的系统性专业,有独立的学术位置。因此,古画算法修复应该参照人工修复的历史经验,总结出一套具有科学性、系统性、可靠性且符合数字图像虚拟修复逻辑的技术方案、修复流程和评价准则。

本课题组采访了十余位文物修复保护领域的专家学者,基于中国古画修复工作的现状和需求,梳理出适合于中国古画数字化图像智能修复的实施方案。深度学习算法是当下最具潜力的AI图像修复方法,因此课题组将其作为课题研究和实验的核心目标。

(一)数据准备工作

传统古画修复工作主要依靠资料、经验和学养,人工智能算法的表现则依赖大量的相关数据训练。本课题选取中国古代绘画作为数据训练基础。

1.数据收集并建立数据集

课题组共整理了中国古画图像2万余张,通过定制的软件将图像拆分为30万张古画图像,并且持续进行更新补充。

2.数据分类处理

将全部数据分为6个子数据库,具体如下(表1):

表1 中国古画图像子数据库列表

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

以上所列举的子数据库都涉及数据对比图像组,以便算法更容易收敛,如图所示(图1)。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图1-1 宋《八十七神仙图》仙女。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图1-2 宋《朝元仙仗图》仙女。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图1-3 清《朝元图》仙女 。

图1 古画道教卷轴画仙女绘画对比图。

(二)修复流程设计

1.流程设计依据

若想让算法在古画修复的实际工作中充分发挥作用,就需要参考传统古画的人工修复流程与原则,设计完备的算法修复步骤或软件工具。

(1)“洗”:通过图像“去噪”算法,去除画面上细小的斑驳、污渍。

(2)“揭”:通过图像编辑软件将画面中错位、沉降和碎片等情况进行复位。

(3)“补”:通过中国古画图像修复算法,修复画面的大断裂和大面积缺失。

(4)“全”:通过中国古画图像修复算法,修复小的病害、变色和线段缺失。

2.修复实施流程

为实现对古画数字图像的最优修复,需多个修复步骤协同完成,也需确定每个步骤的评价标准。首先,修复古画前,需进行破损标注、色彩采集和制定修复策略。复杂病害应分层次修复,逐步实现从纹理、色彩到线条的匹配填充。其次,修复过程中,每个步骤需对比修复标准,未达标处需进行多次算法修复。最后,进行结果分析、问题总结和报告撰写,对修复不够理想的区域可以采用绘图软件加以辅助。本课题组根据实际实验经验归纳了修复流程图(图2):

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图2 中国古画智能修复算法修复工作流程图。

(三)中国古画修复的视觉标准和评价方案

通过对照传统书画修复标准,并结合专家指导意见和进行课题组讨论研究,我们将“洗”“揭”“补”“全”确定为中国古画数字化修复的评价标准。传统书画修复工艺讲究达到“四面光”,因此数字化修复同样应做到高度匹配、浑然一体。修复目标方面要求“修旧如旧”;而修复程度则可划分为“轻度修复”“中度修复”和“高度修复”。

(四)中国古画智能修复算法系统整体规划

本课题组从学科性、系统性、应用性出发,综合数据准备、算法筛选、流程设计和评价标准,做出中国古画智能修复算法系统的基本规划,具体内容如下(表2、图3):

表2 中国古画智能修复算法系统的基本规划

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

(上)图3-1 山西菩萨壁画原图。图3-2 “洗” 去掉画面噪点。图3-3 “揭” 图像断裂,错层复位。

(下)图3-4 “补” 明显的断裂和脱落。图3-5 “全”——“全色” 小面积脱落。图3-6 “全”——“接笔” 线段和画面微调。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图3-7 局部 “全” 修复对比之一。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图3-8 局部 “全” 修复对比之二。

图3 菩萨壁画图像智能修复流程演示和局部修复结果对比图。

四、中国古画修复算法研究和实验分析

(一)算法筛选

课题组对近60种算法方案进行调研、分析和实验,分析过程如下:

首先,筛选过程先排除不具备学习能力的传统算法,这类算法修复精度较低

其次,深度学习算法中,大部分可处理图像的像素水平低,运算能力不足,不符合古画扫描或拍照图像的数据特征

最后,淘汰图像理解能力较差,且不具备大面积缺损修复能力的算法。

(二)算法优化与训练

课题组基于大量的算法调研和实验,筛选采用了适用于大面积图像缺损的“基于傅里叶卷积”的大型掩码修复方法,通过优化算法中的LaMa掩码策略,以前文所述“中国古画数据集”作为算法训练对象,得到理想的修复方法——ACP LaMa。该算法具有以下优势:

第一,项目采用快速傅里叶卷积(FFC)的修复网络,允许运算获得覆盖整个图像范围的感受野,使网络能够泛化到可以处理高分辨率图像。第二,使用基于高感受野语义分割网络的感知损失函数,可以让算法较好地理解全局图像信息,可以有效推理大面积缺损区域信息。第三,优化原有掩码策略,新增符合中国古画图像缺损和病害特点的裂纹掩码策略和多点掩码策略,提高了训练后的算法对修复对象的理解。第四,中国古画人工智能修复方法(ACP-LaMa)单阶段运算可以达到较为理想的效果,节省运算资源,运行效率高。第五,设计将面向用户开发“傻瓜式”算法操作系统,操作界面友好,功能简约、灵活性高,非技术人员也能快速掌握。

经过实际案例实验,ACP-LaMa人工智能图像修复算法基本达到了以上五点要求。以下为案例展示(图4):

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图4-1 永乐宫壁画白描局部。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图4-2 人工添加破损区域。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图4-3 CoModGAN算法修复。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图4-4 MST-Net修复结果。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图4-5 本文方法修复结果。

图4 永乐宫壁画白描局部多种算法的修复对比图。

由算法修复效果对比图可以看出,ACP-LaMa可以很好地理解中国画的线条信息和艺术特色,可以较为准确地还原被破坏的图像。另外两种对比算法修复表现优秀、修复逻辑贴近古画修复需求的算法,但线条修复能力不足。

五、中国古画算法图像修复实例

(一)图像修复流程

1.病害标注和数据采样

课题组以四川宝梵寺壁画作为修复对象,选取《达摩朝贡图》的局部数字化扫描图像开展人工智能算法修复,修复前图像如图5-1所示,病害种类较多,病害情况复杂,并且影响到对人物形象的辨识,主要病害类型如图5-2所示,小面积病害由课题组标注如图5-3所示。下图(图5)来源于《宝梵寺壁画数字化勘察测绘报告》,报告详细记录了勘测壁画的病害标注、色彩采样和分析结果。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图5-1 《达摩朝贡图》的局部原图。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图5-2 主要病害标注。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图5-3 小面积和线段病害标注。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图5-4 修复结果。

图5 《达摩朝贡图》局部病害标注和修复前后对比图。

2.算法修复过程

(1)“洗”:该图像点状病害较少,画面较为干净、明亮,经判定不需要进行“去噪”处理。

(2)“揭”:该图像没有明显的沉降、错位和错层,经判定无需进行画面复位。

(3)“补”:该图像上有一条贯穿佛像面部的横向裂痕,右侧眼部附近有大面积脱落,背光、胸部和白色衣物均有大面积稀碎脱落区域,通过ACP-LaMa算法进行1至2次打掩码修复,修复效果理想。

(4)“全”:图5-3标注的小面积病害和线段问题,相关病害多且杂,需要仔细修复,大部分区域打1次掩码可达到理想效果,少数区域需要2至3次修复。

(二)修复结果及评价

综合修复结果,本课题采用的中国古画算法修复方法基本达到了课题制定的评价标准。该实验采用的是“中度修复”的标准,遵循最小干预原则,并没有进行精细化修复,而是保持了画面整体统一、古朴的特征。每一处破损都采用1至3遍算法修复,视觉上基本达到修复标准要求即可。各个环节的修复基本上都可以达到色彩过渡自然、色块衔接合理、线条平滑、墨色讲究、艺术风格统一和纹理匹配准确。课题组邀请修复专家对修复结果的“客观性”进行评价,修复专家认为此次修复基本达标。同时,该算法对古画面部信息的理解还有待提高,眉毛和眼角的修复有所欠缺,可由绘图工具加以辅助。局部修复结果对比如图(图6)。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图6 局部沥粉贴金技法修复和线段修复对比图。

(三)其他实验案例(图7—图9)

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图7 宋代绢本绘画孔子弟子局部图像修复对比图。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图8 明代张弼书法作品局部图像修复对比图。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

图9 故宫藏“漆器” 作品局部图像修复对比图。

六、研究成果的创新性价值

由课题组提出的中国古画图像修复的AI深度学习算法ACP-LaMa,基于制定科学的修复流程和评价方法,可对中国古画数字图像进行高效的虚拟修复,是人工修复向科技修复发展的实践案例。项目算法成果可以全局理解较高清晰度的中国古画图像信息和中国画线条特征,对大面积缺损修复效果较为理想;修复区实现了笔墨语言、色彩信息和纹理质感与原图匹配,修复区域基本达到气韵生动、肉眼难辨的效果。算法应用运算高效、操作简明,适用于多类型中国古画修复,具有良好的推广性。

“基于神经网络算法的古画图像还原修复方法研究”项目通过跨学科视角将文化、艺术和科技进行联动,应用于辅助文物修复保护、美术研究和公众服务等领域,综合实现了其学术价值、应用价值、社会价值和时代价值。

本文系国家社科基金艺术学青年项目“基于神经网络算法的古画图像还原修复方法研究”(项目批准号:17CF198)阶段性成果。

刘卉元 | 中国古画人工智能修复方法研究与实践 - 天天要闻

本文作者刘卉元

责任编辑:杨梦娇

本文图片由作者提供

为阅读方便,略去引注

科学分类资讯推荐

受伤小鸟在草地上扑腾,竟是国家二级保护动物 - 天天要闻

受伤小鸟在草地上扑腾,竟是国家二级保护动物

现代快报讯(通讯员 王永富 记者 姜振军)“草地上有只鸟好像受伤了,跟普通的鸟不一样。”7月1日,盐城市大丰区的海边,在海上风力发电厂工作的3名工人发现一只鸟在草地上扑腾,他们合力抓住了小鸟,上网一搜是国家二级保护动物红隼,于是拨打了110报警求助电话。△救助红隼 大丰警方供图现代快报记者了解到,大丰区公安大...
月球突然消失,地球会发生什么? - 天天要闻

月球突然消失,地球会发生什么?

引言月球,作为地球的忠实伴侣,已经陪伴我们度过了四十五亿年的时光。它以每年大约3.8厘米的速度逐渐远离我们,但如果有一天,月球突然消失,我们的世界将会经历怎样的变化?月球消失后的第一个夜晚,地球上的生物钟将开始受到影响。
EGFR基因20外显子插入突变怎么办?这里有个好的用药方案 - 天天要闻

EGFR基因20外显子插入突变怎么办?这里有个好的用药方案

晚期肺癌里,EGFR基因是非常常见的一种基因突变,但是对于EGFR基因的20外显子插入突变就比较麻烦了,我们需要知道EGFR基因的20外显子插入突变是一大类突变,而不是一种突变。根据EGFR基因20外显子插入突变的位点不同,药物的疗效也差别很大。目前国内没有任何一款靶向药一线治疗EGFR基因20外显子插入突变获批,病人即便是超...
聚焦深中通道的“湖北力量”|长江三峡勘测研究院:“深中精度”成标杆 - 天天要闻

聚焦深中通道的“湖北力量”|长江三峡勘测研究院:“深中精度”成标杆

极目新闻记者 黎先才通讯员 罗飞 周霁6月30日,举世瞩目的深中通道正式通车试运营。这个超级工程由多家央企参与设计建造。其中,由长江设计集团长江三峡勘测研究院有限公司(武汉)(下称“长江三峡勘测研究院”)承接的深中通道项目测量控制中心圆满完成了各项测控任务,精准测控再创佳绩,“深中精度”正成为业内标杆。2...
实锤!“学术妲己”李艺飞的核聚变技术,涉嫌抄袭! - 天天要闻

实锤!“学术妲己”李艺飞的核聚变技术,涉嫌抄袭!

文/喜鹊编辑/喜鹊导读想知道关于核聚变技术及抄袭真相的内容?快跟着小编一起往下看!严格保护创新成果科研领域和学术界是当今世界上最需要保护知识产权的行业,因为只有严格的知识产权保护和诚信约束,才能确保真正的创新成果得到应有的尊重和保护。