古画图像人工智能虚拟修复可以在短韶光内为修复事情者供应多种可视化的虚拟修复结果作为修复参照。
这种将原来抽象的修复目标详细化、明确化的方法,可有效缩减修复准备事情的投入,终极提高实物古画修复事情的时效性、准确性和可靠性。

(二)赞助古画文物保护

数字图像虚拟修复不打仗原作,能避免对文物的打仗和侵害。
同时,虚拟修复过程中完成的修复报告和标注,也可以作为学术资料更广泛地利用于文物保护赞助事情。

(三)做事我国精良传统文化推广

刘卉元  中国古画人工智能修复方法研究与实践

气息残破、古旧的国画通过数字化修复,转变为符合大众审美喜好的图像作品,能够得到更广泛的传播和展示,是传承中华精良传统文化的有益办法。

二、古画人工智能修复的难点

(一)高清图像修复

现有技能多针对低清晰度照片类别的图像,而古画扫描或拍照的图像清晰度较高、文件较大。

(二)大面积图像修复能力

修复算法能理解画面全局的图像信息,而非仅基于缺损周边的少量像素推理缺损,易实现对大面积缺损部位的准确添补。

(三)更好地表现中国古画艺术特色

修复算法能够较好地表现画面纹理、质感、色彩过渡,线条修复需符合国画用笔,修复区域能表现出中国古画的艺术特色。

(四)修复结果的客不雅观性

用于演习的数据是否充足和数据是否具备专业性、收敛性,直接影响修复结果是否能在客不雅观上优于人工判断。

(五)算法过程优化

运算过程哀求高效、资源优化,避免运算韶光过长、运算资源利用过多等问题。

(六)大略易操作

修复过程要便于非打算机技能职员学习、利用,这样才有利于在文物保护和美术研究事情者中推广和利用。

三、中国古画人工智能修复方法系统构建

传统的人工古画修复是一个流程完备、标准清晰的系统性专业,有独立的学术位置。
因此,古画算法修复该当参照人工修复的历史履历,总结出一套具有科学性、系统性、可靠性且符合数字图像虚拟修复逻辑的技能方案、修复流程和评价准则。

本课题组采访了十余位文物修复保护领域的专家学者,基于中国古画修复事情的现状和需求,梳理出适宜于中国古画数字化图像智能修复的履行方案。
深度学习算法是当下最具潜力的AI图像修复方法,因此课题组将其作为课题研究和实验的核心目标。

(一)数据准备事情

传统古画修复事情紧张依赖资料、履历和学养,人工智能算法的表现则依赖大量的干系数据演习。
本课题选取中国古代绘画作为数据演习根本。

1.数据网络并建立数据集

课题组共整理了中国古画图像2万余张,通过定制的软件将图像拆分为30万张古画图像,并且持续进行更新补充。

2.数据分类处理

将全部数据分为6个子数据库,详细如下(表1):

表1 中国古画图像子数据库列表

以上所列举的子数据库都涉及数据比拟图像组,以便算法更随意马虎收敛,如图所示(图1)。

图1-1 宋《八十七神仙图》仙女。

图1-2 宋《朝元仙仗图》仙女。

图1-3 清《朝元图》仙女 。

图1 古画玄门卷轴画仙女绘画比拟图。

(二)修复流程设计

1.流程设计依据

若想让算法在古画修复的实际事情中充分发挥浸染,就须要参考传统古画的人工修复流程与原则,设计完备的算法修复步骤或软件工具。

(1)“洗”:通过图像“去噪”算法,去除画面上眇小的斑驳、污渍。

(2)“揭”:通过图像编辑软件将画面中错位、沉降和碎片等情形进行复位。

(3)“补”:通过中国古画图像修复算法,修复画面的大断裂和大面积缺失落。

(4)“全”:通过中国古画图像修复算法,修复小的病害、变色和线段缺失落。

2.修复履行流程

为实现对古画数字图像的最优修复,需多个修复步骤协同完成,也需确定每个步骤的评价标准。
首先,修复古画前,需进行破损标注、色彩采集和制订修复策略。
繁芜病害应分层次修复,逐步实现从纹理、色彩到线条的匹配添补。
其次,修复过程中,每个步骤需比拟修复标准,未达标处需进行多次算法修复。
末了,进行结果剖析、问题总结和报告撰写,对修复不足空想的区域可以采取绘图软件加以赞助。
本课题组根据实际实验履历归纳了修复流程图(图2):

图2 中国古画智能修复算法修复事情流程图。

(三)中国古画修复的视觉标准和评价方案

通过对照传统字画修复标准,并结合专家辅导见地和进行课题组谈论研究,我们将“洗”“揭”“补”“全”确定为中国古画数字化修复的评价标准。
传统字画修复工艺讲究达到“四面光”,因此数字化修复同样应做到高度匹配、十全十美。
修复目标方面哀求“修旧如旧”;而修复程度则可划分为“轻度修复”“中度修复”和“高度修复”。

(四)中国古画智能修复算法系统整体方案

本课题组从学科性、系统性、运用性出发,综合数据准备、算法筛选、流程设计和评价标准,做出中国古画智能修复算法系统的基本方案,详细内容如下(表2、图3):

表2 中国古画智能修复算法系统的基本方案

(上)图3-1 山西菩萨壁画原图。
图3-2 “洗” 去掉画面噪点。
图3-3 “揭” 图像断裂,错层复位。

(下)图3-4 “补” 明显的断裂和脱落。
图3-5 “全”——“全色” 小面积脱落。
图3-6 “全”——“接笔” 线段和画面微调。

图3-7 局部 “全” 修复比拟之一。

图3-8 局部 “全” 修复比拟之二。
图3 菩萨壁画图像智能修复流程演示和局部修复结果比拟图。

四、中国古画修复算法研究和实验剖析

(一)算法筛选

课题组对近60种算法方案进行调研、剖析和实验,剖析过程如下:

首先,筛选过程先打消不具备学习能力的传统算法,这类算法修复精度较低

其次,深度学习算法中,大部分可处理图像的像素水平低,运算能力不敷,不符合古画扫描或拍照图像的数据特色

末了,淘汰图像理解能力较差,且不具备大面积缺损修复能力的算法。

(二)算法优化与演习

课题组基于大量的算法调研和实验,筛选采取了适用于大面积图像缺损的“基于傅里叶卷积”的大型掩码修复方法,通过优化算法中的LaMa掩码策略,以前文所述“中国古画数据集”作为算法演习工具,得到空想的修复方法——ACP LaMa。
该算法具有以下上风:

第一,项目采取快速傅里叶卷积(FFC)的修复网络,许可运算得到覆盖全体图像范围的感想熏染野,使网络能够泛化到可以处理高分辨率图像。
第二,利用基于高感想熏染野语义分割网络的感知丢失函数,可以让算法较好地理解全局图像信息,可以有效推理大面积缺损区域信息。
第三,优化原有掩码策略,新增符合中国古画图像缺损和病害特点的裂纹掩码策略和多点掩码策略,提高了演习后的算法对修复工具的理解。
第四,中国古画人工智能修复方法(ACP-LaMa)单阶段运算可以达到较为空想的效果,节省运算资源,运行效率高。
第五,设计将面向用户开拓“傻瓜式”算法操作系统,操作界面友好,功能简约、灵巧性高,非技能职员也能快速节制。

经由实际案例实验,ACP-LaMa人工智能图像修复算法基本达到了以上五点哀求。
以下为案例展示(图4):

图4-1 永乐宫壁画白描局部。

图4-2 人工添加破损区域。

图4-3 CoModGAN算法修复。

图4-4 MST-Net修复结果。

图4-5 本文方法修复结果。

图4 永乐宫壁画白描局部多种算法的修复比拟图。

由算法修复效果比拟图可以看出,ACP-LaMa可以很好地理解中国画的线条信息和艺术特色,可以较为准确地还原被毁坏的图像。
其余两种比拟算法修复表现精良、修复逻辑贴近古画修复需求的算法,但线条修复能力不敷。

五、中国古画算法图像修复实例

(一)图像修复流程

1.病害标注和数据采样

课题组以四川宝梵寺壁画作为修复工具,选取《达摩朝贡图》的局部数字化扫描图像开展人工智能算法修复,修复前图像如图5-1所示,病害种类较多,病害情形繁芜,并且影响到对人物形象的辨识,紧张病害类型如图5-2所示,小面积病害由课题组标注如图5-3所示。
下图(图5)来源于《宝梵寺壁画数字化勘察测绘报告》,报告详细记录了勘测壁画的病害标注、色彩采样和剖析结果。

图5-1 《达摩朝贡图》的局部原图。

图5-2 紧张病害标注。

图5-3 小面积和线段病害标注。

图5-4 修复结果。

图5 《达摩朝贡图》局部病害标注和修复前后比拟图。

2.算法修复过程

(1)“洗”:该图像点状病害较少,画面较为干净、通亮,经剖断不须要进行“去噪”处理。

(2)“揭”:该图像没有明显的沉降、错位和错层,经剖断无需进行画面复位。

(3)“补”:该图像上有一条贯穿佛像面部的横向缝隙,右侧眼部附近有大面积脱落,背光、胸部和白色衣物均有大面积稀碎脱落区域,通过ACP-LaMa算法进行1至2次打掩码修复,修复效果空想。

(4)“全”:图5-3标注的小面积病害和线段问题,干系病害多且杂,须要仔细修复,大部分区域打1次掩码可达到空想效果,少数区域须要2至3次修复。

(二)修复结果及评价

综合修复结果,本课题采取的中国古画算法修复方法基本达到了课题制订的评价标准。
该实验采取的是“中度修复”的标准,遵照最小干预原则,并没有进行风雅化修复,而是保持了画面整体统一、古朴的特色。
每一处破损都采取1至3遍算法修复,视觉上基本达到修复标准哀求即可。
各个环节的修复基本上都可以达到色彩过渡自然、色块衔接合理、线条平滑、墨色讲究、艺术风格统一和纹理匹配准确。
课题组约请修复专家对修复结果的“客不雅观性”进行评价,修复专家认为这次修复基本达标。
同时,该算法对古画面部信息的理解还有待提高,眉毛和眼角的修复有所欠缺,可由绘图工具加以赞助。
局部修复结果比拟如图(图6)。

图6 局部沥粉贴金技法修复和线段修复比拟图。

(三)其他实验案例(图7—图9)

图7 宋代绢本绘画孔子弟子局部图像修复比拟图。

图8 明代张弼书法作品局部图像修复比拟图。

图9 故宫藏“漆器” 作品局部图像修复比拟图。

六、研究成果的创新性代价

由课题组提出的中国古画图像修复的AI深度学习算法ACP-LaMa,基于制订科学的修复流程和评价方法,可对中国古画数字图像进行高效的虚拟修复,是人工修复向科技修复发展的实践案例。
项目算法成果可以全局理解较高清晰度的中国古画图像信息和中国画线条特色,对大面积缺损修复效果较为空想;修复区实现了笔墨措辞、色彩信息和纹理质感与原图匹配,修复区域基本达到气韵生动、肉眼难辨的效果。
算法运用运算高效、操作简明,适用于多类型中国古画修复,具有良好的推广性。

“基于神经网络算法的古画图像还原修复方法研究”项目通过跨学科视角将文化、艺术和科技进行联动,运用于赞助文物修复保护、美术研究和"大众年夜众做事等领域,综合实现了其学术代价、运用代价、社会代价和时期代价。

本文系国家社科基金艺术学青年项目“基于神经网络算法的古画图像还原修复方法研究”(项目批准号:17CF198)阶段性成果。

本文作者刘卉元

任务编辑:杨梦娇

本文图片由作者供应

为阅读方便,略去引注

中国人文社会科学AMI综合评价核心期刊。
入选中国公民大学复印报刊资料“艺术学学科期刊”高转载量、高转载率和高转载指数名录。
\公众>