劉卉元 | 中國古畫人工智能修復方法研究與實踐

2024年07月02日01:52:06 科學 1106

作者

劉卉元中國藝術研究院工筆畫院

原文刊於《藝術學研究》2024年第2期

由筆者主持的國家社科基金藝術學青年項目“基於神經網絡算法的古畫圖像還原修復方法研究”課題組在採訪中國古畫修復專家、調研分析人工智能虛擬修復特點的基礎上，提出中國古畫數字圖像AI算法修復的科學方法，其中包含修複流程、評價標準和算法選擇。與此同時，課題組通過算法篩選、訓練、優化，最終得到適應中國古畫修復的人工智能深度學習算法ACP-LaMa。該算法成果適用於較高清晰度的複雜古畫圖像修復，且可以較理想地還原中國古畫的藝術特色。2023年，筆者申報中國藝術研究院科研項目“中國古畫圖像算法修復研究”，進一步優化修複流程和算法表現，並將算法應用拓展到書法作品和工藝美術圖像修復等領域。目前，項目成果得到了多位古畫修復領域專家的關注和認可，現已申報國家發明專利，並與修復機構開展合作。

一、古畫人工智能修復的意義

（一）輔助傳統古畫修復

古畫圖像人工智能虛擬修復可以在短時間內為修復工作者提供多種可視化的虛擬修復結果作為修復參照。這種將原來抽象的修複目標具體化、明確化的方法，可有效縮減修復準備工作的投入，最終提高實物古畫修復工作的時效性、準確性和可靠性。

（二）輔助古畫文物保護

數字圖像虛擬修復不接觸原作，能避免對文物的接觸和傷害。同時，虛擬修復過程中完成的修復報告和標註，也可以作為學術資料更廣泛地運用於文物保護輔助工作。

（三）服務我國優秀傳統文化推廣

氣息殘破、古舊的國畫通過數字化修復，轉變為符合大眾審美喜好的圖像作品，能夠得到更廣泛的傳播和展示，是傳承中華優秀傳統文化的有益方式。

二、古畫人工智能修復的難點

（一）高清圖像修復

現有技術多針對低清晰度照片類別的圖像，而古畫掃描或拍照的圖像清晰度較高、文件較大。

（二）大面積圖像修復能力

修復算法能理解畫面全局的圖像信息，而非僅基於缺損周邊的少量像素推理缺損，易實現對大面積缺損部位的準確填充。

（三）更好地表現中國古畫藝術特徵

修復算法能夠較好地表現畫面紋理、質感、色彩過渡，線條修復需符合國畫用筆，修復區域能表現出中國古畫的藝術特徵。

（四）修復結果的客觀性

用於訓練的數據是否充足和數據是否具備專業性、收斂性，直接影響修復結果是否能在客觀上優於人工判斷。

（五）算法過程優化

運算過程要求高效、資源優化，避免運算時間過長、運算資源使用過多等問題。

（六）簡單易操作

修復過程要便於非計算機技術人員學習、使用，這樣才有利於在文物保護和美術研究工作者中推廣和使用。

三、中國古畫人工智能修復方法系統構建

傳統的人工古畫修復是一個流程完備、標準清晰的系統性專業，有獨立的學術位置。因此，古畫算法修復應該參照人工修復的歷史經驗，總結出一套具有科學性、系統性、可靠性且符合數字圖像虛擬修復邏輯的技術方案、修複流程和評價準則。

本課題組採訪了十餘位文物修復保護領域的專家學者，基於中國古畫修復工作的現狀和需求，梳理出適合於中國古畫數字化圖像智能修復的實施方案。深度學習算法是當下最具潛力的AI圖像修復方法，因此課題組將其作為課題研究和實驗的核心目標。

（一）數據準備工作

傳統古畫修復工作主要依靠資料、經驗和學養，人工智能算法的表現則依賴大量的相關數據訓練。本課題選取中國古代繪畫作為數據訓練基礎。

1.數據收集並建立數據集

課題組共整理了中國古畫圖像2萬餘張，通過定製的軟件將圖像拆分為30萬張古畫圖像，並且持續進行更新補充。

2.數據分類處理

將全部數據分為6個子數據庫，具體如下（表1）:

表1 中國古畫圖像子數據庫列表

以上所列舉的子數據庫都涉及數據對比圖像組，以便算法更容易收斂，如圖所示（圖1）。

圖1-1 宋《八十七神仙圖》仙女。

圖1-2 宋《朝元仙仗圖》仙女。

圖1-3 清《朝元圖》仙女。

圖1 古畫道教捲軸畫仙女繪畫對比圖。

（二）修複流程設計

1.流程設計依據

若想讓算法在古畫修復的實際工作中充分發揮作用，就需要參考傳統古畫的人工修複流程與原則，設計完備的算法修復步驟或軟件工具。

（1）“洗”：通過圖像“去噪”算法，去除畫面上細小的斑駁、污漬。

（2）“揭”：通過圖像編輯軟件將畫面中錯位、沉降和碎片等情況進行複位。

（3）“補”：通過中國古畫圖像修復算法，修復畫面的大斷裂和大面積缺失。

（4）“全”：通過中國古畫圖像修復算法，修復小的病害、變色和線段缺失。

2.修復實施流程

為實現對古畫數字圖像的最優修復，需多個修復步驟協同完成，也需確定每個步驟的評價標準。首先，修復古畫前，需進行破損標註、色彩採集和制定修復策略。複雜病害應分層次修復，逐步實現從紋理、色彩到線條的匹配填充。其次，修復過程中，每個步驟需對比修復標準，未達標處需進行多次算法修復。最後，進行結果分析、問題總結和報告撰寫，對修復不夠理想的區域可以採用繪圖軟件加以輔助。本課題組根據實際實驗經驗歸納了修複流程圖（圖2）：

圖2 中國古畫智能修復算法修復工作流程圖。

（三）中國古畫修復的視覺標準和評價方案

通過對照傳統書畫修復標準，並結合專家指導意見和進行課題組討論研究，我們將“洗”“揭”“補”“全”確定為中國古畫數字化修復的評價標準。傳統書畫修復工藝講究達到“四面光”，因此數字化修復同樣應做到高度匹配、渾然一體。修複目標方面要求“修舊如舊”；而修復程度則可劃分為“輕度修復”“中度修復”和“高度修復”。

（四）中國古畫智能修復算法系統整體規劃

本課題組從學科性、系統性、應用性出發，綜合數據準備、算法篩選、流程設計和評價標準，做出中國古畫智能修復算法系統的基本規劃，具體內容如下（表2、圖3）：

表2 中國古畫智能修復算法系統的基本規劃

（上）圖3-1 山西菩薩壁畫原圖。圖3-2 “洗” 去掉畫面噪點。圖3-3 “揭” 圖像斷裂，錯層複位。

（下）圖3-4 “補” 明顯的斷裂和脫落。圖3-5 “全”——“全色” 小面積脫落。圖3-6 “全”——“接筆” 線段和畫面微調。

圖3-7 局部 “全” 修復對比之一。

圖3-8 局部 “全” 修復對比之二。

圖3 菩薩壁畫圖像智能修複流程演示和局部修復結果對比圖。

四、中國古畫修復算法研究和實驗分析

（一）算法篩選

課題組對近60種算法方案進行調研、分析和實驗，分析過程如下：

首先，篩選過程先排除不具備學習能力的傳統算法，這類算法修復精度較低

其次，深度學習算法中，大部分可處理圖像的像素水平低，運算能力不足，不符合古畫掃描或拍照圖像的數據特徵

最後，淘汰圖像理解能力較差，且不具備大面積缺損修復能力的算法。

（二）算法優化與訓練

課題組基於大量的算法調研和實驗，篩選採用了適用於大面積圖像缺損的“基於傅里葉卷積”的大型掩碼修復方法，通過優化算法中的LaMa掩碼策略，以前文所述“中國古畫數據集”作為算法訓練對象，得到理想的修復方法——ACP LaMa。該算法具有以下優勢：

第一，項目採用快速傅里葉卷積（FFC）的修復網絡，允許運算獲得覆蓋整個圖像範圍的感受野，使網絡能夠泛化到可以處理高分辨率圖像。第二，使用基於高感受野語義分割網絡的感知損失函數，可以讓算法較好地理解全局圖像信息，可以有效推理大面積缺損區域信息。第三，優化原有掩碼策略，新增符合中國古畫圖像缺損和病害特點的裂紋掩碼策略和多點掩碼策略，提高了訓練後的算法對修復對象的理解。第四，中國古畫人工智能修復方法（ACP-LaMa）單階段運算可以達到較為理想的效果，節省運算資源，運行效率高。第五，設計將面向用戶開發“傻瓜式”算法操作系統，操作界面友好，功能簡約、靈活性高，非技術人員也能快速掌握。

經過實際案例實驗，ACP-LaMa人工智能圖像修復算法基本達到了以上五點要求。以下為案例展示（圖4）：

圖4-1 永樂宮壁畫白描局部。

圖4-2 人工添加破損區域。

圖4-3 CoModGAN算法修復。

圖4-4 MST-Net修復結果。

圖4-5 本文方法修復結果。

圖4 永樂宮壁畫白描局部多種算法的修復對比圖。

由算法修復效果對比圖可以看出，ACP-LaMa可以很好地理解中國畫的線條信息和藝術特色，可以較為準確地還原被破壞的圖像。另外兩種對比算法修復表現優秀、修復邏輯貼近古畫修復需求的算法，但線條修復能力不足。

五、中國古畫算法圖像修復實例

（一）圖像修複流程

1.病害標註和數據採樣

課題組以四川寶梵寺壁畫作為修復對象，選取《達摩朝貢圖》的局部數字化掃描圖像開展人工智能算法修復，修復前圖像如圖5-1所示，病害種類較多，病害情況複雜，並且影響到對人物形象的辨識，主要病害類型如圖5-2所示，小面積病害由課題組標註如圖5-3所示。下圖（圖5）來源於《寶梵寺壁畫數字化勘察測繪報告》，報告詳細記錄了勘測壁畫的病害標註、色彩採樣和分析結果。

圖5-1 《達摩朝貢圖》的局部原圖。

圖5-2 主要病害標註。

圖5-3 小面積和線段病害標註。

圖5-4 修復結果。

圖5 《達摩朝貢圖》局部病害標註和修復前後對比圖。

2.算法修復過程

（1）“洗”：該圖像點狀病害較少，畫面較為乾淨、明亮，經判定不需要進行“去噪”處理。

（2）“揭”：該圖像沒有明顯的沉降、錯位和錯層，經判定無需進行畫面複位。

（3）“補”：該圖像上有一條貫穿佛像面部的橫向裂痕，右側眼部附近有大面積脫落，背光、胸部和白色衣物均有大面積稀碎脫落區域，通過ACP-LaMa算法進行1至2次打掩碼修復，修復效果理想。

（4）“全”：圖5-3標註的小面積病害和線段問題，相關病害多且雜，需要仔細修復，大部分區域打1次掩碼可達到理想效果，少數區域需要2至3次修復。

（二）修復結果及評價

綜合修復結果，本課題採用的中國古畫算法修復方法基本達到了課題制定的評價標準。該實驗採用的是“中度修復”的標準，遵循最小干預原則，並沒有進行精細化修復，而是保持了畫面整體統一、古樸的特徵。每一處破損都採用1至3遍算法修復，視覺上基本達到修復標準要求即可。各個環節的修復基本上都可以達到色彩過渡自然、色塊銜接合理、線條平滑、墨色講究、藝術風格統一和紋理匹配準確。課題組邀請修復專家對修復結果的“客觀性”進行評價，修復專家認為此次修復基本達標。同時，該算法對古畫面部信息的理解還有待提高，眉毛和眼角的修復有所欠缺，可由繪圖工具加以輔助。局部修復結果對比如圖（圖6）。

圖6 局部瀝粉貼金技法修復和線段修復對比圖。

（三）其他實驗案例（圖7—圖9）

圖7 宋代絹本繪畫孔子弟子局部圖像修復對比圖。

圖8 明代張弼書法作品局部圖像修復對比圖。

圖9 故宮藏“漆器” 作品局部圖像修復對比圖。

六、研究成果的創新性價值

由課題組提出的中國古畫圖像修復的AI深度學習算法ACP-LaMa，基於制定科學的修複流程和評價方法，可對中國古畫數字圖像進行高效的虛擬修復，是人工修復向科技修複發展的實踐案例。項目算法成果可以全局理解較高清晰度的中國古畫圖像信息和中國畫線條特徵，對大面積缺損修復效果較為理想；修復區實現了筆墨語言、色彩信息和紋理質感與原圖匹配，修復區域基本達到氣韻生動、肉眼難辨的效果。算法應用運算高效、操作簡明，適用於多類型中國古畫修復，具有良好的推廣性。

“基於神經網絡算法的古畫圖像還原修復方法研究”項目通過跨學科視角將文化、藝術和科技進行聯動，應用於輔助文物修復保護、美術研究和公眾服務等領域，綜合實現了其學術價值、應用價值、社會價值和時代價值。

本文系國家社科基金藝術學青年項目“基於神經網絡算法的古畫圖像還原修復方法研究”（項目批准號：17CF198）階段性成果。