來源：學術頭條
作者：閆一米編輯：學術君
如今，人工智能（AI）不僅越來越多地被應用在科學和商業領域中，而且在藝術領域也開始嶄露頭角。
當人們對層出不窮的AI 技術感到驚嘆時，一項新的AI 壁畫修復技術出現了。
近日，為解決中國古代壁畫傑作永樂宮壁畫的“修復難”問題，來自山西大同大學、馬來西亞理科大學、大理大學的研究團隊提出了一個能夠修復巨型壁畫的AI 模型——3M-Hybrid。
據介紹，與四種代表性成交量積神經網絡（CNN）模型中的最佳模型相比，該模型在常規尺寸的壁畫修復中將SSIM 和PSNR 分別提高了14.61% 和4.73%。此外，它在巨大壁畫的最終修復中也取得了良好的結果。
相關研究論文以“A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case Study on the Murals of Yongle Palace”為題，已發表在預印本網站arXiv 上。
AI 如何修復大尺寸壁畫？
永樂宮壁畫位於山西省芮城的永樂宮（又名大純陽萬壽宮），其藝術價值最高的首推精美的大型壁畫。整個壁畫共有1000 餘平方米，分別畫在無極殿、三清殿、純陽殿和重陽殿裡。
作為寶貴的文化遺產，永樂宮壁畫代表了中國繪畫史上的藝術傑作。然而，由於長期缺乏維護，這些獨特的壁畫出現了許多缺陷，修復壁畫成為了一項緊迫的任務。
與手工修復技術相比，數字修復方法更加高效和可逆，特別是基於深度學習的圖像修復技術取得了顯著的成就。然而，對基於深度學習的壁畫修復文獻主要關注敦煌壁畫或其他常規尺寸的壁畫，缺乏專門針對永樂宮壁畫及類似巨大壁畫修復的研究。
與其他關於壁畫修復的研究相比，巨大的永樂宮壁畫的修復工作面臨兩個主要挑戰：1）永樂宮壁畫具有稀缺性和獨特的風格；2）壁畫尺寸巨大，模型在修復不同類型和尺寸缺陷方面的熟練程度有限。
圖｜永樂宮壁畫殘缺的類型和規模上各不相同，實際殘缺的表現形式也更加多樣。
據論文描述，此次研究提出的3M-Hybrid 模型能夠有效修復永樂宮壁畫。其中，“3M”指的是三個關鍵策略：多頻率、多角度和多尺度，而“Hybrid”指的是混合型CNN-VIT 網絡。
首先，研究團隊將巨大的壁畫分割成常規尺寸的部分進行修復，然後將修復後的部分重新組裝成原始尺寸。為了使常規尺寸壁畫修復模型能夠在有限的圖像數據量下有效處理各種類型和尺寸的缺陷，研究考慮了兩個方面：優化訓練數據和完善模型結構。
為了實現更好的修復效果，該研究採用了專門用於學習和提取這些高頻和低頻信號的獨立網絡，從而增強了在這些特定頻率範圍內的特徵學習和修復能力。基於頻率的訓練方法使模型能夠有效處理不同尺度和類型的缺陷。
在模型結構方面，該研究將成交量積神經網絡（CNN）與預訓練的視覺變換器（VIT）集成在一起，從而增強模型的特徵提取能力。
此外，在修復巨大壁畫時，基本的切割方法在修復超大尺寸的缺陷時會導致接縫間隙和結構失真。為了解決這個問題，研究團隊採用了多角度策略來減小間隙，並使用了多尺度方法，結合切割和縮小方法。這確保了精確的修復，同時增強了壁畫整體結構的提取，解決了多尺度缺陷的問題。
從可視化的表現來看，該模型在自由粉塵狀、自由膠狀和自由線性掩膜的修復結果方面表現出可觀的效果。此外，對自由形狀塊掩膜的修復結果展現了保留的結構完整性和可信的紋理。 3M-Hybrid 模型被證明是恢復這些獨特而巨大壁畫的可行方法。
然而，該研究也並非完美。
首先，研究提出的方法依賴於多次實驗以選擇三個尺度融合權重的最佳值。然而，考慮到權重設置涵蓋了無數的可能性，而實驗次數有限，這種方法可能不夠精確。因此，基於實驗結果確定的權重值只能保證相對有利的最終結果。
其次，研究使用的評估指標不夠客觀。目前使用的四個評估指標沒有對圖像結構進行全面評估，通常不能準確反映人類對圖像的感知和評價。
但是，不可否認的是，該研究探討了深度學習在巨大壁畫修復中的應用，特別關注了利用深度學習技術來修復永樂宮壁畫，其代表了首次嘗試探索大規模藝術品的深度學習修復方法。
另外，在改進常規尺寸圖像修復模型方面，該研究從數據和結構兩個角度綜合改進。這為未來研究提供了對修復獨特小數據集的新見解。
幫助人類延續文物生命
過去幾年間，人們也見證了AI 技術和文物歷史的奇妙結合。
2020 年，一位名叫“大谷Spitzer”的微博網友，便利用AI 技術將人民日報4 年前發布的1920 年北京黑白影像資料做了修復，完成了上色、修復幀率、擴大分辨率等工作。
2021 年，騰訊多媒體實驗室也與敦煌研究院合作，利用深度學習方法分析敦煌壁畫病害數據，開發出了高效的AI 壁畫病害識別工具，同時提供了沉浸式遠程會診技術，使用4K 超清畫質的360 度畫面展示洞窟內景象和文物細節，實現了無障礙遠程文物會診。
今年6 月，在成都舉辦的遺產日主場城市活動“文物保護利用與文化自信自強”主題論壇上，騰訊展示了運用AI 技術完成的三星堆人機協同模擬拼接效果。
AI 技術在文物修復領域的諸多應用令人興奮。未來，期待AI 技術在文物保護、修復等方面能夠更進一步，幫助人類延續文物生命。
論文鏈接：
https://arxiv.org/abs/2309.06194
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載