?圖像修復是一種計算機視覺技術，其中可以填充圖像中缺少的像素。它通常用于從圖像中刪除不需要的對象或重新創建被遮擋的圖像的缺失區域。修復是預測缺失圖像數據的常用工具，但是以逼真的，連貫的方式合成缺失像素是一項挑戰。



東京大學的研究人員提出了一種基于頻率的修復方法，該方法可以同時使用頻率和空間信息來生成缺失的圖像部分。Hiya Roy等人在《電子成像雜志》（JEI）上發表。“Image inpainting using frequency domain priors”中詳細介紹了該技術。當前的方法在學習過程中僅采用空間域信息，這可能會使內部重建的細節丟失，從而導致僅估計原始補丁的低頻部分。為了解決該問題，研究人員研究了基于頻率的圖像修復，并證明了在頻域中將修復轉換為反卷積可以預測缺失圖像區域的局部結構。



CelebA數據集上不同圖像修復方法的語義特征完成結果的視覺比較。



a）輸入具有缺失區域的圖像，b）作者的反卷積網絡進行的第一階段重構的DFT，c）擬議方法的圖像修復結果（第二階段之后），以及d）地面真實（GT）圖像。最后一列顯示了通過新方法獲得的缺失區域的預測以及GT圖像中相同區域的原始像素值。



羅伊說，頻域信息包含豐富的表示形式，使網絡能夠以比僅使用空間域信息的傳統方式更好的方式執行圖像理解任務。因此，在這項工作中，我們嘗試通過使用頻域和空間域信息來訓練網絡來實現更好的圖像修復性能。



歷史上，圖像修復算法分為兩大類。基于擴散的圖像修復算法嘗試將圖像的外觀復制到缺失區域中。這種方法可以很好地填充小孔，但是結果的質量會隨著孔大小的增加而降低。第二類是基于補丁的修補算法，該算法在圖像中尋找最合適的補丁以填充缺失的部分。此方法可以填充較大的孔，但對圖像的復雜或獨特部分無效。



這項研究的獨創性在于作者在去卷積網絡的修復的第一階段就使用了頻域表示，即通過快速傅里葉變換獲得的圖像頻譜。波爾多大學，JEI高級編輯表示，這產生了捕獲圖像結構元素的粗糙修復結果。然后，通過GAN網絡在像素域中完成了改進。在所有質量指標（PSNR，SSIM和L1）上，他們的方法都優于最新技術。



Roy及其同事表明，在頻域中進行反卷積可以使用來自圖像的上下文來預測圖像結構的缺失區域。在第一階段，他們的模型使用頻域信息學習上下文，然后重建高頻部分。在第二階段，它使用空間域信息來指導圖像的配色方案，然后增強在第一階段中獲得的細節和結構。結果是更好的修復效果。



Roy等人說，實驗結果表明，通過生成更清晰的細節和感知上逼真的修復效果，我們的方法可以在具有挑戰性的數據集上取得比最新技術更好的結果。 根據我們的經驗結果，我們認為同時使用頻率和空間信息的方法應具有優勢，因為它們具有優越的性能。



該小組希望他們的研究成為跳板，以擴展其他類型的頻域變換的使用，以解決諸如圖像去噪之類的圖像恢復任務。

原文鏈接：https://www.xianjichina.com/special/detail_479765.html
來源：賢集網
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。