關注並星標
從此不迷路
計算機視覺研究院
公眾號ID｜ComputerVisionGzq
學習群｜掃碼在主頁獲取加入方式
為了克服在合成數據集上訓練的去霧模型的過擬合問題，許多最近的方法試圖使用非成對數據進行訓練來提高模型的泛化能力。然而其中大多數方法僅僅簡單地遵循 CycleGAN 的思路構建去霧循環和上霧循環，卻忽略了現實世界中霧霾環境的物理特性，即霧霾對物體可見度的影響隨深度和霧氣密度而變化。
在本文中，我們提出了一種自增強的圖像去霧框架，稱為D4（Dehazing via Decomposing transmission map into Density and Depth），用於圖像去霧和霧氣生成。我們所提出的框架並非簡單地估計透射圖或清晰圖像，而是聚焦於探索有霧圖像和清晰圖像中的散射係數和深度信息。通過估計的場景深度，我們的方法能夠重新渲染具有不同厚度霧氣的有霧圖像，並用於訓練去霧網絡的數據增強。值得注意的是，整個訓練過程僅依靠非成對的有霧圖像和清晰圖像，成功地從單個有霧圖像中恢復了散射係數、深度圖和清晰內容。
綜合實驗表明，我們的方法在參數量和 FLOP 更少的情況下去霧效果優於最先進的非成對去霧方法。本工作是由京東探索研究院聯合天津大學、悉尼大學完成，已經被CVPR2022 接收。
01 研究背景
霧霾是由氣溶膠粒子在大氣中的散射效應引起的一種自然現象。它會嚴重影響圖片中的內容的可見性，給人類和計算機視覺系統帶來影響。
藉助深度神經網絡強大的學習能力，大量的有監督方法都已經被提出並被應用於圖像去霧。通過使用大量合成的有霧-清晰圖像對的訓練，有監督的深度去霧方法在特定的測試集上取得了令人滿意的結果。然而，合成的有霧圖像和真實世界的有霧圖像之間存在較大的差距。僅僅在成對圖像上進行訓練的去霧模型很容易過擬合，從而導致在真實世界有霧圖像中泛化很差的現象。
而由於現實世界中有霧/清晰的圖像很難獲得，所以近年來，研究人員提出了許多使用非成對有霧/清晰圖像的深度學習方法來訓練圖像去霧模型。其中，許多方法採用了基於CycleGAN[1] 的思想，來構建去霧循環和上霧循環，從而可以在進行有霧圖像和清晰圖像進行轉換的同時保持內容一致性。
然而，我們認為，簡單地使用 CycleGAN 的思想，通過網絡端到端地實現有霧圖像域和清晰圖像域之間的轉換並不能夠很好地解決非成對圖像去霧這一問題。現有的基於構建循環的去霧方法忽略了真實有霧環境的物理特性，即真實世界中的霧氣對圖像的影響隨着霧氣濃度和深度的變化而變化，這種關係已經由大氣散射模型[2]給出描述，即一張有霧圖像可以表示為：
（1）
其中，J(x)為清晰圖像，A為大氣光，可以使用[3]中的方法直接確定。t(x)為透射圖，可進一步表示為：
（2）
其中
本方法目標是在原始 CycleGAN 處理非成對圖像去霧方法的基礎上，引入考慮霧氣密度與場景深度的物理模型，使得模型在訓練過程中可以合成更加真實且厚度有變化的霧氣，從而達到數據增強，進而提升模型去霧效果的目的。
圖1 （1）基於CycleGAN的非成對去霧圖示，（2）所提出的方法圖示及（3）結果對比
02 基於深度和密度分解的自增強非成
對圖像去霧方法
我們提出了一種基於深度和霧氣密度分解的自增強非成對圖像去霧框架。其訓練過程包括兩個分支，去霧-上霧分支和上霧-去霧分支。如圖2上半部分，在去霧-上霧分支中，一張有霧圖像 首先輸入去霧網絡 中得到估計的透射圖 和估計的散射係數 ，進一步通過式(1)合成清晰圖像 。
同時，根據式(2)，其深度 可以通過估計的透射圖和散射係數一併求出。之後將 輸入深度估計網絡 ，得到估計的深度圖 。然後使用得到的深度圖 和先前得到的散射係數 根據式(1)、(2)得到粗有霧圖像，再經過細化網絡 得到最終的上霧圖像 。而在上霧-去霧分支中，如圖2下半部分，起點則變為了清晰圖像 。
其首先輸入深度估計網絡 得到估計的深度 ，結合在均勻分布里隨機採樣的散射因子 ，根據式(1)、(2)得到粗上霧圖像，再經過細化網絡 得到上霧圖像 。得到的上霧圖像再經過去霧網絡 得到估計的透射圖 和估計的散射係數 ，進一步通過式(1)合成清晰圖像 。
其中對散射因子 進行隨機採樣是我們的一個創新點，因為自然界中的霧氣是有着輕重薄厚之分的，所以通過對散射因子 進行隨機採樣並輸入到下面的霧氣合成部分，我們的網絡便可以在訓練過程中提供富於薄厚變化的霧氣，從而達到自增強的目的。
圖2 框架訓練過程示意圖
注意這裡 與 是非成對的清晰/有霧圖像。為了保證整個框架能夠正常訓練，我們使用了若干項損失函數，包括循環一致性損失，對抗損失，偽散射因子監督損失和偽深度監督損失。
循環一致性損失要求在兩個分支中，重建的有霧圖像 應當與給定的有霧圖像 一致，重建的清晰圖像 應當與給定的清晰圖像 一致。其目的是保持圖像內容的一致性。循環一致性損失 表示為：
對抗損失評估生成的圖像是否屬於特定域。換句話說，它約束我們的去霧和再霧化圖像應該是視覺上逼真的，並且分別遵循與訓練集 和 中的圖像具有相同的分布。對於去霧網絡 和對應的判別器 ，對抗損失可以表示為：
其中 是從清晰圖像集合 中採樣得到的真實清晰圖像樣本。 是通過去霧網絡 得到的去霧結果。 是用於判斷輸入圖像是否屬於清晰域的判別器。相對應的，圖像細化網絡 和對應的判別器 所使用的對抗損失可以表示為：
其中 是從有霧圖像集合 中採樣得到的真實有霧圖像樣本。 是通過細化網絡 得到的上霧圖片。 是用於判斷輸入圖像是否屬於有霧域的判別器。
由於並不存在直接可用的成對深度信息與成對的散射因子信息用於訓練深度估計網絡和散射因子估計網絡。我們引入了偽散射因子監督損失和偽深度監督損失來訓練這兩個子網絡。
偽散射因子監督損失是指在上霧-去霧分支中，由去霧網絡 預測的散射因子 應當與隨機生成的 的值保持一致。其可以表示為：
偽深度監督損失是指在去霧-上霧分支中，由深度網絡 預測的深度 應當與由 和 求出的 保持一致。其可以表示為：
其中深度估計網絡 直接由深度估計損失 優化，其餘的模塊則由
03 實驗結果
表1 各方法在各數據集上的性能表現
我們將所提出的方法與其他有監督，無監督以及非成對的去霧方法進行了對比，其中有監督的對比方法包括 EPDN[4]、FFANet[5]、HardGAN[6]、PSD[7]，非成對方法包括CycleGAN[1], CycleDehaze[8], DisentGAN[9], RefineDNet[10]，無監督方法包括DCP[3]，YOLY[11]。
定量實驗結果比較。為了驗證我們的方法相較於有監督的方法有着更好的泛化性能，相較於其他無監督或非成對方法也有更好的去霧性能，我們在 SOTS-indoor 數據集上對這些方法進行訓練並在其他數據集上測試它們的性能。同時我們還測試了這些方法的模型參數量和 FLOPs 用來測試這些模型的效率。結果如表1所示。
定性實驗結果比較。為了驗證我們的方法相較於其他方法的優勢，我們還在多個數據集以及真實有霧圖像上進行了定性的測試。其結果如圖3、圖4所示。其中圖3第一組，第二組圖像是 SOTS-indoor 的測試集，與訓練集分布類似，可以看到 FFANet 去霧效果最好，我們的方法優於除了 FFANet 的其餘方法。
第三四張分別來自 SOTS-outdoor 和 IHAZE 數據集，與訓練集分布不同。可以看出我們的方法相較其他方法去霧更加徹底，且相對其他方法如 cycledehaze 顏色失真較小，生成的結果更加自然。圖4展示了兩個真實圖像去霧的例子，可以看到我們的方法去霧結果明顯好於其他方法，說明我們的模型泛化能力相對其他模型有着明顯優勢。
除此之外，我們的方法還可以用於有霧圖像的生成，此類技術可以應用於圖像或視頻編輯中，相較於其他的方法，我們的方法生成的有霧圖像可以隨意變化霧氣的薄厚程度，而且更加富有真實感，如圖5所示。
另外，區別於其他的非成對圖像去霧方法，我們的模型還支持對清晰圖像進行相對深度預測，其效果如圖6所示，雖然相比於其他有監督的深度估計網絡，深度估計準確度有限，但我們的方法是首個能夠利用非成對的有霧/清晰圖像訓練出了能夠估計場景深度的方法。
圖3各個方法在測試集上的定性效果比較
圖4 各個方法在真實圖像上的去霧結果對比
圖5 所提出的方法在生成有霧圖像上的效果
圖6 所提出的方法在深度估計上的效果
04
結論
本文提出了一種自增強的非成對圖像去霧框架D4，該框架將透射圖的估計分解為對霧氣密度（散射因子）和深度圖的預測。根據估計的深度，我們的方法能夠重新渲染具有不同霧氣厚度的有霧圖像並且用作自增強，以提高模型去霧性能。充分的實驗驗證了我們的方法相對於其他去霧方法的優越性。
但我們的方法也存在着局限性，它通常會過度估計極端明亮區域的透射圖，這將誤導深度估計網絡對過亮區域預測得到較小的深度值。並且我們發現低質量的訓練數據會導致訓練不穩定。儘管如此，我們提出的在物理模型中的變量進一步分解思路可以擴展到其他任務，比如低光照增強等。希望我們的方法能夠啟發未來的工作，尤其是底層視覺中的非成對學習任務。
文章：https://openaccess.thecvf.com/content/CVPR2022/html/Yang_Self-Augmented_Unpaired_Image_Dehazing_via_Density_and_Depth_Decomposition_CVPR_2022_paper.html
代碼：代碼已公布 https://github.com/YaN9-Y/D4
參考文獻
[1] Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A Efros. Unpaired image-to-image translation using cycle- consistent adversarial networks. In ICCV, pages 2223–2232, 2017
[2] Srinivasa G Narasimhan and Shree K Nayar. Chromatic framework for vision in bad weather. In CVPR, volume 1, pages 598–605, 2000.
[3] Kaiming He, Jian Sun, and Xiaoou Tang. Single im- age haze removal using dark channel prior. IEEE TPAMI, 33(12):2341–2353, 2010.
[4] Yanyun Qu, Yizi Chen, Jingying Huang, and Yuan Xie. En- hanced pix2pix dehazing network. In CVPR, pages 8160– 8168, 2019.
[5] Xu Qin, Zhilin Wang, Yuanchao Bai, Xiaodong Xie, and Huizhu Jia. Ffa-net: Feature fusion attention network for single image dehazing. In AAAI, volume 34, pages 11908– 11915, 2020
[6] Qili Deng, Ziling Huang, Chung-Chi Tsai, and Chia-Wen Lin. Hardgan: A haze-aware representation distillation gan for single image dehazing. In ECCV, pages 722–738.
[7] Zeyuan Chen, Yangchao Wang, Yang Yang, and Dong Liu. Psd: Principled synthetic-to-real dehazing guided by phys- ical priors. In CVPR, pages 7180–7189, June 2021. [8] Shiwei Shen, Guoqing Jin, Ke Gao, and Yongdong Zhang. Ape-gan: Adversarial perturbation elimination with gan. arXiv preprint arXiv:1707.05474, 2017.
[8] Deniz Engin, Anil Genc¸, and Hazim Kemal Ekenel. Cycle- dehaze: Enhanced cyclegan for single image dehazing. In CVPRW, pages 825–833, 2018.
[9] Xitong Yang, Zheng Xu, and Jiebo Luo. Towards percep- tual image dehazing by physics-based disentanglement and adversarial training. In AAAI, volume 32, pages 7485–7492, 2018.
[10] Shiyu Zhao, Lin Zhang, Ying Shen, and Yicong Zhou. Refinednet: A weakly supervised refinement framework for sin- gle image dehazing. IEEE TIP, 30:3391–3404, 2021.
[11] Boyun Li, Yuanbiao Gou, Shuhang Gu, Jerry Zitao Liu, Joey Tianyi Zhou, and Xi Peng. You only look yourself: Unsupervised and untrained single image dehazing neural net- work. IJCV, 129(5):1754–1767, 2021.
© THE END
轉載請聯繫本公眾號獲得授權
計算機視覺研究院學習群等你加入！
ABOUT
計算機視覺研究院
計算機視覺研究院主要涉及深度學習領域，主要致力於人臉檢測、人臉識別，多目標檢測、目標跟蹤、圖像分割等研究方向。研究院接下來會不斷分享最新的論文算法新框架，我們這次改革不同點就是，我們要着重”研究“。之後我們會針對相應領域分享實踐過程，讓大家真正體會擺脫理論的真實場景，培養愛動手編程愛動腦思考的習慣！
VX：2311123606
