高精圖像分割新標杆！BiRefNet雙邊參考框架突破細節瓶頸，性能激增

隨着高分辨率成像技術的飛速發展，圖像分割技術已從傳統的粗略定位邁入高精度細節處理時代。無論是工業檢測（如橋樑裂縫檢測）、醫療影像分析，還是影視特效製作（如動態毛髮摳圖），都對圖像分割的精細度要求越來越高。

然而，現有方法在處理高分辨率圖像時面臨兩大難題：細節丟失與計算成本高昂。精細結構（如毛髮、裂紋）的分割精度不足，以及訓練超大尺寸圖像時的資源消耗，成為技術落地的瓶頸。

在此背景下，南開大學媒體計算實驗室聯合多個科研團隊提出birefnet，一種基於雙邊參考框架的高效、高精度圖像分割模型。該模型在dis（高精度圖像二值分割）、cod（偽裝目標檢測）、hrsod（高分辨率顯著目標檢測）等任務中表現卓越，以6.8%的平均性能提升超越現有方法，並成功應用於工業檢測、影視製作等領域。

截至目前，birefnet github主頁已獲2k stars，hugging face社區模型總下載量超過三百萬，可以說，birefnet是目前最好的開源高精度圖像分割方案。同時，birefnet也已上線始智ai-wisemodel開源社區，歡迎前去體驗。

模型地址

https://wisemodel.cn/models/birefnet-group/birefnet/

01.

雙邊參考框架的突破性創新

birefnet的核心創新在於其獨特的雙邊參考框架（bilateral reference framework），包含定位模塊（lm）與重建模塊（rm），通過多層次信息融合與梯度監督，實現細節與效率的雙重提升。

圖1 雙邊參考網絡（birefnet）的流程圖

1）定位模塊（lm）：全局語義的高效捕捉

定位模塊採用基於視覺transformer的編碼器，提取圖像的多層次特徵。通過全局平均池化與自適應多尺度上下文融合（aspp模塊），模型能在低分辨率下快速鎖定目標區域，生成粗略預測圖。這一設計顯著降低了後續處理的複雜度，為高分辨率重建奠定基礎。

 2）重建模塊（rm）：雙邊參考的細節復原

重建模塊是birefnet的核心，包含兩大創新設計：

• 內部參考（inref）：直接利用原始高分辨率圖像的局部區塊，避免下採樣導致的細節丟失。通過自適應裁剪與解碼器特徵融合，確保每個重建階段均能補充完整的高頻信息。

• 外部參考（outref）：引入梯度圖作為監督信號，通過梯度敏感特徵生成注意力圖，引導模型聚焦於邊緣與紋理複雜區域。結合形態學掩膜技術，有效抑制背景噪聲干擾。

 3）梯度監督與多階段訓練策略

birefnet提出梯度輔助監督機制，利用真實標籤（gt）與預測梯度圖的雙向優化，增強模型對微弱邊緣的捕捉能力。

同時，針對高分辨率數據訓練成本高的問題，團隊設計了多階段監督（mss）策略，通過中間預測的逐級優化，將訓練周期縮短50%，並支持區域級損失微調，顯著提升收斂效率。

birefnet在13個主流數據集上進行了全面驗證，涵蓋dis、hrsod、cod等主流圖像分割任務，其性能與效率均達到行業領先水平。

 1）定量實驗結果 （具體指標對比可以見原論文） 

dis任務：在dis5k數據集上，birefnet的結構相似度指標（例如s-measure、最大e-measure，更關注全局信息) 、像素級指標（如mae，更強調細節的精確性）、基於平均值的指標（例如平均e-measure、平均f-measure，更符合實際應用中閾值化地圖的要求)。均大幅領先於之前的方法。特別值得注意的是，在更貼近實際應用的指標上（如人工矯正量指標hce），birefnet的結果同樣更好。

cod任務：在cod 任務中，birefnet 相比之前的最先進模型也表現出色，在三個廣泛使用的 cod 基準上，s-measure指標平均提高了 5.6%。這些結果顯示了birefnet 在高分辨率任務上的顯著泛化能力。

sod任務：birefnet在高分辨率和低分辨率顯著物體檢測基準上都取得了更高的準確性。與之前的最先進方法相比，birefnet 在s-measure指標上平均提高了 2.0%。

推理效率：配備swin-l骨架網絡的birefnet在單張nvidia a100 gpu上推理速度達83ms/幀，支持實時處理4k分辨率圖像。

 2）定性效果展示

如圖2所示，birefnet在具有鏤空區域及細長結構的複雜場景中展現出卓越的幾何細節保持能力。在dis5k數據集的干擾場景下，模型準確排除背景干擾物，並精確完成像素級前景分割。

在偽裝目標數據集cod10k中，如圖3所示，birefnet成功分割出被樹枝遮擋的完整昆蟲主體，有效解決了傳統方法在遮擋下存在的語義斷裂問題。

圖2 birefnet在dis5k數據集上結果的視覺展示。對於鏤空與細長結構也能精細分割。

圖3 在cod10k基準測試上提出的birefnet與其他先進方法的視覺比較。提供具有不同挑戰性（如微小物體，被遮擋物體等）樣本， 以展示birefnet在各種複雜場景的優越性。

birefnet的高精度與泛化能力，使其在多個領域展現出巨大潛力：

 1）工業質檢：微小缺陷的精準定位

在建築裂縫檢測中（圖4b），birefnet可識別毫米級裂紋，精度遠超基於coco數據集訓練的通用模型。某建材企業通過部署birefnet，將人工巡檢成本降低70%，並實現裂縫寬度量化分析。

 2）影視特效：高精度對象提取

傳統摳圖工具依賴手動標註或粗粒度掩膜，而birefnet可直接生成髮絲級分割結果（圖4a）。美國某特效工作室將其集成至後期流程，單鏡頭處理時間縮短60%，並支持8k視頻實時渲染。

 3） 醫學影像：複雜結構的自動化分析

在病理切片分析中，birefnet能夠精確分割腫瘤邊緣與微血管網絡，輔助醫生快速定位病灶。初步臨床試驗顯示，其分割結果與專家標註的一致性達95%。

自 2024 年3月7日項目發佈以來，birefnet 已經在學術界和開發者社區引起了廣泛關注。許多研究人員和開發者自發地推廣和應用這一技術，並基於 birefnet 開發了一系列創新的第三方應用。

例如，一些開發者將 birefnet 集成到 comfyui 作為節點，極大地提升了前景分割摳圖的效果，為後續的穩定擴散模型處理提供了有力支持（圖4c-d）。 

圖4 潛在應用場景及基於 birefnet實現的第三方應用展示

此外，fal.ai 還為 birefnet 建立了一個在線演示平台，運行在 a6000 gpu 上，為用戶提供了一個便捷的在線體驗環境。該平台不僅提供了結果預測功能，還提供了 api 服務，方便用戶通過 http 請求進行使用，日均處理請求超10萬次（圖4e）。

在社交媒體上，birefnet 也引發了熱烈的討論和廣泛的傳播。許多用戶在 x 平台（前身為 twitter）上分享了 birefnet 與其他方法的視覺比較結果，展示了 birefnet 在高分辨率圖像分割任務中的最優性能（圖4f-g）。

這些比較不僅證明了 birefnet 的技術優勢，也激發了更多開發者嘗試和應用這一技術的興趣。此外，一些用戶還利用 birefnet 製作了動畫和視頻教程，進一步推動了 birefnet 在社區中的傳播和應用。社媒對birefnet模型的一致好評強有力的證明了birefnet是目前最好的開源高精度圖像分割方案。

birefnet 的出現為高分辨率圖像分割領域帶來了新的希望和機遇。其創新的雙邊參考機制和優化的訓練策略不僅在多個基準測試中取得了優異的性能，還在實際應用中展現出了強大的潛力。

隨着技術的不斷發展和優化，birefnet 有望在更多領域得到應用和推廣，為計算機視覺技術的發展注入新的活力。

未來，birefnet 的研究團隊將繼續致力於提升模型的性能和效率，探索更多的應用場景和優化策略。例如，研究團隊可能會進一步優化模型的結構和訓練算法，以降低模型的計算複雜度和內存佔用，使其更適合在移動設備和邊緣計算環境中運行。

此外，團隊還在繼續探索將 birefnet 與其他主流技術（如多模態、視頻分割等）相結合，以進一步提升模型的性能和泛化能力。

在應用層面，birefnet 有望在醫療影像診斷、自動駕駛、工業檢測等領域發揮更大的作用。例如，在醫療影像診斷中，birefnet 的高分辨率分割能力可以幫助醫生更精準地識別病變區域，提高診斷的準確性和效率。

在自動駕駛領域，birefnet 可以用於道路標誌和障礙物的精準檢測，為自動駕駛系統的決策提供更可靠的依據。在工業檢測中，birefnet 可以用於檢測產品表面的缺陷和瑕疵，提高生產質量和效率。

論文地址：https://arxiv.org/pdf/2401.03407

關於wisemodel更多