everlyn 投稿
量子位 | 公眾號 qbitai
超低成本圖像生成預訓練方案來了——
僅需8張gpu訓練，就能實現近sota的高質量圖像生成效果。
劃重點：開源。
模型名為lightgen，由港科大harry yang團隊聯合everlyn ai等機構打造，藉助知識蒸餾（kd）和直接偏好優化（dpo）策略，有效壓縮了大規模圖像生成模型的訓練流程。
lightgen不僅顯著降低了數據規模與計算資源需求，而且在高質量圖像生成任務上展現了與sota模型相媲美的性能。
圖像inpainting效果belike：
lightgen相較於現有的生成模型，儘管參數量更小、預訓練數據規模更精簡，卻在geneval圖像生成任務的基準評測中甚至超出了部分最先進sota模型。
此外，lightgen在效率與性能之間實現了良好的平衡，成功地將傳統上需要數千gpu days的預訓練過程縮短至僅88個gpu days，即可完成高質量圖像生成模型的訓練。
以下是更多細節。
lightgen長啥樣？
文本到圖像（text-to-image, t2i）生成任務近年來取得了飛速進展，其中以擴散模型（如stable diffusion、dit等）和自回歸（ar）模型為代表的方法取得了顯著成果。
然而，這些主流的生成模型通常依賴於超大規模的數據集和巨大的參數量，導致計算成本高昂、落地困難，難以高效地應用於實際生產環境。
為了解決這一難題，香港科技大學harry yang教授團隊聯合everlyn ai和ucf，提出了lightgen這一新型高效圖像生成模型，致力於在有限的數據和計算資源下，快速實現高質量圖像的生成，推動自回歸模型在視覺生成領域更高效、更務實地發展與應用。
lightgen採用的訓練流程主要包括以下關鍵步驟：
一、數據kd
利用當前sota的t2i模型，生成包含豐富語義的高質量合成圖像數據集。
這一數據集的圖像具有較高的視覺多樣性，同時包含由最先進的大型多模態語言模型（如gpt-4o）生成的豐富多樣的文本標註，從而確保訓練數據在文本和圖像兩個維度上的多樣性。
二、dpo後處理
由於合成數據在高頻細節和空間位置捕獲上的不足，作者引入了直接偏好優化技術作為後處理手段，通過微調模型參數優化生成圖像與參考圖像之間的差異，有效提升圖像細節和空間關係的準確性，增強了生成圖像的質量與魯棒性。
通過以上方法，lightgen顯著降低了圖像生成模型的訓練成本與計算需求，展現了在資源受限環境下獲取高效、高質量圖像生成模型的潛力。
實驗效果如何？
作者通過實驗對比了lightgen與現有的多種sota的t2i生成模型，使用geneval作為benchmark來驗證lightgen模型和其它開源模型的性能。
結果表明，lightgen模型在模型參數和訓練數量都小於其它模型的的前提下，在256×256和512×512分辨率下的圖像生成任務中的表現均接近或超過現有的sota模型。
lightgen在單物體、雙物體以及顏色合成任務上明顯優於擴散模型和自回歸模型，在不使用dpo方法的情況下，分別達到0.49（80k步訓練）和0.53的整體性能分數。
在更高的512×512分辨率上，lightgen達到了可比肩當前sota模型的成績，整體性能分數達到0.62，幾乎超過所有現有方法。
特別地，加入dpo方法後，模型在位置準確性和高頻細節方面的表現始終穩定提升，這體現了dpo在解決合成數據缺陷上的有效性。
除此之外，消融實驗結果顯示，當數據規模達到約100萬張圖像時，性能提升會遇到瓶頸，進一步增加數據規模帶來的收益很有限。因此，作者最終選擇了200萬張圖像作為最優的預訓練數據規模。
上圖(b)探討了不同訓練迭代次數對geneval在256與512分辨率下性能的影響。
值得注意的是，在256像素階段，僅經過80k訓練步數便能達到相當不錯的性能，這突顯了數據蒸餾方法在訓練效率上的優勢。
團隊表示，未來研究可進一步探索該方法在其他生成任務（如視頻生成）上的應用，推動高效、低資源需求的生成模型進一步發展。
論文鏈接：https://arxiv.org/abs/2503.08619
模型鏈接：https://huggingface.co/beckham808/lightgen
項目鏈接：https://github.com/xianfengwu01/lightgen
