NeurIPS 2023 Spotlight: 面向不平衡學習的細粒度泛化分析

講者簡介

王子泰

個人簡介：

中國科學院信息工程研究所19級直博生，導師為黃慶明教授，研究方向為數據挖掘與機器學習，尤其關注複雜場景下模型評價與優化。在 IEEE TPAMI、NeurIPS、AAAI、ACMMM 等國際期刊/會議上發表 CCF-A 類論文 8 篇，其中第一作者 6 篇，Oral/Spotlight論文 4 篇。

Title

面向不平衡學習的細粒度泛化分析

A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning

Content

內容簡介

針對不平衡學習，一類簡單且有效的方法是修正原始損失函數，使學習過程更多關注少數類。當前損失修正方法，包括重加權與得分調整兩類，雖已取得顯著性能提升，但其理論分析仍然粗糙，無法解釋部分實驗結果。針對該問題，首先將局部化技術引入不平衡學習泛化分析，提出局部利普西茨性質及其壓縮引理，構造得到依賴損失函數局部性質的細粒度泛化誤差上界。其次，將上述泛化誤差上界應用於已有不平衡學習損失函數，不僅揭示了重加權、得分調整、延遲加權等機制與泛化性能的聯繫，還為已有損失函數提供了理論依據。進一步，根據理論分析結果，改進了已有不平衡學習方法，提出了對齊重加權機制與截斷得分調整機制，儘可能壓縮模型泛化誤差上界。在多個基準數據集上結果表明所提學習方法顯著改善了已有不平衡學習方法的性能。

論文鏈接：

https://arxiv.org/abs/2310.04752

代碼鏈接：

https://github.com/wang22ti/DDC

谷歌學術主頁：

https://scholar.google.com/citations?user=45qZ_LcAAAAJ&hl=zh-CN

1.研究背景

傳統機器學習方法通常假設樣本數量在類別間分佈均衡，然而真實數據集分佈往往呈現顯著不平衡態勢。在此場景下，經驗風險最小化框架（ERM）將偏向學習多數類，使得模型在少數類上泛化變得更為困難。鑒於此，一類簡單且有效的不平衡學習方法是修正原始損失函數，促使學習過程更加關注少數類。當前損失修正方法，可分為重加權與得分調整兩類，其中前者提高少數類樣本損失權重以鼓勵平衡學習，後者通過類別相關的得分調整項以改善每個類別間隔。常見的損失修正方法可形式化為如下形式，又名VS損失[1]：

同時，為準確評估模型性能，通常使用平衡準確率作為模型性能評價指標，即分別計算各類準確率，並以各類準確率均值作為性能評估指標。那麼，現有損失修正方法是否能夠保證模型在平衡準確率上的泛化性能？針對該問題，現有理論分析仍然粗糙，無法解釋部分實驗結果。具體而言，已有工作[5, 6]將各類別泛化誤差上界的均值直接作為整體泛化界，如下圖所示：

雖然簡單易懂，該泛化界存在兩方面問題：
理論層面，該泛化界粒度較粗且不夠緊緻。具體而言，不同損失函數間差異在於選擇不同的類別相關項，但證明唯一涉及的損失函數性質，即利普西茨連續性，是全局的，無法衡量這一差異。同時，由於求和項的上界小於各項上界的求和，若能夠直接約束整體泛化誤差，可獲得更為緊緻的泛化界：

經驗層面，雖然該泛化界誘導的LDAM損失優於CE損失，但效果並不顯著。而結合[5]中提出的延遲重加權機制（DRW），性能提升則更為顯著。然而，上述泛化誤差上界誤差解釋該經驗結果。

2. 理論分析

針對上述問題，首先提出直接約束整體泛化性能的引理，其中等式右側分母包含了最小類在訓練集佔比，直接揭示了不平衡學習泛化性能與數據不平衡程度的關聯：

進一步，為約束複合函數簇G，建模損失中類別相關項對泛化界的影響，提出局部利普西茨連續性及其誘導的壓縮引理：

綜合上述引理，並將之應用至VS損失，有如下定理：

其中，B_y(f)是各類樣本最小得分，與各類的最小間隔緊密相關。基於該泛化誤差，進一步有如下理論結果，詳見論文：（1）重加權與得分調整均可通過消除該泛化界中不平衡項改善模型泛化性能；（2）延遲重加權是必要的；（3）已有重加權項與得分調整項[2,3,4]均可改善模型泛化性能；（4）乘法調整可能與重加權存在不兼容問題，而加法調整項不存在該問題。

3. 所提方法

基於上述理論結果，本文改進了已有學習方法：（1）需綜合使用重加權、乘法得分調整、加法得分調整；（2）將重加權項直接與泛化界中不平衡項對齊，即Aligned DRW（ADRW）；（3）在使用重加權時取消使用乘法得分調整，即Truncated LA（TLA）。整體算法如下圖所示：

4. 實驗結果

首先通過一系列實驗驗證理論分析結果，其中下左圖驗證了DRW機制的必要性，下有圖驗證了乘法調整與重加權存在不兼容問題。

進一步，在CIFAR10 LT、CIFAR-100 LT、ImageNet-LT、iNaturalist等多個基準數據集驗證了所提方法的有效性：

若加入更多增強技術，如延長訓練輪數至400、精調weight decay、使用randaug技術，可取得更優性能，如在CIFAR-100數據集上結果如下，更多結果詳見代碼鏈接。

參考文獻

[1] Label-imbalanced and group-sensitive classification under overparameterization, NeurIPS 2021.
[2] Class-balanced loss based on effective number of samples, CVPR, 2019.
[3] Long-tail learning via logit adjustment, ICLR, 2021
[4] Identifying and compensating for feature deviation in imbalanced deep learning, Arxiv, 2020.
[5] Learning imbalanced datasets with label-distribution-aware margin loss, NeurIPS 2019.
[6] Balanced meta-softmax for long-tailed visual recognition, NeurIPS 2020.