近日，全球公認的 AI 領域頂尖專家之一、圖靈獎得主約書亞·本吉奧（Yoshua Bengio）對生成流網絡（GFlowNet，Generative Flow Network）與深度生成模型之間的聯繫做了介紹。
GFlowNet 是本吉奧提出的一種新的網絡生成方法，涉及「強化學習、深度生成模型和基於能量的概率建模」，其也與變分模型和推理有一定聯繫。
本吉奧在其個人網站曾提到，他很少對新的研究方向如此熱衷，其中之一就是 GFlowNet。
圖 | 約書亞·本吉奧（Yoshua Bengio）（來源：本吉奧個人網站）
本次的研究論文於 9 月 6 日，以《將生成模型與 GFlowNet 統一起來》（Unifying Generative Models with GFlowNets）為題提交在 arXiv 上。
首先對本吉奧做一簡單介紹。他是加拿大蒙特利爾大學計算機與運籌學系教授，也是米拉-魁北克人工智能研究所的創始人和科學主任。
他被認為是 1990 年代和 2000 年代對推動深度學習發展最大的幾人之一，並於 2022 年成為世界上 H 指數（H-index）最高的計算機科學家。
而在 2018 年，由於在深度學習方面的開創性工作和重要貢獻，本吉奧與加拿大多倫多大學計算機科學系教授傑弗里·辛頓（Geoffrey Hinton）、Meta 副總裁兼首席AI科學家楊立昆（Yann LeCun）一起獲得了國際計算機學會頒發的圖靈獎（通常被稱為「諾貝爾計算獎」）。他們三人有時也被稱為「人工智能教父」和「深度學習教父」。
據了解，本吉奧於 1991 年獲加拿大麥吉爾大學計算機科學博士學位，之後在麻省理工學院和 AT&T 貝爾實驗室擔任博士後研究員。自 1993 年加入蒙特利爾大學至今。著有《深度學習（自適應計算和機器學習）》（Deep Learning（Adaptive Computation and Machine Learning））、《邁向生物學上合理的深度學習》（Towards Biologically Plausible Deep Learning）等圖書和論文作品。
2021 年，本吉奧以一作的身份發表了有關 GFlowNet 的重要論文《GFlowNet Foundations》（GFlowNet 基礎）。
目前，GFlowNet 已被引入到主動學習環境中，以對各種候選集合進行採樣。它還為非參數貝葉斯建模和抽象表示的監督學習等方面提供了新視野。「其訓練是為了使它們與給定的獎勵函數成比例地進行近似採樣。」論文中提到。
除了解開解釋性因果因素和與之相關的機制，GFlowNet 尤其對實施系統歸納偏差方面有幫助。GFlowNet 還是一個新的有難度的研究領域，為了理解和應用它，適當的優化算法仍在快速發展。其概念正逐步得到擴展。
而在本次研究中，論文里提到：「深度生成建模有許多框架，每個框架都有自身特定的訓練算法和推理方法。我們通過馬爾可夫軌跡學習的視角，對深度生成模型和 GFlowNet 框架之間的聯繫給出一個統一的觀點。這為統一訓練和推理算法提供了一種方法，並為構建生成模型聚合提供了一種路徑。」
從概率建模的角度來看，GFlowNet 是一種生成模型，其目的是根據給定的獎勵函數 R(x) 的比例對 x 進行抽樣。
具體地說，一個 GFlowNet 將對一個長度為 n 的馬爾可夫軌跡 τ=（S0，S1，……，Sn）進行採樣。如果沒有特別指定，將使用符號 X=Sn 來表示軌跡的最終狀態。
這個過程與強化學習有一種自然的聯繫，所有的狀態 s 都在潛在狀態空間中構造了一個有向非循環圖。每個軌跡從相同的（抽象的）初始狀態 S0 開始，並運行到一個不同的端點 Sn。理想情況下，希望通向x的流量等於給定的獎勵。
在論文中的「從數據中學習獎勵函數」部分，研究團隊提到：「基於能量的模型（EBM，Energy-based model）可以作為 GFlowNet 訓練的（負對數）獎勵函數。我們可以使用任何 GFlowNet 建模，且兩種模型（EBM 和 GFlowNet）共同訓練。」
此外，生成對抗網絡（GAN，Generative Adversarial Network）與 EBM 密切相關，但其算法的計算效率更高。然而，雖然初看它可能是合理的，但不能直接使用鑒別器 D(x) 作為 GFlowNet 訓練的獎勵。
如果是這樣，在一個完美的訓練結束時，將得到一個最優的鑒別器和最優的 GFlowNet 發生器分佈。為了填補這一空白，本吉奧設計了一些更有意義的算法。
（來源：本吉奧個人網站）
上圖說明了為什麼在 GFlowNet 中使用「流」這個詞。這考慮了非規範化概率的流動，類似於有向非循環圖（可能是指數級的，不需要在計算機中明確表示它）中從初始狀態（左側為 0）流出的水量，其軌跡對應於所有可能的動作序列（即決定狀態轉換的動作），以便按順序構建複雜的對象，如分子圖、因果圖、對場景的解釋或者我們腦海中的想法。
論文最後的結論提到：「如今的生成模型可被理解成在樣本軌跡上有着差異化策略的 GFlowNet。這為現有生成建模框架之間的重合部分，以及與訓練它們的通用算法的關係，提供了一些觀點。
這種統一意味着一種構建不同類型集群的生成建模的方法，而由於推理和訓練方面的優越性，GFlowNet 可作為其中的通用粘合劑。」
參考資料：
https://arxiv.org/abs/2209.02606
https://yoshuabengio.org/2022/03/05/generative-flow-networks/
https://en.wikipedia.org/wiki/Yoshua_Bengio
