微信公眾號「科創閔行」消息，北京時間12月19日，上海交通大學集成電路學院（信息與電子工程學院）圖像通信與網路工程研究所陳一彤課題組在新一代算力晶元領域取得重大突破，首次實現了支持大規模語義媒體生成模型的全光計算晶元，相關研究以「all-optical synthesis chip for large-scale intelligent semantic vision generation」（大規模智能語義視覺生成全光晶元）為題發表於國際頂級學術期刊《科學》（science）上。上海交通大學為論文第一作者和通訊作者單位，陳一彤助理教授為第一作者及通訊作者。
隨著深度神經網路和大規模生成模型的迅猛演進，ai正以前所未有的速度革新世界。然而，規模爆炸式增長的生成模型帶來超高算力和能耗需求，與傳統晶元架構的性能增長速度已出現日益嚴峻的緊迫缺口。
為突破算力與能耗瓶頸，光計算等新型架構受到廣泛關注。然而如傳統的全光計算晶元主要局限於小規模、分類任務，光電級聯或復用又會嚴重削弱光計算速度。因此，「如何讓下一代算力光晶元能運行複雜生成模型」成為全球智能計算領域公認的難題。
研究團隊首次提出全光大規模語義生成晶元lightgen，這也是國際首次實現的大規模全光生成式ai晶元，在單枚晶元上同時突破了百萬級光學神經元集成、全光維度轉換、無真值光晶元訓練演算法的領域公認瓶頸。
大規模全光生成計算晶元lightgen
論文實驗驗證了全光晶元lightgen在高解析度（≥512×512）圖像語義生成、3d生成（nerf）、高清視頻生成及語義調控、去噪、局部及全局特徵遷移等多項大規模生成式任務。不再讓電輔助光生成，而是讓全光晶元完整實現輸入圖像、理解語義、語義操控、生成全新媒體數據的端到端過程，即讓光「理解」和「認知」語義。
lightgen生成的採樣圖像示例
此外，lightgen採用了極嚴格的算力評價標準，在實現與電晶元上運行的stable diffusion、nerf、style injection diffusion等前沿電子神經網路相仿生成質量的同時，直接測量整個系統端到端的耗時與耗能降低。實測表明，即便採用較滯後性能的輸入設備，lightgen仍可取得相比頂尖數字晶元2個和2個數量級的算力和能效提升。而如果採用前沿設備使得信號輸入頻率不是瓶頸的情況下，lightgen理論可實現算力提升7個數量級、能效提升8個數量級的性能躍升。這不僅直接體現了在不損失性能情況下替換頂尖現有晶元能獲得的巨大算力和能效提升，也印證了解決大規模集成、全光維度變換、無真值光場訓練等關鍵難點，全光片上實現大規模生成式網路的重要意義。
論文同步被《science》官方選為高光論文重點報道。論文中提到，生成式ai正加速融入生產生活，要讓「下一代算力晶元」在現代人工智慧社會中真正實用，勢在必行的是研發能夠直接執行真實世界所需任務的晶元——尤其是大規模生成模型這類對端到端時延與能耗極其敏感的任務。面向這一目標，lightgen為新一代算力晶元真正助力前沿人工智慧開闢了新路徑，也為探索更高速、更高能效的生成式智能計算提供了新的研究方向。
陳一彤博士長期致力於光計算領域的研究，聚焦新一代算力晶元切實應用時的核心科學難點問題，團隊所提出的全模擬光電晶元accel（nature 623 (7985), 48-57），國際首次實測驗證了複雜智能任務中光計算的系統級算力優越性，將光計算晶元中的超高算力能效，無損地保留和接入複雜成熟的數字社會中。2023年，所提出的ped (photonic encoder decoder，science advances 9(7), eadf8437)光計算架構，更被science子刊認證為「國際首個全光生成網路（ped is the first demonstration of all-optical generative neural networks）」。基於上述研究基礎，lightgen突破性將全光晶元的適用範圍拓展到了大規模生成式神經網路，並已與工業界合作開展應用實踐。
上海交通大學集成電路學院（信息與電子工程學院）陳一彤助理教授擔任第一作者及通訊作者，翟廣濤教授、張文軍院士、博士生孫心玥，清華大學碩士生譚龍濤、博士生薑一洲、博士後周銀等均對本文做出重要貢獻。該研究得到了多項國家及上海市項目資助。
