如果把信號比作“包裹”，把信號傳輸比作“物流”，如何提升傳輸速度，高效地把“包裹”派送到“客戶”手中？香港科技大學（廣州）給出了一個新的方案。
近日，由香港科技大學（廣州）功能樞紐微電子學域博士生秦樂擔任第一作者，博士生崔峻偉、蔡瑋林為合作作者，教授黃嘉逸為通訊作者的論文“Chimera: Communication Fusion for Hybrid Parallelism in Large Language Models”（Chimera：大型語言模型中混合併行性的通信融合）發表於計算機體系結構頂會ISCA 2025並獲得Best Artifact Award（最佳工件獎）。
ISCA（International Symposium on Computer Architecture，計算機體系結構國際研討會）是計算機體系結構領域的旗艦國際會議，致力於為計算機體系結構研究人員和從業者提供一個展示前沿研究成果的平台。會議涵蓋了處理器設計、多核系統、加速器架構、內存層次結構、互連網絡、容錯機制、計算機系統優化等多個主題。ISCA不僅關注硬件架構創新，還強調系統級優化與軟硬件協同設計，是推動高性能計算、分布式系統和人工智能加速器發展的重要學術交流平台。
據悉，在大規模語言模型的分布式訓練和推理任務中，多種並行模式常被混合使用以提高計算效率。在實現計算加速的同時，各種並行模式都會引入相應的集合通信來進行設備間的數據同步以保證結果的正確性。隨着集群規模的增加，集合通信開銷逐漸成為系統性能的瓶頸。本工作提出一種全新的優化機制Chimera，定義和分析了混合併行中的通信冗餘，並通過融合相鄰通信算子的方式消除冗餘通信量，有效地緩解了混合併行中的通信瓶頸。
“信號傳輸就像快遞分揀一樣，以往不同區域的分揀中心各自為政，快遞會在不同區域的分揀中心進行分包流轉，有的包裹會產生反覆中轉造成不必要的繞路流轉（通信冗餘），導致配送變慢。”黃嘉逸解釋道，Chimera對跨區域的“分揀中心”進行統一規劃，大幅減少不必要的“包裹”周轉環節（去冗餘），提升配送效率。測試顯示，Chimera通過融合分布式大模型中的通信步驟，減少了數據同步的冗餘，使通信速度提升1.2到7倍，整體訓練效率提高1.2到1.6倍，為AI大模型的快速訓練和推理提供了新思路。
文|記者 孫唯 通訊員 港科廣圖|學校提供
