“未來10年大模型還是牽引着整個人工智能的發展方向,無論是大語言模型還是多模態模型,已經走到了大量的互聯網應用嘗試落地,並且開始走向行業應用”。在不久前舉行的AI系統創新研討會上,北京智源人工智能研究院副院長兼總工程師林詠華如是說。

得益於大模型的廣泛應用與普及,整個AI領域呈現出一片蓬勃發展的景象。為了進一步發揮AI作為新興生產力工具的巨大潛力,並使其在更多領域與行業中發揮價值,AI領域的領導者們也開始從生態建設的角度,着眼打造自己的“護城河”。
日前,浪潮信息與智源研究院達成戰略合作協議,雙方將緊密協作共建大模型多元算力開源創新生態,提升大模型創新研發的算力效率,降低大模型應用開發的算力門檻。目前,智源Triton算子庫FlagGems已正式接入浪潮信息的元腦企智EPAI企業大模型開發平台,助力企業實現更快速、更廣泛、更高效的多元算力適配與使用。
多元多模格局帶來多維產業落地挑戰
剛剛過去的2024年,整個大模型發展迎來了巨大的變化,從2023年的大語言模型變為了包括圖片、視頻和語音等在內的多樣化。比如一些新聞機構已經開始利用AI快速生成新聞稿件的初稿;比如近期短視頻領域用AI技術“爆改”經典劇情;再比如AI對於生物工程、天文物理等科研的廣泛應用支撐……
應該說,AI如今已經無處不在,但就底層架構而言,大模型的實現基於不同架構的芯片平台、不同的算法模型或技術棧,這無疑在AI應用中形成了一定的“技術壁壘”。一方面,不同類型的芯片技術彼此之間兼容性較差;多元芯片到算力的轉化面臨開發周期長、成本高、迭代慢的問題;另一方面對廣大開發者來說,大模型開發工具鏈膨脹,開發環境的複雜性與日俱增,都會影響到AI發展的進程與速度。

浪潮信息高級副總裁 劉軍
因此,如何解決多元多模格局帶來的複雜性問題,如何實現應用一體化、平台化的集成與創新,也成為了擺在行業面前的新問題。正如浪潮信息高級副總裁劉軍在大會主題演講中提到的:“如何讓AI這種新質生產力能夠更快、更好、更順暢地觸達社會生產生活的各個方面,可能是在座各位包括我在內一直在思考的問題”。
堅持系統觀,打造開源開放的生態體系
為了更好應對多元算力和應用的挑戰,浪潮信息始終堅持“以應用為導向,以系統為核心”,致力於讓多元算力更通用,系統算效更實用,基礎模型更好用。通過打造 “元腦企智EPAI”,降低應用開發的門檻,以開源開放、多元多模激發創新活力,以系統創新、全局優化拓展創新路徑,從而實現AI創新與AI應用協同發展。
換句話說,“元腦企智EPAI平台”所扮演的就是AI開發與應用“全家桶”的角色。一方面,平台為產業鏈上下游夥伴和企業級開發者提供了開源開放的生態基礎,無論使用的是何種算力都可以在平台上找到對應的框架、模型、工具等,提供了技術與人才支撐;另一方面,浪潮信息也在積極推送平台的生態建設,而自此與智源研究院的合作就是雙方協同共生、開放共贏的創新實踐。

“浪潮信息元腦企智EPAI企業大模型開發平台與智源通用算子庫FlagGems的全面對接,是雙方解決生態離散,化解大模型產業化落地的算力轉化和開發複雜等高門檻難題的重要舉措,將為AI應用創新注入更強大、多元的算力支持,助力構建協同共生、開放共贏的多元算力系統生態,充分釋放智能生產力。”在談到雙方合作的優勢與價值的時候,劉軍介紹道。
智源研究院也是著名的AI研究機構,其兩次發布的 “百模評測”在業界也樹立了超高的影響力和口碑。在現場演講中,林詠華也同樣談到了多元多模的問題,而在她看來隨着AI應用的深化與多元算力的發展,未來的數據中心也同樣會是“百花齊放”的局面,因此無論從前瞻性還是從實踐性來說,支持多元化都是智源研究院的必然選擇——“以雲端側舉例來看,如果在數據中心部署集群做大模型的並行訓練和優化,要面臨不同的芯片,不一樣的通訊庫,要針對不同的芯片考慮優化策略,不同的芯片一起混合訓練在之前是做不到的。如何打破這種垂直割裂的生態呢?在過去一年多的時間裡,智源攜手芯片和系統廠商共同致力於解決這一問題”。
林詠華的信心不僅來源於深度的技術積累,更來源於Triton生態的開源開放。本次宣布合作的FlagGems是由智源研究院於2024年6月推出的面向多元算力的開源大模型通用算子庫,面向多元算力遵循統一的中間語言、統一的算子接口和統一的開源算子庫實現路徑,以大模型需求為導向,為多元算力提供開源、統一、高效的算子層生態接入方案。截止12月,FlagGems已提供超過130個大模型算子,是目前提供算子數量最多、覆蓋廣度最大的開源算子庫。
至此,元腦企智EPAI平台與FlagGems通用算子庫的深度融合,一方面為企業大模型應用開發提供了強大的多元算力系統支持,讓企業在開發大模型應用時能夠藉助該平台快速實現多元算力的適配與高效使用;另一方面也為行業發展提供了新思路,隨着開源開放成為 AI 產業發展的核心驅動力,未來雙方也可以構建一個圍繞開源生態的大模型人才培養體系,為行業發展提供更多可能。
當然,最終受益的還是平台上的開發者與相關企業用戶。對於他們來說,無論是在圖像識別、語音處理還是自然語言處理等任務中,都無需關心多元異構加速卡之間的軟硬件差異,只要專註於大模型程序開發與優化本身,由此也大大降低了企業的前期投資成本和運營風險,使更多企業有機會涉足大模型應用開發領域,真正實現大模型應用在跨算力平台上的無縫開發與遷移。
回首過往,2024年AI產業在多元多模格局下蓬勃發展,也面臨全新的優化問題與挑戰。本次浪潮信息與智源研究院的合作更強調“優勢互補”,不僅讓智源研究院的研究成果通過產業化渠道得以快速推廣和應用,同時浪潮信息在實際應用中反饋的問題和需求,又促使智源不斷優化和完善其研究成果,進一步推動元腦企智EPAI平台的技術升級。
正如林詠華在演講最後所說的那樣:“元腦企智 EPAI為企業提供從底層算力到上層應用的一站式支撐,而智源FlagGems提供了高性能、跨硬件、多框架兼容的大模型算子,二者如同精密的‘齒輪組’,確保模型在各類硬件架構中順滑運轉,適配多種開發框架需求,讓主流大模型跨越硬件藩籬,無論是複雜的訓練任務,還是實時性要求嚴苛的推理場景,均能穩定、高效運行,性能表現媲美原生模型。”