
當大模型的演進速度開始變慢,也就意味著眾多與之相關聯的新技術棧到了產品化的階段,而不是小修小補式的試驗。
行業內外都關注到了大模型的計算需求,但是存儲需求沒有得到應有的重視,目前傳統陣列在gpu集群前已經淪為性能瓶頸和擴展性瓶頸,行業共同的認知是,這一次存儲行業面臨的不是漸進式升級,而是架構級的徹底重構。
從大模型訓練對帶寬與並發的極限壓榨,到推理階段多模態數據的孤島困局,從企業不願示人的核心數據安全焦慮,到舊架構在gpu+全快閃記憶體時代下的「硬體不適配症」,傳統存儲的短板正在被ai放大。
在海外市場,ai存儲賽道也有獨角獸估值狂飆,以「統一存儲層+ai原生介面」的打法已得到市場認可,中國存儲廠商expontech也發布了自研的wadp平台主打一套架構統管生產與ai數據流。
傳統存儲陣列如何成為瓶頸?
expontech創始人曹羽中表示,在傳統信息化時代,雖然出現了諸多存儲新技術,但這些技術都未從根本上改變市場格局,傳統存儲陣列依舊是主導方案,企業的投資也仍然集中在這個領域。不過隨著 ai 時代的到來,存儲領域將會迎來重大變革,類似計算領域從 cpu 中心向 gpu 中心的轉型。
具體來說,存儲需求會呈現出以下四大核心變化。第一,由大模型訓練驅動的超高性能需求,大模型訓練對存儲系統提出了極致要求,它需要存儲系統提供超高帶寬與高並發能力,以此來支撐多卡並行訓練。只有存儲性能充分釋放,才能夠確保 gpu 卡利用率達到最大化。
第二,推理時代的效率優化。未來全球具備大模型訓練能力的企業會極為有限,絕大多數企業會通過應用大模型來實現業務革新,也就是進入推理階段。這個階段的核心在於優化推理效率,其本質是解決計算資源與存儲資源的協同問題。
一方面是多模態數據的統一管理,當前企業的數據大多呈碎片化狀態,是因為傳統存儲設計遵循「業務系統導向」原則。而在 ai 時代,需要構建統一存儲底座,實現全量數據的融合管理與高效調用,避免進行跨孤島數據遷移。
另一方面是記憶持久化與以存代算。傳統的推理採用暴力計算模式,每次處理提示詞時都需要重新計算,這會導致算力浪費,通過存儲系統緩存中間結果可以減少重複運算。此外,還需要增強 ai 模型的記憶能力,當前無狀態設計僅能保留短暫會話記憶,而利用存儲技術可以增強模型長期記憶功能,並且讓模型結合企業數據來解決業務問題。
第三,數據可控與安全。沒有企業願意把核心數據餵給公共大模型,而且受限於數據隱私要求,這些數據也難以直接遷移至公有雲。所以,構建數據中心級統一數據層並實施細粒度許可權管控就成為了必然的選擇。
第四,傳統架構的局限性。傳統存儲陣列存在根本性的缺陷,一是孤島式設計,它針對不同業務特徵定製獨立的存儲系統及介面;二是存儲軟體架構老化對新一代硬體適配不足,它難以有效支持 gpu + 全快閃記憶體 + rdma 網路等新硬體環境;三是漸進式優化局限,有廠商通過在傳統存儲上新增加功能和介面來應對ai場景需求,這屬於打補丁式的局部優化,而不是系統性解決方案。
曹羽中表示,理想的 ai 時代存儲系統應該具備以下特點:
- 一是統一存儲引擎,它基於通用硬體,能夠實現超高性能與無限擴展性,還可以承載全量企業數據。
- 二是雙軌制介面體系,一方面要兼容傳統介面,包括塊/文件/對象存儲,另一方面要創新 ai 原生介面,如 kv 存儲、向量存儲等。三是過程數據,上下文數據的存儲和管理,它要支持 ai agent 目標執行過程中的中間數據存儲與分析,從而優化決策路徑。
ai統一數據平台趨勢,從美國到中國
如前文所述,ai在存儲層面的需求商業化前景已經被印證——美國一家ai infra企業,成立僅9年估值超過300億美金,arr收入約10億美金,fortune 100客戶已覆蓋25%。其優勢是統一且面向ai時代的存儲設計,已經建立了成熟的解決方案。
扁平化架構採用單一統一存儲層,通過多介面適配不同業務需求,避免了分層存儲和多套不同類型的存儲的複雜管理;一站式解決方案,無需跨系統遷移數據;ai 場景專用介面,支持文件/對象/塊存儲外的 kv、向量等新型介面;數據閉環,在統一平台內完成從訓練到推理的全流程。
海外大模型和ai infra在前,中國大模型和ai infra緊隨其後,技術發展脈絡天然具有相似性。近日,expontech也正式發布了新一代統一ai數據平台wadp(wide ai data platform)。wadp旨在解決企業ai應用的核心痛點——高效融合存儲與管理海量多源數據,實現ai算力與數據存力的無縫協同。
expontech wadp基於全自研的分散式存儲引擎與分散式kv元數據引擎構建,運行於標準伺服器硬體,也可以廣泛適配各類通用硬體。它首次將企業核心生產系統(如關鍵資料庫)與ai數據管道(訓練、推理、向量檢索等)統一承載於同一平台,實現對傳統存儲陣列、文件系統及大數據存儲的現代化融合替代,為企業構建面向未來的ai數據基礎設施。
目前,基於統一存儲架構的ai數據基礎設施這一趨勢已在美國市場得到了廣泛驗證,華瑞指數雲wadp的技術路徑和產品實現和國際市場ai 基礎設施的技術趨勢不謀而合。
據悉,expontech堅持核心代碼全棧自研,不依賴國外開源技術,其新一代分散式存儲引擎與元數據引擎成功突破萬億級文件管理、千萬級iops與微秒級延遲等技術高峰,其wadp存儲軟體2023年在面向企業核心業務場景,被譽為「存儲奧林匹克競賽」的spc-1評測中打破世界紀錄,實現分散式存儲軟體打破高端存儲陣列在企業核心業務場景壟斷地位的創舉;在2025年,wadp在面向ai場景的mlperf storage v2.0評測中取得優異成果,充分驗證了使用同一套分散式存儲軟體構建universal storage的技術可行性,為應對ai時代海量數據挑戰奠定了基礎。(本文首發於鈦媒體app,作者 | 張帥,編輯 | 蓋虹達)
更多精彩內容,關注鈦媒體微信號(id:taimeiti),或者下載鈦媒體app