AI 訓練新利器：EROFS 文件系統支持 48 位定址，突破 16TiB 限制

it之家 3 月 24 日消息，科技媒體 phoronix 昨日（3 月 23 日）發布博文，報道稱隨著 linux 6.15 內核周期的臨近，開源的只讀文件系統 erofs 將迎來重大升級，新增 48 位定址支持，以應對 ai 模型訓練所需的海量數據處理需求。

當前 erofs 的 32 位塊定址限制了文件系統，最大容量為 16tib（使用 4kib 塊）。新增的 48 位定址支持將大幅擴展文件系統的容量，讓其更適合處理 ai 訓練中的大規模數據集和對象存儲客戶端的需求。

本次更新擴展核心磁碟結構（如 inode、設備槽和 inode 塊），並引入 32 位元組緊湊 inode 的 mtime 欄位以支持基本時間戳功能。

本次更新還優化了壓縮性能。為提升 zstd 壓縮演算法的效率，新版引入了位元組導向的編碼擴展，允許壓縮器保留其當前方法。測試顯示，使用 48 位定址後，zstd 鏡像構建時間顯著縮短，在 intel xeon platinum 8163 cpu 上，構建時間從 3 分 52 秒縮短至 12 秒。

it之家註：erofs（enhanced read-only file system，增強型只讀文件系統）是一種輕量級的只讀文件系統，最初由華為開發，現由全球開源社區維護。它專為各種只讀使用場景設計，不僅僅是為了節省存儲空間，更是提供高性能的解決方案。