AI 訓練新利器:EROFS 文件系統支持 48 位定址,突破 16TiB 限制

2025年03月24日10:20:47 科技 1147

it之家 3 月 24 日消息,科技媒體 phoronix 昨日(3 月 23 日)發布博文,報道稱隨著 linux 6.15 內核周期的臨近,開源的只讀文件系統 erofs 將迎來重大升級,新增 48 位定址支持,以應對 ai 模型訓練所需的海量數據處理需求。

當前 erofs 的 32 位塊定址限制了文件系統,最大容量為 16tib(使用 4kib 塊)。新增的 48 位定址支持將大幅擴展文件系統的容量,讓其更適合處理 ai 訓練中的大規模數據集和對象存儲客戶端的需求。

本次更新擴展核心磁碟結構(如 inode、設備槽和 inode 塊),並引入 32 位元組緊湊 inode 的 mtime 欄位以支持基本時間戳功能。

AI 訓練新利器:EROFS 文件系統支持 48 位定址,突破 16TiB 限制 - 天天要聞

本次更新還優化了壓縮性能。為提升 zstd 壓縮演算法的效率,新版引入了位元組導向的編碼擴展,允許壓縮器保留其當前方法。測試顯示,使用 48 位定址後,zstd 鏡像構建時間顯著縮短,在 intel xeon platinum 8163 cpu 上,構建時間從 3 分 52 秒縮短至 12 秒。

it之家註:erofs(enhanced read-only file system,增強型只讀文件系統)是一種輕量級的只讀文件系統,最初由華為開發,現由全球開源社區維護。它專為各種只讀使用場景設計,不僅僅是為了節省存儲空間,更是提供高性能的解決方案。

科技分類資訊推薦

從陪跑個體到企業培訓,我的IP陪跑之路,越走越寬了 - 天天要聞

從陪跑個體到企業培訓,我的IP陪跑之路,越走越寬了

大家好,我是Tina。來繼續通過文章,分享我的自媒體創業生涯。來說說最近在乾的事兒。一今天給江南布衣的全國經銷商做了小紅書的業務輔導培訓。很難想像6年的時間,我從一名職場人,慢慢成長為一個自媒體人,然後成為超級個體,到最後一步步做到可以給企
vivo Y300 GT續航超耐用:內置7620mAh電池 還有直驅供電 - 天天要聞

vivo Y300 GT續航超耐用:內置7620mAh電池 還有直驅供電

【TechWeb】去年底以來,vivo推出了vivo Y300系列的多款機型,其中vivo Y300 Pro首發搭載了年度最大的6500mAh超薄藍海電池,打破了藍海電池容量紀錄,也刷新了vivo電池容量新高。而在近期,該系列的又一款新機——vivo Y300 GT也得到官宣並開啟預約,將在5月9日也就是今天10:00正式開售。現在有最新消息,近日官方進一步
人才需求達百萬級!人工智慧如何催生職業新賽道 - 天天要聞

人才需求達百萬級!人工智慧如何催生職業新賽道

人工智慧的應用場景,正像星火燎原般迅速鋪展延伸到各行各業,一系列充滿科技張力和未來想像的新興職業也應運而生,成為年輕一代心馳神往的職業新選擇。在內蒙古包頭市包鋼白雲鄂博鐵礦,電鏟式挖掘機的巨型鏟斗,一次可以鏟起10立方米的礦石。然而這個「巨無霸」的駕駛室里,卻空無一人。操作這輛挖掘機的工人正坐在距離采...
即時零售,美團、京東、淘寶們的新戰場 - 天天要聞

即時零售,美團、京東、淘寶們的新戰場

當京東殺入到外賣市場的時候,很多人僅僅只是關注的是「京東開始做外賣」這個點,但卻並未真正了解「京東開始做外賣」背後延伸開來的新邏輯。 隨著淘寶的加入,特別是隨著越來越多的解讀開始出現,人們開始發現,京東做外賣,並不僅僅只是做外賣,而是為了在即時零售的新戰場上佔據一席之地。 於是,「即時零售」的概念,被...
潮聲丨今天的機器人賽場,或許正是未來社會的預演 - 天天要聞

潮聲丨今天的機器人賽場,或許正是未來社會的預演

潮新聞 執筆 薛文春北京「半馬」才結束,世界人形機器人運動會又來了!5月7日,北京宣布全球首個為人形機器人組織的綜合性競技賽事——世界人形機器人運動會,將於8月15日在國家體育場(鳥巢)和國家速滑館(冰絲帶)舉辦。不得不說,最近這段時間,人
聯想拯救者十年硬核進化,Y9000P 2025成六邊形性能戰神 - 天天要聞

聯想拯救者十年硬核進化,Y9000P 2025成六邊形性能戰神

5月8日,以「熱AI自發光」為主題的聯想天禧AI生態春季新品超能之夜在上海璀璨啟幕。發布會以一場充滿科技感與年輕活力的「熱AI時尚秀」,演繹了AI熱力和青春活力的雙向奔赴。聯想重磅發布了天禧和想幫幫兩款智能體,面向年輕客戶發布全場景AI終端,更為大學生群體發布了量身定製的「青春有AI」教育特惠計劃。聯想集團高級副...