在本屆AI Day大會上,伊隆·馬斯克把「擎天柱」人形機械人當成了宣傳重點。沒錯,如果真能按馬斯克介紹的2萬美元價格實現大規模量產,「擎天柱」也許真能給人類的生活和全社會帶來深遠影響。但演示文稿中相對不引人注目的另一部分,反而是最具份量的新消息。這就是Dojo超級計算機,而且有望比雙足機械人更快改變世界。
每個Dojo托架由6塊D1處理器tile組成。
首先要強調的是,特斯拉本身是一家軟件公司,只是碰巧也製造與軟件配套的硬件方案。作為「軟件定義汽車」的核心力量,特斯拉率先向汽車當中引入了系統與連接性元素。這既降低了成本、增強了功能,也讓系統更新變得更加易行。事實上,雖然特斯拉在各個方面都處於領先地位,但其壓制各家競爭對手最強的手牌當數出色的軟件開發能力。
汽車目前最重要的新興能力就是自主駕駛功能,基本上屬於軟件問題。特斯拉的FSD beta因為把車主當成測試對象而受到爭議,但正如人類自己也沒法在不上路的情況下學會開車一樣,自動駕駛汽車同樣需要經歷現實情況以制定應對策略。開發自動駕駛系統的公司可以根據現實世界數據建立模擬與測試模型,藉此加速整個訓練進程。但要讓FSD真正發揮作用,它還是需要針對真實場景下的混亂狀況接受測試,據此改進應對策略。
這就是Dojo的舞台所在。特斯拉已經在使用由英偉達GPU驅動的大型超級計算機處理其FSD數據,藉此構建起更強的自動駕駛模型。其中包含5760塊英偉達A100顯卡,安裝在總計720個節點當中,每節點含8個GPU。其性能達到1.8百億億次,成為世界上速度最快的超級計算機之一。該系統的一項重要任務就是「自動標記」,即為原始數據添加標籤,使其成為決策系統中的一部分。儘管自動駕駛汽車在運行過程中也會自主執行部分識別,但大多數傳感器數據還是要跟預處理過的世界模型相匹配,再針對特定情況採取預定義的動作。就像人類也會憑藉以往的經驗判斷道路狀況、做出相應反應一樣,自動駕駛汽車同樣要利用AI模型中的駕駛經驗決定如何行動。
每個特斯拉exapod由10台機櫃組成,每櫃安裝有兩個托架。
Dojo承諾大幅加快這些模型的改進速度。在AI Day期間,特斯拉宣稱只需要四台Dojo系統機櫃,就能實現等同於72個傳統機架中4000個GPU所實現的自動標記性能。該公司對於自動駕駛模型訓練中的其他環節也做出了類似的性能提升承諾。特斯拉將通過所謂「exapod」集群部署Dojo,該集群由10台機櫃組成,而且計劃在帕洛阿爾托數據中心內部署7套這樣的exapod集群。每個exapod的處理能力為1.1百億億次,面向特斯拉自動駕駛汽車(可能還包括「擎天柱」機械人)的AI模型進行換算之後,其處理能力將逼近8百億億次。
Dojo的設計思路與基於CPU或GPU的傳統超級計算機有很大區別。Dojo由眾多「tiles」組成,這與常規計算機CPU或GPU截然不同。CPU一般會將多個處理核心集成至單一芯片當中,每個處理核心都能高頻執行複雜的軟件操作。但目前的主流CPU設計最多只能支持64個核心,而單節點最多可以容納2塊CPU和128個核心。基於CPU的超級計算機會將大量此類節點聚集在同一系統當中。今年上線的全球最快超級計算機Frontier就擁有9400個節點,對應60萬2112個CPU核心。
現代GPU中的核心數量倒是非常誇張。最近發佈的英偉達GeForce RTX 4090有16384個核心,特斯拉在基於GPU的最新超級計算機中使用的A100則包含6912個核心。但與CPU不同,GPU的核心只能執行非常簡單的操作,且速度極快。因此,GPU才廣受AI和機器學習類應用,特別是涉及構建自動駕駛模型的程序的青睞。常見的節點最多可容納8個GPU,而特斯拉基於GPU的最新超級計算機集群共包含近4000萬個GPU核心。
Dojo的特別之處,在於它的D1 tile並非由多個小芯片所構成,而是單一包含354個核心的大芯片,專門針對AI和機器學習設計而成。之後,一個托架可以容納6塊D1 tile外加配套計算硬件,每台機櫃可以安裝兩個這樣的托架。這樣算來,每機櫃就將包含4248個核心,而由10台機櫃組成的exapod共擁有42480個核心。基於CPU的超級計算機在相同空間中的核心數量肯定達不到這麼多,GPU在這方面具有碾壓性優勢。而且由於Dojo專門針對AI和機器學習處理進行了優化,所以在同等數據中心空間之內,它比傳統CPU或GPU超級計算機都要快上幾個數量級。
特斯拉的「擎天柱」機械人也將受益於Dojo更快的AI模型處理能力。
特斯拉的目標,是在2023年第一季度部署第一台Dojo exapod,但其他六台何時落地還不明確。當這種級別的處理性能安裝到位之後,相信特斯拉的FSD模型訓練將大大加快,由此推動自動駕駛汽車的顯著發展。目前全球已經有16萬多特斯拉車主在參與FSD beta,為公司收集真實世界中的駕駛數據。而Dojo exapod將利用這些數據構建起新的模型,向這16萬名用戶不斷推送系統更新,由此形成良性循環。如果效果不錯,項目將吸引到更多測試者的加入,從而進一步推動開發加速。
所以我們認為,特斯拉AI Day 2022大會上真正的重磅新聞應該是Dojo,而絕不是什麼「擎天柱」。在之前的AI Day 2021上,特斯拉公布了D1芯片的規格並亮出了早期樣品。一年過去,情況發生了很大變化。雖然馬斯克的宣傳經常用力過猛,我們不可盡信,但假如Dojo真能在明年之內開始交付,那預計特斯拉FSD beta將加快迭代與改進速度,自動駕駛的商業推廣也許真能超出我們以往的預期。