特斯拉造出人形機器人！身高1米7，最強AI計算機也來了「附168頁PPT」

車東西（公眾號：chedongxi）

作者| 車東西團隊

編輯| 曉寒

剛剛，特斯拉又一次震撼了整個汽車行業！

今天上午舉行的特斯拉人工智能日（AI Day）中，特斯拉亮出“完全自動駕駛功能（FSD）”背後的大腦——特斯拉超級計算機Dojo。

Dojo肩負訓練AI算法的重任，它內置特斯拉自研AI芯片D1，單顆D1擁有500億個晶體管、362TFLOPS的峰值算力（BF16/CFP8），功耗不超過400W。由3000顆D1芯片組成的特斯拉ExaPOD算力更是高達1.1EFLOPS！

而在此之前，特斯拉甚至還用5760個英偉達A100 Tensor Core GPU，組裝了一台1.8EFLOPS算力的超級計算機，排名世界第五。

沒錯，特斯拉早已經成為一家AI計算公司。

如此強大的算力，肯定是服務於特斯拉的FSD功能。而當前，特斯拉的城市道路L2級自動駕駛已經開放小規模測試接近1年，還沒能向大眾開放。與此同時，今年美版特斯拉Model 3/Y取消毫米波雷達，採用純視覺感知，FSD真的靠譜嗎？

今天在現場，特斯拉AI高級總監Andrej Karpathy和自動駕駛軟件總監Ashok Elluswamy等幾位特斯拉高管，把純視覺感知實現自動駕駛這件事講清楚了。可謂是把特斯拉自動駕駛的技術優勢進行了一次大公開，乾貨非常之多。

發布會結束前馬斯克還放出了一個彩蛋，特斯拉要“造人”了！特斯拉機器人將在明年量產，它將替代人類去做危險的、重複的、無聊的任務。

與其他機器人不同，名為Tesla Bot的機器人外形與人非常接近，並且還擁有人類級的手和工作能力。馬斯克表示，它將在2022年量產。

總結來看，特斯拉的AI Day可謂是乾貨十足，並且也給出了Tesla Bot這個one more thing，以下是活動乾貨。

沒空看特斯拉AI Day？沒關係，我們已經幫你把PPT下載好了。關注公眾號車東西（ID：chedongxi），對話框回復【特斯拉PPT】下載。

一、推自研AI訓練芯片 機櫃算力達1.1EFLOPS

比既定時間延遲半小時以上開始，已經是特斯拉開發布會的“老傳統”了。AI Day會場外停放着一輛最新款Cybertruck車型，目測會場外有數十人參觀。但現場直播的媒體表示，今天現場參會人數並不算多。

會場外停放了一輛的Cybertruck

發布會開始時，已經比計劃延後接近40分鐘，特斯拉首先秀出了最新版本的FSD。無保護路口左轉、沒有車道線的鄉村道路、避讓行人、路口停車、識別紅綠燈……這些動作特斯拉都做得非常熟練。

特斯拉AI Day活動前的FSD展示

相比於2019年特斯拉FSD的演示視頻完全脫手駕駛，今年的演示視頻中特斯拉的駕駛員用一隻手扶着方向盤，這表明特斯拉的自動駕駛能力仍在L2級，並非想象中的“完全自動駕駛”那樣美好。

特斯拉FSD視頻的變化，從手鬆開逐步轉到手握方向盤

從技術層面出發，特斯拉如何實現自動駕駛，如何產生訓練數據、如何在車內運行以及如何迭代算法就是實現自動駕駛的四大核心問題。

而在今天的AI Day發布會上，最重磅的信息莫過於特斯拉發布了訓練自動駕駛的超級計算機，也就是特斯拉如何不斷迭代算法。

據Dojo項目負責人Ganesh Venkataramanan介紹，幾年前，馬斯克幾年前曾要求特斯拉工程師設計一台超高速訓練計算機，這就是特斯拉啟動Dojo項目的原因。Dojo超級計算機將於明年投入運營，基於大量視頻訓練AI算法。

特斯拉D1芯片展示

Dojo是一個通過網絡結構連接的分布式計算體系結構，擁有一個大型計算平面、超高帶寬和低延遲、大型網絡分區和映射等等，並有一個新編譯器來減少局部通信和全局通信，可擴展性強。

該超算內置特斯拉自研AI訓練芯片D1。D1芯片採用7nm工藝製造，單芯片面積達645mm²，包含500億個晶體管，BF16/CFP8峰值算力達362TFLOPS，FP32峰值算力達22.6TFLOPS，熱設計功耗（TDP）不超過400W。

特斯拉D1芯片的各項性能

該芯片具有GPU級別訓練能力和CPU級別可控性，可實現50萬個訓練節點無縫連接。由此特斯拉提出由25個D1芯片組成的訓練單元（tile）。

一個訓練單元的接口帶寬每秒36TB，算力達9 PFLOPS，採用了集中供電和散熱設計，散熱能力15kW。

特斯拉芯片陣列

擁有120個訓練單元、3000顆D1芯片、超過100萬個訓練節點的特斯拉機櫃模型ExaPOD，其BF16/CFP8算力高達1.1EFLOPS。

特斯拉芯片陣列展示

其分布式系統是分區塊的，Dojo處理單元DPU（Dojo Processing Unit）是一個可根據應用需求調整大小的虛擬設備，包含多個D1芯片和接口處理器。特斯拉編譯器引擎可自動將執行指令映射到DPU上，無需人工操作。特斯拉打造了一整套軟件堆棧。

Dojo軟件棧架構

Ganesh說，特斯拉Dojo是史上最快的AI訓練計算機。同等功耗下，Dojo超算比現有計算機性能提升4倍、能效提升1.3倍、碳足跡只有原來的1/5。此外，特斯拉預告下一代Dojo超算性能將再提升10倍，不過它並沒有透露具體實現日期。

在Dojo發布環節的最後，Ganesh提到特斯拉正在大力招募人才以推進AI研發。

而在特斯拉造出自己的超算之前，也已經利用英偉達GPU搭建了一個世界排名第五的超級計算機。

特斯拉超級計算機

這個超算使用了720個節點，每個節點8個英偉達A100 Tensor Core GPU（共5760個GPU），實現了1.8EFLOPS的性能。

英偉達A100 Tensor Core GPU

由此可見，無論是特斯拉的Dojo，還是此前用英偉達GPU組裝的超算，都能夠躋身AI計算領域的前幾名。

問答環節，馬斯克回應稱，開發所有這些技術非常昂貴，所以他不確定如何實現開源，但對將AI技術授權給其他汽車公司持開放態度。

二、破除純視覺感知的所有不靠譜 千人團隊標記數據

特斯拉AI高級總監Andrej Karpathy上台，講述了特斯拉是如何通過視覺感知，再進行規劃控制，實現自動駕駛的。

他說，特斯拉通過車身四周的8枚攝像頭，形成三維矢量空間，感知出車身周圍的環境。

人眼視覺信息傳遞與特斯拉AI視覺信息傳遞對比

Karpathy說，設計自動駕駛AI視覺時可以逆向工程成人腦識別圖像。例如在為汽車設計其“視覺皮層”時，特斯拉根據眼睛如何感知生物視覺進行建模。

特斯拉的8個攝像頭都採用1280*960分辨率12bit HDR圖像，以每秒36幀的速率採集，就能夠實現良好的感知效果。

車身上的八個攝像頭彙集成三維的“向量空間”

經過神經網絡計算時，自動駕駛電腦會不斷縮小分辨率，同時提升通道數量。

除了識別車輛，特斯拉還會識別人、紅綠燈等多種物體，因此特斯拉開發了多人需學習的HydraNets網絡。HydraNets網絡共有三個特點，第一是能夠高效測試；二是能夠單獨微調每個任務，同時還能特徵緩存與加速微調，突破再現的瓶頸。

當前，許多車企採用高精地圖配合傳感器，實現感知融合，但是這種方式並不能讓車輛正確自動駕駛。因此，特斯拉開發了Occupancy Tracker，此時特斯拉遇到了兩個問題，其一是多傳感器融合算法並不精密（例如一輛超長的挂車，單個攝像頭無法全部感知到），二是圖像空間並非真實的物理空間。

特斯拉採用Transformer算法用於預測距離。實際測試發現，在一段兩側都停放車輛的城市道路上，多攝像頭感知的準確性和穩定性都要強大很多。

特斯拉認為，在自動駕駛決策方面共有兩個難點，第一在於空間是非凸的，第二是高維度的。

特斯拉自動駕駛軟件總監Ashok Elluswamy表示，特斯拉採用混合決策系統，首先讓感知數據通過向量空間的粗搜索，然後經過連續優化，最後能夠形成平滑的運動軌跡。

在一個案例中，車輛判斷可以向左變道，但是左側有正常行駛的車輛，此時如果突然變道，車內的乘坐感受不佳，同時也威脅交通安全。因此，特斯拉會在1.5毫秒內進行2500次變道時機搜索，最終能夠選擇一條最安全且最舒適的變道時機採取變道措施。

在另一個案例中，特斯拉行駛到了一個超窄路段，兩輛車無法同時通行。第一輛對向來車是一輛SUV，車主主動讓行。因此特斯拉判斷繼續前行。但是前行一段距離之後，又發現了另一輛對向來車。

特斯拉FSD通過複雜路況

此時，特斯拉選擇避讓停車同時，對向車輛同樣選擇了停車避讓。因此，特斯拉果斷改變了駕駛決策，再次起步通過了這一路段。

隨着自動駕駛研發時間的增長，特斯拉需要為更多的物體標記標籤，現在已經有1000人的數據標籤團隊，打造數據標籤和分析基礎設施工作。

並且，從之前的2D圖像標籤，進化為現在的4D空間+時間的標籤。甚至能夠在做一次標籤之後，一個攝像頭內的標籤化圖像，就能遷移到其他攝像頭。

特斯拉建立4D空間+時間

特斯拉還能夠在感知過程中重建道路，通過標記車道線和其他物體。與此同時，特斯拉還會收集同一路段的數據，通過多輛汽車採集數據合併在一起，最終實現更精確的重新建圖。

最終，車輛能夠流暢地標記路旁物體，在準確識別物體之後，才能夠實現流暢的城市道路自動駕駛。

今年5月，特斯拉麵向美國市場銷售的Model 3/Y車型取消了毫米波雷達，不過在雨、霧、雪等能見度較低的天氣下，攝像頭能看清楚嗎？答案是能。

仍然依靠短片記錄駕駛場景，特斯拉每周能夠獲得1萬段類似的惡劣環境短片，通過自動標籤最終實現精準的距離感知。

特斯拉FSD可應對多種惡劣天氣

同時，特斯拉也在進行Autopilot仿真測試，特斯拉稱其為帶有Autopilot的遊戲。在仿真測試中，電腦能夠精確標註、部署虛擬的車輛。仿真測試用於模擬在生活中難以發現的情況，例如在高速道路上有人行走怎麼辦？如果有太多人如何標籤？停車場如何避讓其他車輛？

特斯拉進行仿真測試

在仿真測試中，工程師可以測試這些極為特殊的情況。仿真測試有多項必要準備工作：第一是傳感器模擬要和真實情況基本相似，第二是要真實的渲染，第三是要有基本真實的場景，包括車輛、行人，特斯拉甚至還造了超過2000英里的路。第四是要有可擴展的場景，包括白天黑夜等不同場景；第五還能通過真實場景重構，在仿真測試中測試算法。

到目前為止，經過特斯拉車內網絡訓練的圖像共有3.71億張，還有4.8億個標籤。

接下來，除了人、車等動態物體，特斯拉還將檢測靜態物體、道路拓撲、更多車輛和行人以及強化學習，讓純視覺感知更精準。

三、機器人新品亮相 能代替人工作

在一個簡短的機器人裝束舞蹈後，馬斯克宣布2022年推出特斯拉機器人Tesla Bot，它將替代人類去做危險的、重複的、無聊的任務。

特斯拉機器人展示

馬斯克介紹到，該機器人將有5英尺8英寸高（約合1.73米），體重有125磅（約合56.7千克），可抱起45磅重的貨物（約合20.4千克），也可以通過舉重硬拉姿勢舉起150磅的重物（約合68.0千克）。

特斯拉機器人蔘數

它的四肢使用40個機電執行器進行操作，並通過力反饋感應系統來實現平穩和敏捷雙腳行走，最快行走速度可能為5英里/小時（約合8公里/小時）。

馬斯克說：“如果這機器人‘造反’了，你還是能跑的過他的。”

此外，這款機器人的手與人類的手非常類似，有5根可以靈活彎折的手指。馬斯克稱它具有“人類等級”（Human-Level）的手，換句話說它有潛力代替人類執行一些精確操作任務。

特斯拉機器人構造

特斯拉還計劃將包括FSD Computer在內的硬件系統植入機器人體內作為後者的“器官”，並以訓練自動駕駛系統AI的方式訓練機器人的AI，讓這款機器人能夠成為多面手。

馬斯克稱，特斯拉推出這款機器人的初衷是希望它能代替人類完成一些枯燥、危險、重複性強的工作，他希望今後人類不想乾的事統統交給特斯拉機器人來干。當然了，人的創意是無限的，馬斯克推測人們可能會發掘出連他都預料不到的用途。

不過，這款機器人恐怕要等明年才能上市了。馬斯克稱，為了保證特斯拉機器人功能性，他們還需要用Dojo訓練場對它進行嚴格的訓練。

結語：特斯拉離自動駕駛更近一步

如今，AI技術已經是實現自動駕駛的關鍵，從傳感器感知完成後，計算、決策所有流程都需要AI技術的加持。掌握AI技術，才能讓自動駕駛更靠譜。

如今，特斯拉造出自己的AI超算，訓練AI模型將不斷提速，通過更多的場景、案例，最終實現更安全的自動駕駛功能。