人工智能的未來是軟件故事，AI計算機硬件製造商Graphcore的CEO說

2022年06月28日11:53:20 科技 1962

編輯 | 白菜葉

首席執行官 Nigel Toon 表示，雖然以大型計算機硬件而聞名，但 Graphcore 已經開始與 Nvidia 爭奪軟件生態系統。

Toon 告訴媒體，軟件是越來越大的人工智能問題所帶來的巨大挑戰的核心，而硬件雖然並非微不足道，但在某種意義上是次要的。

Toon 說：「你可以構建各種奇特的硬件，但如果你不能真正構建出能夠將一個人的簡單描述能力轉化為硬件的軟件，那麼你就不能真正產生解決方案。」

他要強調的一點是軟件因素。具體來說，Graphcore 的 Poplar 軟件的能力，該軟件將在 PyTorch 或 TensorFlow 等 AI 框架上編寫的程序轉換為高效的機器代碼。

Toon 認為，事實上，翻譯行為是人工智能的關鍵。無論你構建什麼硬件，挑戰都是：如何將 PyTorch 或 TensorFlow 程序員正在做的事情轉化為晶體管可做的事。

一個普遍的概念是，人工智能硬件都是關於加速矩陣乘法，這是神經網絡權重更新的構建塊。但是，從根本上說，它不是。

「它只是矩陣乘法，還是我們需要的只是卷積，還是我們需要其他操作？其實，更多的是關於數據的複雜性。」他說。

Toon 表示，一個大型神經網絡，如 GPT-3，是「真正的關聯內存」，因此數據之間的連接是必不可少的，而事物進出內存的移動成為計算的瓶頸。

Toon 對這種連接問題非常熟悉。他在可編程芯片製造商 Altera 工作了 14 年，後來被 Intel 收購。可編程邏輯芯片，稱為「FPGA」，通過在它們之間燒斷保險絲將其計算機模塊（稱為單元）連接起來以完成每個任務。

他解釋說，FPGA 的「所有軟件」都是關於如何獲取圖形，即網絡列表或 RTL，並將其轉換為 FPGA 內部的互連。

這樣的軟件任務變得非常複雜。

他說：「你在芯片內部建立一個互連層次結構，試圖做到這一點，但從軟件的角度來看，將圖形映射到互連是一個 NP 難問題。」他指的是計算複雜性的「非確定性多項式時間」。

因為它是將關聯的複雜性轉化為晶體管，「這實際上是一個圖形問題，這就是我們將公司命名為 Graphcore 的原因。」Toon 說。一般而言，圖是給定程序中不同計算任務之間相互依賴關係的總和。

「你必須從一種計算機科學方法開始，它會是圖，你需要構建一個處理器來處理圖，進行高度並行的圖處理。」

「我們在此基礎上構建軟件，然後構建處理器。」他說。

這意味着硬件只是為軟件服務。

「計算機遵循數據結構。」Toon 爭辯道，「這是一個軟件問題。」

這是 Toon 對 Nvidia 的 CUDA 軟件進行即興表演的機會，該軟件在 AI 世界中擁有巨大的力量。

「這很有趣：很多人說 CUDA 在某種程度上是一個讓其他人無法競爭的生態系統。」Toon 觀察到。

「但你誤解的是沒有人在 CUDA 中編程，沒有人想在 CUDA 中編程，人們想在 TensorFlow 和現在的 PyTorch 中編程，然後是 JAX——他們想要一個高級構造。」他說，指的是各種開放的，由 Meta 和 Google 等構建的源開發庫。

「所有這些框架都是圖框架。」他觀察到，「你描述的是一個相當抽象的圖，圖中每個元素的核心都是大型運算符。」

Toon 指出，Nvidia 「已經建立了一組驚人的庫來轉換程序員熟悉的高級抽象——這是 Nvidia 所做的，不一定是 CUDA。」

進入 Graphcore 的競爭產品 Poplar，它從 PyTorch 和其他產品轉化為他認為 Graphcore 更高效的硬件。Poplar 將計算圖拆開並將其轉換為今天 Graphcore 硬件中的任何門，以及明天將取代這些門的任何東西。

然而，對於 Graphcore 或許多其他年輕有希望的公司，如 Cerebras Systems 和 SambaNova，在 Toon 提到的那些庫上與 Nvidia 競爭，人們持懷疑態度。

在 4 月的一篇社論中，著名的微處理器報告的編輯 Linley Gwennap 寫道，「軟件，而不是硬件」仍然是問題所在。Gwennap 認為，對於 Graphcore 和其他公司來說，縮小差距的時間正在消退，因為 Nvidia 通過 Hopper 等硬件改進不斷變得更好。

像 Gwennap 這樣的懷疑論者難道不欣賞 Poplar 軟件的進步嗎？

「這是一段旅程。」Toon說，「如果兩年前和 Poplar 接觸，你會說，還不夠好；如果現在和 Poplar 接觸，你會說，其實還不錯。」

「兩年後，人們會說，哇，這讓我可以做在 GPU 上做不到的事情。」

Toon 斷言，該軟件已經是其自身不斷擴展的生態系統。「看看我們圍繞 Poplar 創建的生態系統，比如 PyTorch Lightning、PyTorch Geometric」，這是移植到 Poplar 和 Graphcore IPU 芯片的 PyTorch 的兩個擴展。

「它不僅僅是 TensorFlow，它是一個完整的套件。」他說，「TensorFlow 適合 AI 研究人員，但它不是數據科學家、個人或大型企業可以來玩的環境。」

從業者與科學家相比，需要可訪問的工具。他指出，「我們使用 Hugging Face、Weights 和 Biases」以及其他機器學習工具。「還有許多其他庫正在問世，有些公司正在 IPU 之上構建服務，」並且，「已經移植了與 Poplar 一起使用的 MLOps。」

他說，與 Cerebras 和其他競爭對手相比，Graphcore「在構建軟件生態系統以創造易用性、人們可以進入的方式方面遙遙領先」。

Toon 堅持認為，事實上，這歸結為軟件雙頭壟斷。「你看看其他任何人，即使是大公司，除了我們和 Nvidia 之外，沒有其他人擁有這樣的生態系統。」

同時，他聲稱，英偉達的硬件進步並不是因為 Nvidia 的設計自由受到其自身成功的限制。「Nvidia 在做什麼？他們添加了 Tensor 核心，現在他們添加了 Transformer 核心——他們無法改變處理器的基本核心，因為如果他們這樣做了，所有的庫都必須被丟棄。」

他聲稱，雖然 Graphcore 在 MLPerf 行業測試套件的大多數基準測試中仍然落後於 Nvidia，但 Poplar 和 IPU 設計的結合在可以深思熟慮的特定情況下提供了可衡量的優勢。

「例如，在一些模型上，比如圖神經網絡，我們看到的性能是基於 Nvidia 的機器的五到十倍。」他說，「因為我們在 IPU 內部構建的基礎架構數據結構與這種稀疏的圖類型的計算更加一致。」

他說，Poplar 軟件還通過找到巧妙的方法來並行化圖形元素，在運行 Transformer 模型方面實現了兩到三倍的速度提升。

軟件是戰場，Nvidia 可以進行真正的競爭的前提是人工智能本身仍在不斷發展。Toon 堅持認為，人工智能程序有很多變大的空間，這會限制計算能力。

而破解人類認知密碼的根本問題還很遙遠。

首先，程序確實一直在變大。

當今最大的人工智能模型，如 Nvidia 和 Microsoft 的 Megatron Turing-NLG，這是一種源自2017年 Transformer 創新的自然語言生成模型，有5萬億個參數，或者說權重，是神經網絡中經過調整的元素，類似於真實人類神經元中的突觸。

包括 Cerebras 在內的一些人已經指出了數萬億甚至數百萬億參數的未來，而 Toon 也贊同這種觀點。

「隨着參數數量的增加，數據量也隨之增加。」Toon 說道，「計算量增加了這兩個部分的倍數，這就是為什麼這些大型 GPU 農場正在發展的原因。」

100 萬億這個數字是一種神奇的目標，因為它被認為是人腦中突觸的數量，因此它可以作為某種基準。

鑒於 Graphcore 和 Nvidia 以及其他所有團隊都在為它製造越來越強大的機器，顯然沒有關於越來越大的問題的爭議。

然而，Toon 對第二點感興趣，即計算機科學問題，即是否可以通過所有這些完成任何有用的事情，以及它是否可以接近人類智能。

「圍繞這一點的挑戰是，你知道，如果你有一個擁有 100 萬億參數的模型，它會變得像人一樣聰明嗎？」 Toon 說。

這不僅是在這個問題上投入晶體管的問題，而且是設計系統的問題。

「你知道，我們真的知道如何訓練它嗎？」意思是，一旦神經網絡有 100 萬億個權重，就訓練它。「我們知道如何為它提供正確的信息嗎？我們是否知道如何構建該模型以使其實際上與人類的智力相匹配，或者儘管有更多參數，但它會如此低效嗎？」

換句話說，「我們真的知道如何製造一台與大腦智能相匹配的機器嗎？」

他提供的一個答案是專業化。一個包含一百萬億參數的模型可能非常擅長狹義定義的東西。「在像 [DeepMind 的遊戲算法] Atari 這樣的系統中，你有足夠的約束來理解那個世界。」Toon 說。

同樣地，「也許我們可以建立足夠的理解，例如，細胞是如何工作的，DNA是如何轉化為RNA進而轉化為蛋白質的，這樣你就可以有一個強化學習系統，利用這種理解來解決問題，例如，好吧，那麼我如何摺疊蛋白質，使其與這個細胞結合，我就可以與這個細胞進行通信，比如說，這個細胞是一個癌症。」Toon沉思道：「我可以在這種蛋白質上添加一種藥物，它可以治癒癌症。」

「這有點像 DeepMind 構建的 Atari 遊戲，它變成了超人，一個能夠殺死癌症的超人系統——它將是專業的。」

他建議，另一種方法是「對世界更普遍的理解」，類似於人類嬰兒的學習方式，通過「接觸關於世界的大量數據」。Toon 說，100 萬億個突觸問題將成為構建「層次結構」的問題之一。

「人類建立了對世界的理解層次結構。」他說，然後他們通過填補空白來「插入」。「你用你知道的東西來推斷和想像。」他說。

「人類非常不擅長外推；我們更擅長的是內插，你知道，有一些東西遺漏了——我知道，我知道，這在中間的某個地方。」

Toon 對層次結構的思考與該領域的一些理論家相呼應，包括 Meta 的 AI 首席科學家 Yann LeCun，他曾談到在神經網絡中構建理解層次結構。Toon 表示他同意 LeCun 的一些想法。

Toon 說，從這個角度來看，人工智能的挑戰變成了「你如何對世界建立足夠大的理解，讓你做更多的插值而不是外推？」

他認為，這一挑戰將是高度「稀疏」的數據，從小的後續數據塊更新參數，而不是對所有數據進行大量重新訓練。

「即使在你更新世界的特定事物中，你也可能不得不觸及你對世界理解的不同點。」Toon 解釋道。「它可能不會整齊地集中在一個地方，數據非常混亂且非常稀疏。」

從計算的角度來看，「你最終會得到許多不同的並行操作。」他說，「所有這些都非常稀疏，因為它們正在處理不同的數據片段。」

這兩個想法，即插值和更具體的癌症殺手模型，都與 Graphcore 的首席技術官 Simon Knowles 提出的想法一致，他談到了「提取」一個更一般、非常大的神經網絡到特定的東西。

這兩個想法似乎都符合楊樹軟件作為關鍵功能的概念。如果新的數據片段稀疏，填補了空白，並且必須從聯想存儲器中的多個位置提取，並跨多個圖形操作，那麼楊樹作為一種交通警察，在 IPU 芯片之間並行分發此類數據和任務，扮演着重要的角色。

儘管提出了這種情況，但 Toon 絕不是意識形態的。他注意到目前還沒有人確定答案。「我認為關於它是如何運作的有不同的哲學和不同的想法，但沒有人完全知道。這就是人們正在探索的東西。」