Jim Keller 批評CUDA：是沼澤，不是護城河

來源：內容由半導體行業觀察（ID：icbank）綜合自tomshardware，謝謝。

曾從事 x86、Arm、MISC 和 RISC-V 處理器研究的傳奇處理器架構師Jim Keller本周末批評了Nvidia 的 CUDA架構和軟件堆棧，並將其比作 x86，他稱之為沼澤。他指出，就連英偉達本身也有多個專用軟件包，出於性能原因，這些軟件包依賴於開源框架。

“CUDA 是沼澤，而不是護城河，”Keller在 X 帖子中寫道。“x86 也是一片沼澤。[…] CUDA 並不漂亮。它是通過一次堆積一件東西來構建的。”

確實，就像x86一樣，CUDA在保持軟件和硬件向後兼容性的同時逐漸增加了功能。這使得Nvidia的平台完整且向後兼容，但它影響了性能並使程序開發變得更加困難。同時，很多開源軟件開發框架可以比CUDA更高效地使用。

“基本上沒有人編寫 CUDA，”凱勒在後續帖子中寫道。“如果你確實編寫 CUDA，它可能不會很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”

甚至 Nvidia 本身也有不完全依賴 CUDA 的工具。例如，Triton Inference Server 是 Nvidia 的一款開源工具，可簡化 AI 模型的大規模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 還提供模型版本控制、多模型服務和並發模型執行等功能，以優化 GPU 和 CPU 資源的利用率。

Nvidia 的TensorRT是一種高性能深度學習推理優化器和運行時庫，可加速Nvidia GPU上的深度學習推理。TensorRT 從各種框架（例如 TensorFlow 和 PyTorch）中獲取經過訓練的模型，並對其進行優化以進行部署，從而減少延遲並提高圖像分類、對象檢測和自然語言處理等實時應用程序的吞吐量。

但是，儘管像Arm、CUDA 和x86這樣的架構可能會被認為是沼澤，因為它們的演進速度相對較慢、必須向後兼容並且體積龐大，但這些平台也不像GPGPU這樣分散，這可能根本不是一件壞事。

目前尚不清楚 Jim Keller 對 AMD 的ROCm和英特爾的OneAPI有何看法，但很明顯，儘管他花了很多年時間設計 x86 架構，但他並不迷戀其未來前景。他的言論還暗示，儘管他曾在世界上一些最大的芯片製造商工作過一段時間，包括蘋果、英特爾、AMD、博通（現在是Tenstorrent）等公司，但我們可能不會在 Nvidia 的名單上看到他的名字。

擴展閱讀

英特爾CEO評價CUDA：護城河又淺又小，壟斷不會永遠持續

英特爾首席執行官帕特·基辛格 (Pat Gelsinger)在紐約舉行的一次活動中推出了英特爾酷睿 Ultra和第五代至強數據中心芯片，他對 Nvidia 的 CUDA 技術大加讚賞，聲稱推理技術將比人工智能訓練更重要。但在納斯達克接受提問時，基辛格表示 Nvidia 在訓練方面的 CUDA 主導地位不會永遠持續下去。

“你知道，整個行業都在積極消除 CUDA 的市場，”（原文：You know, the entire industry is motivated to eliminate the CUDA market,）基辛格說。他列舉了 MLIR、 Google和 OpenAI等例子，暗示他們正在轉向“Pythonic 編程層”，以使 AI 訓練更加開放。

“我們認為 CUDA 護城河又淺又小，”（We think of the CUDA moat as shallow and small）基辛格繼續說道。“因為該行業有動力為廣泛的訓練、創新、數據科學等帶來更廣泛的技術。”

但英特爾不僅僅依靠訓練。相反，它認為推理才是正確的出路。

“當推理髮生時，一旦你訓練了模型……就不存在 CUDA 依賴性了，”Gelsinger 繼續說道。“問題在於，你能很好地運行這個模型嗎？” 他表示，通過首次在舞台上展示的 Gaudi 3，英特爾將迎接挑戰，並且能夠在 Xeon 和邊緣 PC 上做到這一點。基辛格表示，並不是說英特爾不會在訓練領域展開競爭，而是“從根本上說，推理市場才是競爭的焦點”。

他還藉此機會推動了 OpenVINO（英特爾為人工智能工作而制定的標準），並預測了一個混合計算的世界，其中一些發生在雲端，另一些發生在您的 PC 上。

英特爾執行副總裁兼數據中心和人工智能事業部總經理桑德拉·里維拉(Sandra Rivera)補充說，英特爾從數據中心到PC的規模可能使其成為首選合作夥伴，因為它可以批量生產。

“我們將以三種方式爭奪數據中心 AI TAM 的 100% 份額。” 基辛格補充了Rivera的評論。“憑藉我們的領導力首席執行官、領導力加速器和晶圓廠。我們可以利用每一項內部機會：TPU、推理、訓練等等。我們將追求所有這些。我們”我們還將與 NVIDIA、AMD 等合作，尋求每一個商業機會。我們將成為代工廠商。”

這是一個大膽的策略，今天基辛格在帶領他的團隊進行演示時顯得充滿信心。他真的能挑戰CUDA嗎？隨着英特爾今天推出的芯片（以及他的競爭對手也在開發）的應用變得更加廣泛，只有時間才能證明一切。