英偉達Dynamo發布：號稱「AI工廠的操作系統」

it之家 3 月 19 日消息，英偉達今日正式發布 dynamo，號稱是「ai 工廠的操作系統」。

dynamo 是一個「分散式推理服務庫」。本質上，它是一個針對用戶需求 token 而無法生產足夠 token 之間問題的開源解決方案。

黃仁勛展示了一張關於推理的圖表，x 軸顯示用戶每秒的 token 數，y 軸顯示工廠每秒的 token 數。

在 dynamo、grace blackwell nvlink72 超級晶元的加持下，blackwell 相比 hopper 可實現 25 倍的性能提升。

而在推理模型中，blackwell 的性能是 hopper 的 40 倍。

it之家注意到，黃仁勛還打趣道，有了上述最新技術加持，搭建 ai 工廠的廠商「買得越多、省得越多」，總而言之就是掏錢吧。