英偉達Dynamo發布：號稱“AI工廠的操作系統”

it之家 3 月 19 日消息，英偉達今日正式發布 dynamo，號稱是“ai 工廠的操作系統”。

dynamo 是一個“分布式推理服務庫”。本質上，它是一個針對用戶需求 token 而無法生產足夠 token 之間問題的開源解決方案。

黃仁勛展示了一張關於推理的圖表，x 軸顯示用戶每秒的 token 數，y 軸顯示工廠每秒的 token 數。

在 dynamo、grace blackwell nvlink72 超級芯片的加持下，blackwell 相比 hopper 可實現 25 倍的性能提升。

而在推理模型中，blackwell 的性能是 hopper 的 40 倍。

it之家注意到，黃仁勛還打趣道，有了上述最新技術加持，搭建 ai 工廠的廠商“買得越多、省得越多”，總而言之就是掏錢吧。