
在眾多關於即將推出的Vera Rubin圖形處理器的討論中,人們很容易忘記英偉達公司不僅僅提供人工智慧硬體。
該公司還開發自己的AI模型系列,今天宣布推出迄今為止最強大的模型。英偉達表示,Nemotron Super 3專為大規模運行複雜智能體AI系統而設計,將先進的推理能力與快速處理速度相結合,高效執行需要極高準確性的任務。
Nemotron Super 3是一個基於混合專家架構的1200億參數開源模型。英偉達稱,它結合了三項創新技術,實現了比上一代Nemotron Super模型高達五倍的吞吐量和兩倍的準確性。
根據英偉達的說法,Nemotron Super 3旨在解決智能體AI系統面臨的兩大主要約束,這些系統旨在代表用戶自動化複雜任務。第一個是內容爆炸問題。英偉達表示,多智能體工作流通常比標準聊天交互產生多達15倍的Token,因為每次用戶與其交互時,模型都需要重新發送包括工具輸出和中間推理在內的上下文。
第二個約束被稱為"思考稅"。複雜智能體必須在完成任務的每個步驟中進行推理,這意味著使用更大的模型是不現實的,因為參數越多,處理成本就越高。大型模型也比小型模型更慢。
為了解決這些問題,Nemotron 3 Super擁有100萬Token的上下文窗口,允許它在內存中保留完整的工作流狀態並防止"目標漂移",英偉達表示。此外,在推理過程中,其1200億參數中只有120億個處於活躍狀態,推理是運行訓練模型以生成預測或對新數據產生結論的過程。
英偉達表示,Nemotron Super 3在其Blackwell GPU上以NVFP4精度運行,這使其能夠減少內存需求,並將推理速度提高多達四倍,相比其上一代Hopper平台所能實現的性能。
Nemotron 3 Super可以從build.nvidia.com、OpenRouter和Hugging Face下載。此外,AI搜索引擎Perplexity公司正在其搜索引擎中提供該模型,並與其"Computer"AI智能體系統一起使用。生成式AI編程應用如CodeRabbit、Factory和Greptile也將該模型添加到其產品線中,而生命科學組織Edison Scientific和Lila Sciences將使用它為數據科學、深度文獻研究和分子理解提供智能體支持。
包括Amdocs集團公司、Palantir Technologies公司、Cadence Design Systems公司和達索系統公司在內的企業也在使用Nemotron Super 3來自動化電信、網路安全、半導體設計和製造領域的工作流。最後,戴爾科技公司和慧與企業公司也將通過各自的智能體中心提供該模型的訪問。
Nemotron 3 Super的發布正值英偉達年度GTC大會即將召開之際,該大會將於下周3月16日開幕,屆時公司預計將披露更多關於其下一代GPU平台等方面的公告。
Q&A
Q1:Nemotron Super 3模型有什麼特點?
A:Nemotron Super 3是英偉達推出的1200億參數開源模型,專為大規模運行複雜智能體AI系統設計。它採用混合專家架構,擁有100萬Token上下文窗口,推理時只激活120億參數,實現了比上一代模型五倍的吞吐量提升和兩倍的準確性改進。
Q2:智能體AI系統面臨哪些主要技術挑戰?
A:智能體AI系統主要面臨兩大約束:一是內容爆炸問題,多智能體工作流產生的Token數量比標準聊天多達15倍;二是"思考稅"問題,複雜智能體需要在每個步驟進行推理,使用大型模型成本高且速度慢。
Q3:哪些公司和應用已經開始使用Nemotron Super 3?
A:目前Perplexity搜索引擎、CodeRabbit等編程應用、Edison Scientific等生命科學組織已開始使用該模型。Amdocs、Palantir、Cadence等企業用它自動化電信和半導體設計工作流,戴爾和慧與也通過智能體中心提供訪問服務。