亞馬遜雲科技推出新一代AI訓練晶元Amazon Trainium3

2024年12月06日12:22:04 科技 1281

允中 發自 拉斯維加斯

量子位 | 公眾號 QbitAI

亞馬遜雲科技在2024年re:Invent全球大會上宣布了其AI硬體的最新進展——

正式推出基於Amazon Trainium2晶元的Amazon EC2 Trn2實例,同時發布了新一代AI訓練晶元Trainium3。

這些新產品為人工智慧模型的開發和部署提供了更高的性價比和性能,標誌著亞馬遜雲科技在生成式AI領域的新里程碑。

Amazon EC2 Trn2實例採用最新的TrAInium2晶元,性價比較現有基於GPU的EC2實例提升了30-40%,為AI開發者提供了更具成本效益的解決方案。

亞馬遜雲科技推出新一代AI訓練晶元Amazon Trainium3 - 天天要聞

△Amazon EC2 Trn2 實例伺服器模塊

每個Trn2實例配備16個Trainium2晶元,可提供高達20.8 Petaflops的浮點算力,非常適合訓練和部署包含數十億參數的大型語言模型。

亞馬遜雲科技推出新一代AI訓練晶元Amazon Trainium3 - 天天要聞

△Amazon Trainium2晶元

為了滿足不斷增長的AI計算需求,亞馬遜還推出了Trn2 UltraServers。

這種伺服器機型通過NeuronLink超速互連技術將四個Trn2伺服器連接為一個超大型伺服器,具備83.2 Petaflops的計算能力,專為超大規模AI模型的訓練和推理而設計。

亞馬遜雲科技推出新一代AI訓練晶元Amazon Trainium3 - 天天要聞

△Amazon EC2 Trn2 UltraServers

此外,亞馬遜雲科技還宣布了新一代AI訓練晶元Trainium3的推出。

這款晶元是亞馬遜首款採用3納米工藝製造的AI晶元,在性能、能效和密度上樹立了新標杆,搭載Trainium3的UltraServers性能預計是Trn2 UltraServers的四倍。

Trainium3的實例預計將在2025年末上線,為未來的大規模生成式AI模型提供更快的訓練速度和更優的實時性能。

亞馬遜雲科技生成式AI產品總監Sherry Marcus博士在交流過程中時表示,亞馬遜致力於為客戶提供更高效的解決方案,幫助他們減少AI幻覺並提高模型的準確性。

Marcus博士提到:

我們推出了自動推理(automated reasoning)等功能,確保大語言模型的輸出更加可靠。這些解決方案使得我們在減少AI幻覺方面取得了很好的效果。

這意味著,Amazon Bedrock平台上可實現基於上下文的驗證機制,以確保模型輸出的合理性和準確性,進一步減少AI幻覺的發生。

除了硬體上的突破,亞馬遜還與多家領先AI公司展開合作。

Anthropic和亞馬遜共同打造了名為Project Rainier的EC2 UltraCluster計算集群,包含數十萬個Trainium2晶元,其算力達到當前最先進AI模型訓練所需算力的五倍以上。

這個項目將成為全球最大的AI計算集群之一,供Anthropic構建和部署未來的AI模型。

Hugging Face也在藉助Amazon Trainium2和Neuron SDK開發開源AI模型,這些合作將使更多開發者能夠以更低的成本、更高的效率創建AI應用。

亞馬遜雲科技還發布了Amazon Neuron軟體套件,以幫助開發者更好地利用Trainium晶元的性能。

該軟體包含編譯器、運行時庫和工具,與JAX和PyTorch等框架無縫集成,使開發者能夠輕鬆優化模型,在Trainium晶元上實現最佳性能。

Sherry Marcus博士還提到,這些工具的推出將極大地簡化AI模型的開發流程,尤其是在減少AI幻覺和提高模型推理可靠性方面表現突出。

通過推出Amazon Trainium2和Trainium3晶元,亞馬遜雲科技繼續保持在生成式AI硬體領域的領先地位。

新產品不僅能夠為大型模型提供卓越的性能和更快的訓練速度,還顯著降低了企業部署AI的成本。

除此之外,應用層上的更新也是此次re:Invent的一大亮點。

沙利文大中華區總監李慶表示:

本屆re:Invent大會上的新發布更加側重於產品的實際應用和工具優化,這表明過去一年中,全球用戶正在積極使用亞馬遜雲科技進行生成式AI應用的探索和創新。

本次更新有兩個方面讓李慶印象深刻:一是隨著全球企業對生成式AI的深入應用,數據不僅實現跨區域的傳輸與協同,更實現跨地域、跨區域的深度連接.

二是亞馬遜雲科技進一步優化生成式AI的應用,從數據存儲、治理到管理的全流程提升,旨在簡化 AI 對數據的使用,同時強化模型功能、增加AI agent 管理和應對模型幻覺的功能。

此外,新發布的 Amazon Nova 大模型家族備受期待,這一系列的模型和亞馬遜雲科技的開放選擇理念將為用戶帶來更多創新機會,進一步推動 AI 的發展。

這些創新將進一步推動生成式AI在各個行業的應用,使企業能夠更好地利用AI技術來提升業務表現、降低運營成本

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們,第一時間獲知前沿科技動態

科技分類資訊推薦

大爺寫《我的母親》火爆全網!視頻發布者最新發聲 - 天天要聞

大爺寫《我的母親》火爆全網!視頻發布者最新發聲

連日來,一段關於大爺挑戰寫作1957年高考同題作文《我的母親》的視頻火爆全網。不少網民表示,文字質樸,催人淚下,深深被打動。7月11日,大皖新聞記者聯繫上了視頻發布者連文傑。對方表示,視頻中展示的作文內容由大爺獨立寫作,產生的版權收入也全給大爺。大爺寫作文視頻走紅網路。大爺寫的作文在網上爆火大皖新聞記者注...
10.38萬元起,吉利銀河A7發布預售價 - 天天要聞

10.38萬元起,吉利銀河A7發布預售價

7月11日,吉利銀河發布了預售價,預售價格範圍為10.38-13.38萬元,在發布預售價格的同時,官方也帶來了多項權益,包括500元訂金抵扣1500元,贈送價值8800元的Flyme Sound音響等。
「中欣卡」突然停擺,超150萬用戶退款難 - 天天要聞

「中欣卡」突然停擺,超150萬用戶退款難

覆蓋北京2000多家門店、擁有超150萬持卡用戶的預付卡「中欣卡」近日停擺,線上線下消費渠道均被暫停,恢復時間未知。大量持卡用戶面臨資金凍結困境。消費渠道全面「癱瘓」近日,中欣卡發布公告稱「因業務調整,全面暫停所有門店合作,無法消費」。中國新聞網《民生調查局》記者發現,其官網合作商戶名錄已清空,線上提貨渠...
突發,聊聊Manus「刪博跑路」 - 天天要聞

突發,聊聊Manus「刪博跑路」

摘要:「如果最後有不錯的結果,證明作為中國出生的創始人,也能在新的環境下做好全球化的產品,那就太好了」鳳凰網科技 出品作者|董雨晴7月11日,AI Agent產品Manus官方賬號清空了發布在微博、小紅書的內容。兩天前,Manus剛剛陷入裁
AI取代矽谷程序員?這些美國大廠高管這麼說 - 天天要聞

AI取代矽谷程序員?這些美國大廠高管這麼說

人工智慧(AI)正在加速重塑全球勞動力市場。 當地時間10日,美國招聘平台Indeed及員工評價網站Glassdoor宣布,為應對人工智慧帶來的產業變革,將裁減約1300個職位,占集團員工總數的6%。微軟首席商業官阿爾索夫(Judson Althoff)稱,AI已承擔35%的產品代碼編寫工作,顯著加快了產品開發周期。 美國威達信集團(Marsh McL...