亚马逊云科技推出新一代AI训练芯片Amazon Trainium3

2024年12月06日12:22:04 科技 1281

允中 发自 拉斯维加斯

量子位 | 公众号 QbitAI

亚马逊云科技在2024年re:Invent全球大会上宣布了其AI硬件的最新进展——

正式推出基于Amazon Trainium2芯片的Amazon EC2 Trn2实例,同时发布了新一代AI训练芯片Trainium3。

这些新产品为人工智能模型的开发和部署提供了更高的性价比和性能,标志着亚马逊云科技在生成式AI领域的新里程碑。

Amazon EC2 Trn2实例采用最新的TrAInium2芯片,性价比较现有基于GPU的EC2实例提升了30-40%,为AI开发者提供了更具成本效益的解决方案。

亚马逊云科技推出新一代AI训练芯片Amazon Trainium3 - 天天要闻

△Amazon EC2 Trn2 实例服务器模块

每个Trn2实例配备16个Trainium2芯片,可提供高达20.8 Petaflops的浮点算力,非常适合训练和部署包含数十亿参数的大型语言模型。

亚马逊云科技推出新一代AI训练芯片Amazon Trainium3 - 天天要闻

△Amazon Trainium2芯片

为了满足不断增长的AI计算需求,亚马逊还推出了Trn2 UltraServers。

这种服务器机型通过NeuronLink超速互连技术将四个Trn2服务器连接为一个超大型服务器,具备83.2 Petaflops的计算能力,专为超大规模AI模型的训练和推理而设计。

亚马逊云科技推出新一代AI训练芯片Amazon Trainium3 - 天天要闻

△Amazon EC2 Trn2 UltraServers

此外,亚马逊云科技还宣布了新一代AI训练芯片Trainium3的推出。

这款芯片是亚马逊首款采用3纳米工艺制造的AI芯片,在性能、能效和密度上树立了新标杆,搭载Trainium3的UltraServers性能预计是Trn2 UltraServers的四倍。

Trainium3的实例预计将在2025年末上线,为未来的大规模生成式AI模型提供更快的训练速度和更优的实时性能。

亚马逊云科技生成式AI产品总监Sherry Marcus博士在交流过程中时表示,亚马逊致力于为客户提供更高效的解决方案,帮助他们减少AI幻觉并提高模型的准确性。

Marcus博士提到:

我们推出了自动推理(automated reasoning)等功能,确保大语言模型的输出更加可靠。这些解决方案使得我们在减少AI幻觉方面取得了很好的效果。

这意味着,Amazon Bedrock平台上可实现基于上下文的验证机制,以确保模型输出的合理性和准确性,进一步减少AI幻觉的发生。

除了硬件上的突破,亚马逊还与多家领先AI公司展开合作。

Anthropic和亚马逊共同打造了名为Project Rainier的EC2 UltraCluster计算集群,包含数十万个Trainium2芯片,其算力达到当前最先进AI模型训练所需算力的五倍以上。

这个项目将成为全球最大的AI计算集群之一,供Anthropic构建和部署未来的AI模型。

Hugging Face也在借助Amazon Trainium2和Neuron SDK开发开源AI模型,这些合作将使更多开发者能够以更低的成本、更高的效率创建AI应用。

亚马逊云科技还发布了Amazon Neuron软件套件,以帮助开发者更好地利用Trainium芯片的性能。

该软件包含编译器、运行时库和工具,与JAX和PyTorch等框架无缝集成,使开发者能够轻松优化模型,在Trainium芯片上实现最佳性能。

Sherry Marcus博士还提到,这些工具的推出将极大地简化AI模型的开发流程,尤其是在减少AI幻觉和提高模型推理可靠性方面表现突出。

通过推出Amazon Trainium2和Trainium3芯片,亚马逊云科技继续保持在生成式AI硬件领域的领先地位。

新产品不仅能够为大型模型提供卓越的性能和更快的训练速度,还显著降低了企业部署AI的成本。

除此之外,应用层上的更新也是此次re:Invent的一大亮点。

沙利文大中华区总监李庆表示:

本届re:Invent大会上的新发布更加侧重于产品的实际应用和工具优化,这表明过去一年中,全球用户正在积极使用亚马逊云科技进行生成式AI应用的探索和创新。

本次更新有两个方面让李庆印象深刻:一是随着全球企业对生成式AI的深入应用,数据不仅实现跨区域的传输与协同,更实现跨地域、跨区域的深度连接.

二是亚马逊云科技进一步优化生成式AI的应用,从数据存储、治理到管理的全流程提升,旨在简化 AI 对数据的使用,同时强化模型功能、增加AI agent 管理和应对模型幻觉的功能。

此外,新发布的 Amazon Nova 大模型家族备受期待,这一系列的模型和亚马逊云科技的开放选择理念将为用户带来更多创新机会,进一步推动 AI 的发展。

这些创新将进一步推动生成式AI在各个行业的应用,使企业能够更好地利用AI技术来提升业务表现、降低运营成本

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

科技分类资讯推荐

零跑全新C11上市,14.98万起售 - 天天要闻

零跑全新C11上市,14.98万起售

7月10日,零跑汽车旗下智能越享中型SUV——全新C11正式上市,上市指导价14.98-16.58万元。零跑C11上市4年来,累计销量已突破25万台,是零跑的重要的走量车型,全新C11在造型设计、智能座舱、续航性能、辅助驾驶、驾控体验及安全基因等六大维度实现全面升级。此次上市的全新C11延续纯电与增程双动力版本,其中,纯电车型搭载...
张旭院士:我国类脑智能规模应用潜力巨大 - 天天要闻

张旭院士:我国类脑智能规模应用潜力巨大

7月11日,省加快推进现代化产业体系建设专题会议(人工智能与机器人产业专场)在广州举行。现场,来自相关领域的专家学者、企业家、人大代表、研究机构代表踊跃发言,为广东人工智能与机器人产业的发展积极建言、出谋划策。中国科学院院士、广东省智能科学与技术研究院院长张旭表示,类脑智能技术作为新一代智能技术的核心...
【芯片】Tensor G5曝光,Pixel10工程机现身海鲜市场 - 天天要闻

【芯片】Tensor G5曝光,Pixel10工程机现身海鲜市场

近日谷歌Pixel 10 Pro Fold出现在了GeekBench跑分数据库中:新机搭载了谷歌全新的Tensor G5处理器,据悉这代终于是告别了三星工艺,转而拥抱台积电N3E工艺。从显示信息来看,Tensor G5采用了1+5+2的八核CPU架构,1*3.78GHz X4超大核+5*3.05GHz A725大核+2*2.25GHz A520小核构成。单核
【新机】2K屏+潜望长焦,iQOO 15曝光 - 天天要闻

【新机】2K屏+潜望长焦,iQOO 15曝光

说到iQOO的数字旗舰系列,这代iQOO13相机被刀还是挺可惜的,主要也是为了避免和老大哥X200产生冲突。今天@数码闲聊站曝光了下代iQOO旗舰的信息:新机可能会跳过iQOO 14,直接命名为iQOO 15,这代将会有中杯/大杯两个杯型。新机将会采用6.85英寸2K LIPO三星定制直面屏,屏幕边框极窄,支持Pol-less去偏光技术,还具有AR抗眩...
清华专家破百年陈规!沪上论坛曝电力革新,陈磊构想太敢了 - 天天要闻

清华专家破百年陈规!沪上论坛曝电力革新,陈磊构想太敢了

听说了吗?清华大学的专家居然说要彻底打破电力系统运行了上百年的规矩!就在上海那场新能源论坛上,陈磊研究员抛出个重磅观点 —— 以后用电不用再看频率脸色,有功功率想咋调就咋调!这事儿要是真能成,咱们家里的空调、电动车充电可就再也不会因为电网不
消费活力释放,上海零售商业形态向“文商旅体展”融合演进 - 天天要闻

消费活力释放,上海零售商业形态向“文商旅体展”融合演进

2025年二季度,在上海市政府经济刺激方案推动下,上海商业市场消费活力逐步释放,但零售物业租赁指标的复苏态势仍显平缓。核心商圈平均租金为1877元/平方米/月,平均出租率为94.71%,整体表现与去年同期持平,其中徐家汇、陆家嘴等商圈凭借成熟商业生态,表现相对突出。但与非核心商圈相比,从存量、新增供应、净吸纳量等指...