性能是其它AI PC的60倍,英伟达如何变革端侧AI?

2024年01月09日18:35:15 科技 1855

2024年,AI PC无疑是消费级市场中最受关注的焦点,同时端侧大模型及生成式AI的热度仍在持续上升。随着越来越多AI PC新品的发布,PC产业正在迎来一场新的革命。

而这场革命中必然少不了英伟达。就在今日,英伟达于CES 2024中发布了GeForce RTX 40 SUPER系列产品,并正式对外宣布已优化的软件、库及工具。

英伟达新的软硬件产品不仅将为游戏玩家带来全新的AI游戏体验,还将推动端侧生成式AI的普及。

性能是其它AI PC的60倍,英伟达如何变革端侧AI? - 天天要闻

RTX 40 SUPER系列发布,英伟达加入AI PC主战场

AI PC,是指具备集成软硬件混合式智能学习与推理能力的计算机。

但目前业内对AI PC的定义仍较为模糊,以西南证券的研究报告为例,其将AI PC定义为:在架构设计上,AI PC最重要的是嵌入了AI芯片,形成“CPU+GPU+NPU”的异构方案。

不过,英伟达在不使用NPU的情况下,仍能让PC表现出优异的性能,其表示:“以宏碁、华硕、戴尔、惠普、联想微星等合作伙伴发布全新RTX AI笔记本电脑为例,与使用NPU相比,RTX AI笔记本电脑的性能可提升20-60倍。”

不过无论AI PC该如何被定义,在这一波浪潮中,产品性能才是王道,拥有创造和运行生成式AI的生态才是标准。这点也可以从其新款RTX 40 SUPER系列产品看出。

雷峰网了解到,本次发布性能最高的GeForce RTX 4080 SUPER,在AI工作负载方面,生成视频的速度比RTX 3080 Ti快1.5倍,生成图像的速度比RTX 3080 Ti快1.7倍。SUPER GPU的Tensor Core可提供最高可达836 AI TOPS。

而新发布的GeForce RTX 4070 Ti SUPER则是拥有更多核心,显存容量增至 16GB,显存位宽为256 bits。比RTX 3070 Ti快1.6倍,打开DLSS 3后,比RTX 3070 Ti快2.5 倍。而RTX 4070 SUPER,则是核心数量比RTX 4070多20%,使其仅使用RTX 3090的一小部分功耗就实现了超越RTX 3090的性能,借助DLSS 3,它的性能领先优势将扩大到1.5倍。

性能是其它AI PC的60倍,英伟达如何变革端侧AI? - 天天要闻

基于强大的AI性能,英伟达的GeForce GPU将给包括游戏玩家在内的用户带来全新的AI体验。

游戏玩家的全新体验和端侧AI的全面普及

英伟达推出了NVIDIA ACE(Avatar Cloud Engine)微服务,它使用生成式AI让游戏NPC变得更真实,旨在增强用户与游戏NPC之间的交互。具体表现为,用户以自然语言对游戏NPC说话后,NPC并无预设回复,而是由大模型生成NPC的反应、回复内容、语音、口型、神态。背后的大模型可以运行在云上,也可以运行在PC端。

同时,英伟达发布了NVIDIA RTX Remix,用于创建经典游戏RTX重制版的平台。测试版将于本月底发布,提供生成式AI工具,可将经典游戏中的基本纹理转化物理精准的4K高精度材质。

帧率提升方面,NVIDIA DLSS 3支持帧生成技术(Frame Generation),可利用AI将帧率提高到原生渲染的4倍,据了解,这将用于已发布的14款全新RTX游戏中的十几款游戏中,包括《地平线:西之绝境》(Horizon Forbidden West)、Pax Dei和《龙之信条 2》(Dragon’s Dogma 2)等。[Bb1]

AI开发者也可以充分利用端侧强大的AI能力,让生成式AI无处不在。

英伟达月底即将上线NVIDIA AI Workbench工具包,允许开发者在PC或工作站上快速创建、测试和自定义预训练的生成式AI模型和LLM,并且项目可扩展到数据中心、公有云或NVIDIA DGX Cloud等,然后再回到PC或工作站上的本地RTX系统进行推理和轻量定制。该工具还简化了对Hugging Face、GitHub和NVIDIA NGC等流行存储库的访问。

性能是其它AI PC的60倍,英伟达如何变革端侧AI? - 天天要闻

NVIDIA AI Foundation Models and Endpoints(包括RTX加速的AI模型和软件开发工具包)有了新的进展。目前英伟达与惠普达成合作,将其集成到惠普AI Studio中,这是一个集成化的数据科学平台,简化AI模型的开发。这将使用户能跨PC和云轻松搜索、导入和部署优化后的模型。并且,为PC使用场景构建AI模型之后,开发者可使用NVIDIA TensorRT对其进行优化,以充分利用RTX GPU的Tensor Core。

英伟达通过TensorRT-LLM for Windows将TensorRT扩展到基于文本的应用,目前最新更新现已发布,将Phi-2加入不断增长的PC预优化模型列表,与其他backend相比推理速度提升5倍;另一方面,TensorRT扩展更新版的发布,令加速Stable Diffusion XL (SDXL) Turbo和LCM的性能提升了60%。[Bb2]

英伟达还宣布了一项为AI爱好者而设计的技术Demo——Chat with RTX。据了解,这项服务或将作为开源参考项目于月底发布,让用户通过"检索增强生成retrieval-augmented generation(RAG)",可将PC LLM连接到自己的数据。该Demo由TensorRT-LLM 加速,使用户快速与自己的笔记、文档和其他内容进行交互。

科技分类资讯推荐

获国家级认可!深圳这家医院自主研发智慧养老评估系统入选国家推广目录 - 天天要闻

获国家级认可!深圳这家医院自主研发智慧养老评估系统入选国家推广目录

近日,工业和信息化部、民政部、国家卫生健康委员会联合发布了《智慧健康养老产品及服务推广目录(2024年版)》,深圳市第二人民医院大鹏新区南澳医院(南澳人民医院)自主研发的“智慧老年人需求与综合能力评估系统”脱颖而出,成功入选老年人能力评估类目录,全国仅3例。这一系统的入选,标志着南澳人民医院在智慧养老领...
Manus跑路了吗? - 天天要闻

Manus跑路了吗?

衡宇 发自 凹非寺量子位 | 公众号 QbitAIManus,真的从国内撤了?!4个月前一夜蹿红起飞的AI Agent产品Manus,刚被曝出背后公司一举裁掉国内七成团队。事实上,Manus总部已在5月搬到了新加坡,国内员工何去何从?现在答
美团:任何骑手学历的总量数据都无事实依据 - 天天要闻

美团:任何骑手学历的总量数据都无事实依据

IT之家 7 月 10 日消息,美团今日通过“小团有话说”公众号对“丁 X 昭为什么送外卖”进行回应:近期,短视频账号“丁 X 昭频道”发布多条身着美团骑手工服的视频被广泛关注:视频中,丁 X 昭自述今年 39 岁,2004 年参加高考,是清华本科、北大与牛津双硕士、南洋理工大学博士,曾任新加坡国立大学博士后研究员,目前在送...
润滑铸钢魂 | 埃克森美孚中国携创新方案助钢铁设备升级 - 天天要闻

润滑铸钢魂 | 埃克森美孚中国携创新方案助钢铁设备升级

在钢铁行业加速推进绿色低碳与智能化转型的背景下,由中国设备管理协会冶金行业国际合作服务中心主办的2025(第二届)钢铁设备大会在张家港举行。大会以“创新裂变·智驱未来”为主题,聚合政府部门、行业协会、研究机构及钢铁产业链上下游企业的众多专业人士,共议冶金装备在碳约束时代的技术突围路径与低碳发展范式。作为...
享界星享之夜耀启新程:新标亮相,智造升级,用户共鉴豪华新篇 - 天天要闻

享界星享之夜耀启新程:新标亮相,智造升级,用户共鉴豪华新篇

在汽车工业的百年变革中,中国新能源汽车正以智能化与高端化的姿态重新定义豪华。北汽集团与华为联合打造的享界超级工厂,不仅是一座工厂,更是中国智造迈向全球价值链高端的宣言书。这座位于北京密云区中关村科技园区的工厂,集成了20年豪华车制造经验与尖端数字技术,每一台驶
iQOO不讲武德,骁龙8Gen3手机重回1571元,120W闪充+5000万双摄 - 天天要闻

iQOO不讲武德,骁龙8Gen3手机重回1571元,120W闪充+5000万双摄

什么时候选购手机是一年之中最划算的时候呢?结合往年的惯例,一般都是每年的618或者是双11的时候,因为这个时间点,大部分厂商都会通过让利的方式大幅拉低旗下手机的入手门槛,无论是选择中端旗舰还是选择高端手机,都能够获得相对有吸引力的价格。