性能是其它AI PC的60倍,英伟达如何变革端侧AI?

2024年01月09日18:35:15 科技 1855

2024年,AI PC无疑是消费级市场中最受关注的焦点,同时端侧大模型及生成式AI的热度仍在持续上升。随着越来越多AI PC新品的发布,PC产业正在迎来一场新的革命。

而这场革命中必然少不了英伟达。就在今日,英伟达于CES 2024中发布了GeForce RTX 40 SUPER系列产品,并正式对外宣布已优化的软件、库及工具。

英伟达新的软硬件产品不仅将为游戏玩家带来全新的AI游戏体验,还将推动端侧生成式AI的普及。

性能是其它AI PC的60倍,英伟达如何变革端侧AI? - 天天要闻

RTX 40 SUPER系列发布,英伟达加入AI PC主战场

AI PC,是指具备集成软硬件混合式智能学习与推理能力的计算机。

但目前业内对AI PC的定义仍较为模糊,以西南证券的研究报告为例,其将AI PC定义为:在架构设计上,AI PC最重要的是嵌入了AI芯片,形成“CPU+GPU+NPU”的异构方案。

不过,英伟达在不使用NPU的情况下,仍能让PC表现出优异的性能,其表示:“以宏碁、华硕、戴尔、惠普、联想微星等合作伙伴发布全新RTX AI笔记本电脑为例,与使用NPU相比,RTX AI笔记本电脑的性能可提升20-60倍。”

不过无论AI PC该如何被定义,在这一波浪潮中,产品性能才是王道,拥有创造和运行生成式AI的生态才是标准。这点也可以从其新款RTX 40 SUPER系列产品看出。

雷峰网了解到,本次发布性能最高的GeForce RTX 4080 SUPER,在AI工作负载方面,生成视频的速度比RTX 3080 Ti快1.5倍,生成图像的速度比RTX 3080 Ti快1.7倍。SUPER GPU的Tensor Core可提供最高可达836 AI TOPS。

而新发布的GeForce RTX 4070 Ti SUPER则是拥有更多核心,显存容量增至 16GB,显存位宽为256 bits。比RTX 3070 Ti快1.6倍,打开DLSS 3后,比RTX 3070 Ti快2.5 倍。而RTX 4070 SUPER,则是核心数量比RTX 4070多20%,使其仅使用RTX 3090的一小部分功耗就实现了超越RTX 3090的性能,借助DLSS 3,它的性能领先优势将扩大到1.5倍。

性能是其它AI PC的60倍,英伟达如何变革端侧AI? - 天天要闻

基于强大的AI性能,英伟达的GeForce GPU将给包括游戏玩家在内的用户带来全新的AI体验。

游戏玩家的全新体验和端侧AI的全面普及

英伟达推出了NVIDIA ACE(Avatar Cloud Engine)微服务,它使用生成式AI让游戏NPC变得更真实,旨在增强用户与游戏NPC之间的交互。具体表现为,用户以自然语言对游戏NPC说话后,NPC并无预设回复,而是由大模型生成NPC的反应、回复内容、语音、口型、神态。背后的大模型可以运行在云上,也可以运行在PC端。

同时,英伟达发布了NVIDIA RTX Remix,用于创建经典游戏RTX重制版的平台。测试版将于本月底发布,提供生成式AI工具,可将经典游戏中的基本纹理转化物理精准的4K高精度材质。

帧率提升方面,NVIDIA DLSS 3支持帧生成技术(Frame Generation),可利用AI将帧率提高到原生渲染的4倍,据了解,这将用于已发布的14款全新RTX游戏中的十几款游戏中,包括《地平线:西之绝境》(Horizon Forbidden West)、Pax Dei和《龙之信条 2》(Dragon’s Dogma 2)等。[Bb1]

AI开发者也可以充分利用端侧强大的AI能力,让生成式AI无处不在。

英伟达月底即将上线NVIDIA AI Workbench工具包,允许开发者在PC或工作站上快速创建、测试和自定义预训练的生成式AI模型和LLM,并且项目可扩展到数据中心、公有云或NVIDIA DGX Cloud等,然后再回到PC或工作站上的本地RTX系统进行推理和轻量定制。该工具还简化了对Hugging Face、GitHub和NVIDIA NGC等流行存储库的访问。

性能是其它AI PC的60倍,英伟达如何变革端侧AI? - 天天要闻

NVIDIA AI Foundation Models and Endpoints(包括RTX加速的AI模型和软件开发工具包)有了新的进展。目前英伟达与惠普达成合作,将其集成到惠普AI Studio中,这是一个集成化的数据科学平台,简化AI模型的开发。这将使用户能跨PC和云轻松搜索、导入和部署优化后的模型。并且,为PC使用场景构建AI模型之后,开发者可使用NVIDIA TensorRT对其进行优化,以充分利用RTX GPU的Tensor Core。

英伟达通过TensorRT-LLM for Windows将TensorRT扩展到基于文本的应用,目前最新更新现已发布,将Phi-2加入不断增长的PC预优化模型列表,与其他backend相比推理速度提升5倍;另一方面,TensorRT扩展更新版的发布,令加速Stable Diffusion XL (SDXL) Turbo和LCM的性能提升了60%。[Bb2]

英伟达还宣布了一项为AI爱好者而设计的技术Demo——Chat with RTX。据了解,这项服务或将作为开源参考项目于月底发布,让用户通过"检索增强生成retrieval-augmented generation(RAG)",可将PC LLM连接到自己的数据。该Demo由TensorRT-LLM 加速,使用户快速与自己的笔记、文档和其他内容进行交互。

科技分类资讯推荐

每28.5秒下线一部手机!荣耀多款AI终端产品发布 - 天天要闻

每28.5秒下线一部手机!荣耀多款AI终端产品发布

荣耀近日发布多款AI终端生态产品,包括折叠屏手机、笔记本电脑、平板电脑、手表、耳机等。北京青年报记者了解到,荣耀近年来加速推进智能制造升级,通过AI、机器人等前沿技术的深度应用,优化生产流程并提升产....
2025岚图用户之夜7月12日开启  岚图FREE+正式上市 - 天天要闻

2025岚图用户之夜7月12日开启 岚图FREE+正式上市

7月12日,在岚图品牌成立五周年之际,2025岚图用户之夜暨岚图FREE+上市发布会将在武汉体育中心震撼开启。届时,全球5000名岚图用户将齐聚现场,实力歌手薛凯琪与国华乐队水木年华联袂献唱,投入5亿升级、四年磨一剑的岚图FREE+即将重磅上市,奥运冠军和多国
马斯克旗下xAI公司Grok-4系列模型发布,马斯克:它几乎所有学科都比人类研究生聪明!算力是市面上其他任何模型的10倍以上 - 天天要闻

马斯克旗下xAI公司Grok-4系列模型发布,马斯克:它几乎所有学科都比人类研究生聪明!算力是市面上其他任何模型的10倍以上

新浪科技讯 7月10日下午消息,马斯克旗下xAI公司宣布推出最新的Grok-4系列AI模型。这是前代产品 Grok 3 的重大升级版本,直接跳过了3.5版本。据马斯克介绍,该模型几乎在所有学科领域都比人类研究生更聪明。据悉,Grok-4能够进行超人级别的推理,具有代码编写、多模态Agent、视频生成等多项能力,并且在MMLU-Pro、LiveCode...
华为余承东进“局子”自首:关于智驾的“超前野望” - 天天要闻

华为余承东进“局子”自首:关于智驾的“超前野望”

华为常务董事、终端BG董事长余承东在享界用户大会上表示:前段时间网上有个拍我开车睡觉的视频,其实我是在低头看手机,用智驾在开。旁边一个人开车跟我打招呼,我也跟他打招呼。他开了个新款M9,我以为他是华为员工。开车风大,我也没听清他说啥,他还拿手机给我拍照。我也不知道他拍照说我低头在睡觉,然后发到网上了,结...
燃油车逆势增长,一汽-大众大众品牌为何能领跑合资? - 天天要闻

燃油车逆势增长,一汽-大众大众品牌为何能领跑合资?

随着新能源崛起,自主新能源凭借迅猛势头蚕食合资油车市场,现在的攻势余热仍对未来车市影响深远。依照现在的情况观察,时间来到2025年下半年,合资大盘仍面临着前所未有的发展高压,销量不断萎缩,新品更新缓慢,这对于合资品牌而言,每一次销量数据的发布都堪称一场严峻“大
消息称某天玑9500工程机采用矩阵相机模组设计 - 天天要闻

消息称某天玑9500工程机采用矩阵相机模组设计

IT之家 7 月 10 日消息,博主 @数码闲聊站 今日曝光某天玑 9500 “大杯”工程机部分信息,预计来自 OPPO Find X9 Pro。据爆料,这款工程机采用左上角小方矩阵相机模组设计,“最顶一版”是 50Mp 1/1.
微软宣称AI节省5亿美元成本 裁员近万人 - 天天要闻

微软宣称AI节省5亿美元成本 裁员近万人

来源:环球网 【环球网科技综合报道】7月10日消息,据路透社报道,微软首席商务官Judson Althoff近日公开表示,人工智能工具正深刻改变公司内部运营模式,在销售、客户服务、软件工程等多个关键领域显著提升生产力。
乐动机器人港交所递交招股书:连续三年亏损,业务单一 - 天天要闻

乐动机器人港交所递交招股书:连续三年亏损,业务单一

近日,全栈式智能机器人企业乐动机器人正式向港交所递交招股书,并计划于港交所主板挂牌上市。乐动机器人成立于2017年11月,主要打造以视觉感知为核心的智能机器人基础设施并赋能各类智能机器人应用场景,同时提供适合新兴应用场景的视觉感知产品及整机