化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点

2024年04月10日22:05:05 科技 1631
化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

大模型和AIGC技术的发展迅猛,正在重塑众多行业的运作方式。以ChatGPT为代表的大型语言模型已经展现出强大的文本生成、问答和分析能力,而像Stable DiffusionDALL-E这样的文生图AI也让创作图像资源变得前所未有的高效。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

虽然距离AGI还有一定距离,但大模型和AIGC带来的变革已初现端倪。内容创作、客服、办公自动化、游戏、教育等领域都逐渐开始被AI赋能并重塑流程。根据市场调研机构Gartner的预测,到2025年,AI创作工具将贡献30%的新数字化内容。

在AI技术日益普及的今天,AIGC已成为工作生活的重要组成部分。然而,目前主流的AIGC服务主要依赖云端,不仅存在隐私数据安全隐患,而且离线环境下将无法使用。因此,将AI技术部署到每台个人电脑上成为必然趋势。

与云端服务相比,本地部署大型AI模型能最大限度保护个人隐私数据安全,这是端侧AI的关键价值。用户无需再上传敏感数据到云端,大幅降低泄露风险。同时可在离线状态下随时调用强大AI能力,便利性获得极大增强。

作为PC行业的领导者,英特尔提早布局AI领域,并在业界率先提出了AI PC的概念,将AI能力整合到消费级个人电脑中。除了在硬件层面增加AI加速器NPU外,英特尔还在软件生态系统方面进行了广泛的合作,以简化大模型在AI PC上的部署流程,降低普通消费者体验和使用AI功能的门槛。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

安装部署过程简单,自动下载模型

目前,在驱动人生平台上架了一款PC端AIGC助手,对于想要体验本地AI大模型的用户来说,无疑是让人兴奋的好消息。这款AIGC助手允许您在AI PC上一键安装!无需具备复杂知识,无需进行繁琐的环境配置,也无需在外网寻找资源。只需从官网下载,像安装其他软件一样双击图标并按照引导操作,即可为您的笔记本轻松添加AI助理。这不仅为用户提供了本地化的对话体验,还确保了数据的安全性。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

Baichuan2-7B模型

下载安装完成后的AIGC助手和我们平时使用的软件操作一样,双击桌面图标即可开启,软件打开时会自动加载大语言模型。我们本次体验的AIGC助手,默认下载了Baichuan2-7B-Chat模型。它是百川智能推出的一款开源大语言模型,在多个权威评测榜单均名列前茅。除了开源可免费商用的Baichuan-7B/13B和Baichuan2-7B/13B外,百川智能还推出了六款闭源大模型Baichuan-53B、Baichuan2-53B、Baichuan2-192K、Baichuan2 Turbo、Baichuan-NPC和Baichuan 3。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

Baichuan2-7B基准测试表现出色

Baichuan2-7B-Chat是Baichuan2系列模型的一部分,特别针对聊天和对话生成的任务进行了微调。这款模型是基于2.6万亿Tokens的高质量语料训练得到的,并且在多个中英文和多语言的通用领域Benchmark上取得了优异的表现。

AIGC助手使用体验:上手简单,反应迅速,处理高效

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

无需环境配置,安装后直接打开即可进入对话模式

AIGC助手操作界面非常简单友好,我们完全不需要额外配置就可以直接获取AI提供的一系列服务,包括回答问题、提供建议、语言翻译、娱乐内容推荐、信息搜索以及自然语言交流,可以帮助我们高效完成各项任务。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

自然交流可以回答各种问题

自然交流&问答:AIGC助手的使用就像人与人之间的对话一样,我们不需要学习特定的命令或语法,直接使用日常语言就可以与AI进行交流。当我们向AI提出问题时,AI会根据问题的内容进行分析,然后从它的知识库中找到相关的信息,并以易于理解的方式呈现给用户。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

可以就同一个问题进行多轮连续的对话

AIGC助手采用的Baichuan2-7B-Chat模型,是百川智能专门用于对话任务的聊天模型,它在理解对话和上下文方面表现出色,具有强大的对话生成能力,使得AIGC助手能够在多轮对话中维持对话的连贯性,并根据之前的对话内容来理解和生成相关的回应。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

长文章翻译

语言翻译:基于Baichuan2-7B-Chat的AIGC助手在中文翻译方面具有出色的性能。得益于深度学习技术和庞大的双语语料库训练,它能够更好地理解句子的整体含义,生成更自然、更符合目标语言习惯的翻译结果。此外,在AIPC上的翻译速度也相当快,为用户提供了高效便捷的语言翻译体验。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

根据用户提供的信息撰写文章

文案撰写:在日常工作中,文案撰写是一项常见任务,这些文案通常具有固定结构和模式,如述职报告、工作总结、项目提案和会议记录等。在这些类型的文案撰写中,AI的优势尤为明显,只需将需求提供给AIGC助手,就能快速获得相应文案作为参考。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

AIGC助手硬件配置需求

AI PC:让更多形态的个人计算设备具备本地AI能力

AIGC助手的高效性能和强大功能原本需要依赖高性能独立显卡,但现在得益于英特尔® 酷睿™ Ultra处理器集成的CPU、GPU和NPU三大引擎的强大算力,以及百川智能针对该处理器的专门优化,即便是集成显卡笔记本电脑也能快速高效的本地运行大型AI模型。这种优化意味着不仅台式机,各种形态的便携式设备,如轻薄本、二合一设备,NUC迷你主机,甚至是更多形态的便携式移动终端设备,都能够实现在本地部署大模型。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

搭载英特尔® 酷睿™ Ultra处理器的游戏掌机也可本地部署AIGC

我们在多设备上测试表明,AIGC助手在各式硬件上均展现出卓越的运行效率,无论是标准笔记本还是低功耗的游戏掌机。这一出色的本地AI体验得益于英特尔® 酷睿™ Ultra处理器搭载的英特尔锐炫™ 显卡提供的强劲计算力,以及英特尔IPEX-LLM团队与百川团队对大模型推理过程的深度优化。

IPEX-LLM是英特尔开源的大语言模型加速库,能够通过全面的低比特模式(INT2/INT4/FP4/NF4/INT8/FP8)和混合精度支持、大语言模型推理过程的全栈优化、高等级的内存管理、友好的开发接和与大语言模型生态链(包括 Hugging Face, 魔搭, vLLM, bitsandbytes, Text-Generation-WebUI, FastChat, LangChain, LlamaIndex, AutoGen, 等)的无缝结合,助力 AI 开发者和研究者在英特尔® 平台上加速优化大语言模型,提升大语言模型的使用体验。

在AIGC助手的合作中,英特尔和百川团队通过创新的高级优化,在提升推理速度的同时,还能够实现高效的计算缓存管理和KV-缓存优化,并针对长序列推理进行了改进,有效降低了显存消耗。

值得一提的是,如果不满足于只在PC上使用AIGC助手,有开发兴趣的用户只需三个简单步骤,即可利用IPEX-LLM实现模型的加速推理,在英特尔® 酷睿™ Ultra处理器上构建自己的AIGC应用,轻松打造个性化的AI解决方案(以发布在魔搭社区的百川7B模型为例)。

  1. 环境准备及安装IPEX-LLM(IPEX-LLM 安装)

  2. 下载百川7B大语言模型(百川2-7B-对话模型 · 模型库 (modelscope.cn) )

  3. 利用IPEX-LLM优化和储存模型并进行推理加速(IPEX-LLM模型优化和加载)

毫无疑问,英特尔在推动AI PC进入日常生活和工作领域的进程中,发挥了举足轻重的作用。正是由于英特尔在硬件设计和制造方面的卓越能力,以及对AI技术的持续投入和创新,才使得如此强大的AI功能得以在众多个人设备上实现。英特尔不仅在技术上引领了AI的发展,也在实际应用中推动了AI的普及。

写在最后:

作为PC行业的绝对领导者,英特尔在过去四十年里持续推动着整个PC产业的发展,并多次引领PC产品实现技术跃迁。在20年前,英特尔推出"迅驰"技术,极大提升了笔记本电脑的无线网络体验,确保了无处不在的网络连接,开启了移动办公的新纪元。再向前迈进10年,"超极本"概念的推出再次颠覆了市场,将笔记本的便携性和多功能体验推向了新的高度。

如今,人工智能时代已经到来,AI无疑将深刻改变人类的生产生活方式。作为不可或缺的个人计算设备,PC自然也需要被赋予AI能力以满足未来需求。英特尔远见卓识地提出了"AI PC"的概念,将AI能力植入个人电脑中,从而推动PC产品实现又一次飞跃式的进化,开启全新的智能计算时代。

本文所有测试软件均为实际使用、真实测试,不代表任何品牌方立场。

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

END

化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻化解"高门槛"迷思,英特尔助力AI PC占据本地大模型部署制高点 - 天天要闻

科技分类资讯推荐

这个国家级智能语音创新中心,颠覆你的耳朵 - 天天要闻

这个国家级智能语音创新中心,颠覆你的耳朵

向东,是中国科学技术大学高新校区;向北,是合肥市政府与中国科学院合肥物质科学研究院共同设立的合肥创新院——位于安徽合肥的中国声谷,是全国首个人工智能领域的国家级产业基地,已入驻科大讯飞、华米科技等2000余个企业,年产值超2000亿元。
谁是中美科技巨头中的“AI 并购之王”? - 天天要闻

谁是中美科技巨头中的“AI 并购之王”?

来源丨IT桔子作者丨吴梅梅封面图来源|Pexels这几天,微软中国曝出了炸弹级别的消息——与 AI 业务相关的重要部门(涉及数百人团队)将被整体搬迁至美国或澳大利亚等地,员工也可以选择离职。这个消息被媒体理解为“微软裁员/撤出中国”,它略微有夸张的成分,我们不做过多解读,这次只想探讨 AI。在现代科技的浪潮中,人工...
超360家企业带来1500多种展品,第六届中国(上海)国际计量测试技术和设备博览会在沪开幕 - 天天要闻

超360家企业带来1500多种展品,第六届中国(上海)国际计量测试技术和设备博览会在沪开幕

图说:第六届中国(上海)国际计量测试技术和设备博览会在上海世博展览馆开幕 新民晚报记者 金旻矣 摄(下同)出租车计价器、血压计、加油机、电子秤、电表、眼镜度数……计量,与百姓的生活息息相关。在第25个“世界计量日”来临之际,第六届中国(上海)国际计量测试技术与设备博览会(以下简称“计量博览会”)今天在上...
Dynabook玳能智慧方案即将亮相2024国际智能制造(上海)论坛 - 天天要闻

Dynabook玳能智慧方案即将亮相2024国际智能制造(上海)论坛

5月31日,由e-works数字化企业网主办的2024国际智能制造(上海)论坛将在上海盛大举行。本届论坛以“推进新型工业化,实现可持续发展”为主题,吸引了包括制造企业高层、智能制造、智能设备、大数据、AI等领域的资深专家学者、知名厂商代表、中介服务机构、咨询公司、研究单位代表等嘉宾共襄盛举,聚焦新型工业化下制造企业的...
重大变革!亚马逊6月1日调整退货处理费,影响所有卖家! - 天天要闻

重大变革!亚马逊6月1日调整退货处理费,影响所有卖家!

重要通知,亚马逊发布最新公告称:自2024年6月1日起将针对除服装和鞋靴之外所有高退货率商品收取退货处理费用,适用于退货率高于各类目特定阈值的商品,目前距离亚马逊开始征收“退货处理费”仅剩2周!那么,什么是高退货率商品?如何查看退货阈值?且听小编细细道来!01什么是高退货率商品?
“科技赋能,助残前行”衡阳市残联举行康复辅具体验交流会 - 天天要闻

“科技赋能,助残前行”衡阳市残联举行康复辅具体验交流会

5月16日,衡阳市残联举行“科技赋能,助残前行”康复辅具体验交流会红网时刻新闻5月16日讯(记者 阳正坤 通讯员 刘勇)当科技遇见助残,赋能开启生命更多可能性。5月16日,全国助残日前夕,衡阳市残联“科技赋能,助残前行”康复辅具体验交流会在湖南玖益医疗科技有限公司举行。衡阳市残联党组书记、理事长张含英出席活动并...