化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點

2024年04月10日22:05:05 科技 1631
化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

大模型和AIGC技術的發展迅猛,正在重塑眾多行業的運作方式。以ChatGPT為代表的大型語言模型已經展現出強大的文本生成、問答和分析能力,而像Stable DiffusionDALL-E這樣的文生圖AI也讓創作圖像資源變得前所未有的高效。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

雖然距離AGI還有一定距離,但大模型和AIGC帶來的變革已初現端倪。內容創作、客服、辦公自動化、遊戲、教育等領域都逐漸開始被AI賦能並重塑流程。根據市場調研機構Gartner的預測,到2025年,AI創作工具將貢獻30%的新數字化內容。

在AI技術日益普及的今天,AIGC已成為工作生活的重要組成部分。然而,目前主流的AIGC服務主要依賴雲端,不僅存在隱私數據安全隱患,而且離線環境下將無法使用。因此,將AI技術部署到每台個人電腦上成為必然趨勢。

與雲端服務相比,本地部署大型AI模型能最大限度保護個人隱私數據安全,這是端側AI的關鍵價值。用戶無需再上傳敏感數據到雲端,大幅降低泄露風險。同時可在離線狀態下隨時調用強大AI能力,便利性獲得極大增強。

作為PC行業的領導者,英特爾提早布局AI領域,並在業界率先提出了AI PC的概念,將AI能力整合到消費級個人電腦中。除了在硬件層面增加AI加速器NPU外,英特爾還在軟件生態系統方面進行了廣泛的合作,以簡化大模型在AI PC上的部署流程,降低普通消費者體驗和使用AI功能的門檻。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

安裝部署過程簡單,自動下載模型

目前,在驅動人生平台上架了一款PC端AIGC助手,對於想要體驗本地AI大模型的用戶來說,無疑是讓人興奮的好消息。這款AIGC助手允許您在AI PC上一鍵安裝!無需具備複雜知識,無需進行繁瑣的環境配置,也無需在外網尋找資源。只需從官網下載,像安裝其他軟件一樣雙擊圖標並按照引導操作,即可為您的筆記本輕鬆添加AI助理。這不僅為用戶提供了本地化的對話體驗,還確保了數據的安全性。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

Baichuan2-7B模型

下載安裝完成後的AIGC助手和我們平時使用的軟件操作一樣,雙擊桌面圖標即可開啟,軟件打開時會自動加載大語言模型。我們本次體驗的AIGC助手,默認下載了Baichuan2-7B-Chat模型。它是百川智能推出的一款開源大語言模型,在多個權威評測榜單均名列前茅。除了開源可免費商用的Baichuan-7B/13B和Baichuan2-7B/13B外,百川智能還推出了六款閉源大模型Baichuan-53B、Baichuan2-53B、Baichuan2-192K、Baichuan2 Turbo、Baichuan-NPC和Baichuan 3。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

Baichuan2-7B基準測試表現出色

Baichuan2-7B-Chat是Baichuan2系列模型的一部分,特別針對聊天和對話生成的任務進行了微調。這款模型是基於2.6萬億Tokens的高質量語料訓練得到的,並且在多個中英文和多語言的通用領域Benchmark上取得了優異的表現。

AIGC助手使用體驗:上手簡單,反應迅速,處理高效

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

無需環境配置,安裝後直接打開即可進入對話模式

AIGC助手操作界面非常簡單友好,我們完全不需要額外配置就可以直接獲取AI提供的一系列服務,包括回答問題、提供建議、語言翻譯、娛樂內容推薦、信息搜索以及自然語言交流,可以幫助我們高效完成各項任務。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

自然交流可以回答各種問題

自然交流&問答:AIGC助手的使用就像人與人之間的對話一樣,我們不需要學習特定的命令或語法,直接使用日常語言就可以與AI進行交流。當我們向AI提出問題時,AI會根據問題的內容進行分析,然後從它的知識庫中找到相關的信息,並以易於理解的方式呈現給用戶。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

可以就同一個問題進行多輪連續的對話

AIGC助手採用的Baichuan2-7B-Chat模型,是百川智能專門用於對話任務的聊天模型,它在理解對話和上下文方面表現出色,具有強大的對話生成能力,使得AIGC助手能夠在多輪對話中維持對話的連貫性,並根據之前的對話內容來理解和生成相關的回應。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

長文章翻譯

語言翻譯:基於Baichuan2-7B-Chat的AIGC助手在中文翻譯方面具有出色的性能。得益於深度學習技術和龐大的雙語語料庫訓練,它能夠更好地理解句子的整體含義,生成更自然、更符合目標語言習慣的翻譯結果。此外,在AIPC上的翻譯速度也相當快,為用戶提供了高效便捷的語言翻譯體驗。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

根據用戶提供的信息撰寫文章

文案撰寫:在日常工作中,文案撰寫是一項常見任務,這些文案通常具有固定結構和模式,如述職報告、工作總結、項目提案和會議記錄等。在這些類型的文案撰寫中,AI的優勢尤為明顯,只需將需求提供給AIGC助手,就能快速獲得相應文案作為參考。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

AIGC助手硬件配置需求

AI PC:讓更多形態的個人計算設備具備本地AI能力

AIGC助手的高效性能和強大功能原本需要依賴高性能獨立顯卡,但現在得益於英特爾® 酷睿™ Ultra處理器集成的CPU、GPU和NPU三大引擎的強大算力,以及百川智能針對該處理器的專門優化,即便是集成顯卡筆記本電腦也能快速高效的本地運行大型AI模型。這種優化意味着不僅台式機,各種形態的便攜式設備,如輕薄本、二合一設備,NUC迷你主機,甚至是更多形態的便攜式移動終端設備,都能夠實現在本地部署大模型。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

搭載英特爾® 酷睿™ Ultra處理器的遊戲掌機也可本地部署AIGC

我們在多設備上測試表明,AIGC助手在各式硬件上均展現出卓越的運行效率,無論是標準筆記本還是低功耗的遊戲掌機。這一出色的本地AI體驗得益於英特爾® 酷睿™ Ultra處理器搭載的英特爾銳炫™ 顯卡提供的強勁計算力,以及英特爾IPEX-LLM團隊與百川團隊對大模型推理過程的深度優化。

IPEX-LLM是英特爾開源的大語言模型加速庫,能夠通過全面的低比特模式(INT2/INT4/FP4/NF4/INT8/FP8)和混合精度支持、大語言模型推理過程的全棧優化、高等級的內存管理、友好的開發接和與大語言模型生態鏈(包括 Hugging Face, 魔搭, vLLM, bitsandbytes, Text-Generation-WebUI, FastChat, LangChain, LlamaIndex, AutoGen, 等)的無縫結合,助力 AI 開發者和研究者在英特爾® 平台上加速優化大語言模型,提升大語言模型的使用體驗。

在AIGC助手的合作中,英特爾和百川團隊通過創新的高級優化,在提升推理速度的同時,還能夠實現高效的計算緩存管理和KV-緩存優化,並針對長序列推理進行了改進,有效降低了顯存消耗。

值得一提的是,如果不滿足於只在PC上使用AIGC助手,有開發興趣的用戶只需三個簡單步驟,即可利用IPEX-LLM實現模型的加速推理,在英特爾® 酷睿™ Ultra處理器上構建自己的AIGC應用,輕鬆打造個性化的AI解決方案(以發布在魔搭社區的百川7B模型為例)。

  1. 環境準備及安裝IPEX-LLM(IPEX-LLM 安裝)

  2. 下載百川7B大語言模型(百川2-7B-對話模型 · 模型庫 (modelscope.cn) )

  3. 利用IPEX-LLM優化和儲存模型並進行推理加速(IPEX-LLM模型優化和加載)

毫無疑問,英特爾在推動AI PC進入日常生活和工作領域的進程中,發揮了舉足輕重的作用。正是由於英特爾在硬件設計和製造方面的卓越能力,以及對AI技術的持續投入和創新,才使得如此強大的AI功能得以在眾多個人設備上實現。英特爾不僅在技術上引領了AI的發展,也在實際應用中推動了AI的普及。

寫在最後:

作為PC行業的絕對領導者,英特爾在過去四十年里持續推動着整個PC產業的發展,並多次引領PC產品實現技術躍遷。在20年前,英特爾推出"迅馳"技術,極大提升了筆記本電腦的無線網絡體驗,確保了無處不在的網絡連接,開啟了移動辦公的新紀元。再向前邁進10年,"超極本"概念的推出再次顛覆了市場,將筆記本的便攜性和多功能體驗推向了新的高度。

如今,人工智能時代已經到來,AI無疑將深刻改變人類的生產生活方式。作為不可或缺的個人計算設備,PC自然也需要被賦予AI能力以滿足未來需求。英特爾遠見卓識地提出了"AI PC"的概念,將AI能力植入個人電腦中,從而推動PC產品實現又一次飛躍式的進化,開啟全新的智能計算時代。

本文所有測試軟件均為實際使用、真實測試,不代表任何品牌方立場。

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

END

化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞化解"高門檻"迷思,英特爾助力AI PC佔據本地大模型部署制高點 - 天天要聞

科技分類資訊推薦

“科技賦能,助殘前行”衡陽市殘聯舉行康復輔具體驗交流會 - 天天要聞

“科技賦能,助殘前行”衡陽市殘聯舉行康復輔具體驗交流會

5月16日,衡陽市殘聯舉行“科技賦能,助殘前行”康復輔具體驗交流會紅網時刻新聞5月16日訊(記者 陽正坤 通訊員 劉勇)當科技遇見助殘,賦能開啟生命更多可能性。5月16日,全國助殘日前夕,衡陽市殘聯“科技賦能,助殘前行”康復輔具體驗交流會在湖南玖益醫療科技有限公司舉行。衡陽市殘聯黨組書記、理事長張含英出席活動並...
5·17特刊|青島算力崛起:智慧城市的數據引擎 - 天天要聞

5·17特刊|青島算力崛起:智慧城市的數據引擎

刊 首 語文/王媛算力,如同一把開啟未來之門的鑰匙,正以驚人的速度改變着我們的世界。在青島,算力正成為智慧城市發展的新引擎。5月17日世界電信和信息社會日,在這個象徵通信技術進步與信息時代發展的特殊日子,我們以“算力青島”為主題,探尋這座城市在數字時代展現出的無限生機與活力。
4799 元起,華為 nova12 Ultra 星耀版手機開售 - 天天要聞

4799 元起,華為 nova12 Ultra 星耀版手機開售

IT之家 5 月 17 日消息,據“華為終端”官方微博,華為 nova 12 Ultra 星耀版手機將在今天 10:08 開售,其中 512GB 存儲空間版本售 4799 元,1TB 存儲空間版本售 5599 元。據介紹,該機採用藍色後蓋設計,印有 nova 系列標誌性的字母圖案,整體外觀與原版 nova 12 Ultra 基本一致。IT之家參考博主 @看山
國行曾售 777777 元,LG 停產可捲曲電視“Signature OLED TV R” - 天天要聞

國行曾售 777777 元,LG 停產可捲曲電視“Signature OLED TV R”

IT之家 5 月 17 日消息,LG 在 2019 年推出了全球首款可捲曲 OLED 電視“Signature OLED TV R”,不過直到 2020 年才對外售賣,而國行更是在 2022 年才開賣,售 777777 元。不過根據韓媒 Chosun 報道,由於銷量“微乎其微”,LG 目前已經停產“Signature OLED TV R”,相關生產線被重新用
美ONE首次推出數字人直播,全力“加碼”讓大促回歸用戶 - 天天要聞

美ONE首次推出數字人直播,全力“加碼”讓大促回歸用戶

圖說:美ONE6·18活動正式啟動  採訪對象提供(下同)5月16日,美ONE“6·18便宜再便宜,淘寶搜索李佳琦”李佳琦超級6·18媒體發布會在上海舉行。今年6·18大促,美ONE將以用戶需求為核心,主打“便宜再便宜”的價格力優勢,並圍繞產品力、內容力、服務力全方位“加碼”,讓大促真正回歸用戶。美ONE將首次測試數字人直播,...
BECS第八屆全球品牌電商峰會在滬舉辦 共議數字商業增長新動能 - 天天要聞

BECS第八屆全球品牌電商峰會在滬舉辦 共議數字商業增長新動能

圖說:峰會現場  採訪對象提供(下同)5月16日,由寶尊與Bloomberg Businessweek《商業周刊》聯合主辦的BECS第八屆全球品牌電商峰會在上海成功舉辦。本屆峰會以“新質生產力——數字商業增長新功能”為主題,立足當前國內經濟環境和消費市場背景,分析並解釋了新質生產力等創新技術在推動電商行業變革的同時,如何為企業和...
iOS 版谷歌 Chrome 瀏覽器正測試引入“圈選即搜”功能 - 天天要聞

iOS 版谷歌 Chrome 瀏覽器正測試引入“圈選即搜”功能

IT之家 5 月 17 日消息,谷歌目前已經在 Galaxy S24、Pixel 8 系列手機推出“圈選即搜”功能,而最新消息顯示谷歌計劃將該功能推向 iOS 版 Chrome 瀏覽器。消息源 The Mac Observer 近日挖掘 Chromium 提案發現,谷歌計劃為 iOS 版 Chrome 瀏覽器添加“Lens Circle to Search”
臨時方案已公布,微軟承認 Outlook 客戶端無法回復加密郵件問題 - 天天要聞

臨時方案已公布,微軟承認 Outlook 客戶端無法回復加密郵件問題

IT之家 5 月 17 日消息,微軟公司今天公布臨時解決方案,修復存在 Outlook Desktop 客戶端的加密郵件問題。這個問題已經持續數月時間,在微軟社區網站上已經有不少 Microsoft 365 用戶反饋,主要是用戶在使用經典版 Outlook 客戶端的時,無法回復加密電子郵件。受影響用戶即便重新安裝 Outlook 或者創建新的賬號都無法解決.
早報:moto X50 Ultra發布 李斌回應樂道搶走蔚來訂單 - 天天要聞

早報:moto X50 Ultra發布 李斌回應樂道搶走蔚來訂單

【CNMO科技早報】5月16日晚,摩托羅拉首款AI手機——moto X50 Ultra正式發布;隨着新品牌的推出,蔚來也開始在20萬-30萬元價位發力,這也讓不少人擔心蔚來此舉是否會影響主品牌的銷量;奔馳將在日本召回超11萬輛車;小米官方發文,將於5月18日早上08:30開啟直播
三星過去 10 年累計出貨量近 30 億台,比蘋果 iPhone 多 7 億台 - 天天要聞

三星過去 10 年累計出貨量近 30 億台,比蘋果 iPhone 多 7 億台

IT之家 5 月 17 日消息,數據投資分析平台 AltIndex 近日基於 IDC 公布的數據,表示 2014-2024 過去 10 年期間,三星智能手機的出貨量接近 30 億台,比蘋果多出 7 億台,高出 33%。三星和蘋果之間的大戰可以說始於 2010 年,三星通過 Galaxy 系列和蘋果公司的 iPhone 打擂台。兩家公司一直在爭奪全球最大智能手