Ollama 上線自主多模態 AI 引擎:本地推理性能飆升

2025年05月17日14:40:22 科技 4768

it之家 5 月 17 日消息,科技媒體 winbuzzer 昨日(5 月 16 日)發布博文,報道稱開源大語言模型服務工具 ollama 推出自主研發的多模態 ai 定製引擎,擺脫對 llama.cpp 框架的直接依賴。

llama.cpp 項目近期通過 libmtmd 庫整合了全面視覺支持,而 ollama 與其關係也引發社區討論。

ollama 團隊成員在 hacker news 上澄清,ollama 使用 golang 獨立開發,未直接借鑒 llama.cpp 的 c++ 實現,並感謝社區反饋改進技術。

ollama 在官方聲明中指出,隨著 meta 的 llama 4、google 的 gemma 3、阿里巴巴的 qwen 2.5 vl 以及 mistral small 3.1 等模型的複雜性增加,現有架構難以滿足需求。

Ollama 上線自主多模態 AI 引擎:本地推理性能飆升 - 天天要聞

因此 ollama 推出全新引擎,針對在本地推理精度上實現突破,尤其是在處理大圖像生成大量 token 時表現突出。

ollama 引入圖像處理附加元數據,優化批量處理和位置數據管理,避免圖像分割錯誤導致輸出質量下降,此外,kvcache 優化技術加速了 transformer 模型推理速度。

新引擎還大幅優化內存管理新增圖像緩存功能,確保圖像處理後可重複使用,避免提前丟棄。ollama 還聯合 nvidia、amd、qualcomm、intel 和 microsoft 等硬體巨頭,通過精準檢測硬體元數據,優化內存估算。

針對 meta 的 llama 4 scout(1090 億參數混合專家模型 moe)等模型,引擎還支持分塊注意力(chunked attention)和 2d 旋轉嵌入(2d rotary embedding)等技術。

ollama 未來計劃支持更長的上下文長度、複雜推理過程及工具調用流式響應,進一步提升本地 ai 模型的多功能性。

科技分類資訊推薦

58家韻達快遞加盟企業被處罰 - 天天要聞

58家韻達快遞加盟企業被處罰

央廣網北京6月16日消息 天眼查App顯示,近日,上海韻達貨運有限公司因未按規定履行安全保障統一管理責任,存在未按規定執行實名收寄制度、未按規定備案協議客戶、違規收寄禁寄物品等行為,被國家郵政局罰款4萬元。處罰事由顯示,2025年3月,因韻達快遞部分加盟企業對協議客戶安全管理存在重大漏洞,導致涉詐騙宣傳品進入寄...
奧迪E5 Sportback申報信息曝光!續航里程超700km - 天天要聞

奧迪E5 Sportback申報信息曝光!續航里程超700km

在汽車行業加速向電動化轉型的當下,各大車企紛紛發力,推出令人矚目的新能源車型。近日,奧迪E5 Sportback的申報信息曝光,其超700km的續航里程更是成為了關注焦點,引發眾多消費者和車迷的熱議。
大家9超混將6月7日正式上市!配合隱藏式門把手,實力爆棚 - 天天要聞

大家9超混將6月7日正式上市!配合隱藏式門把手,實力爆棚

在汽車行業蓬勃發展的當下,消費者對汽車的期待早已不局限於簡單的出行功能,而是渴望擁有一款集美觀、舒適與強勁動力於一身的座駕。如今,好消息傳來,大家9超混將於6月7日正式上市,還配備了隱藏式門把手,無疑為車市注入了一劑強心針。
紅旗HS7 PHEV將於6月中下旬上市!軸距為2920mm - 天天要聞

紅旗HS7 PHEV將於6月中下旬上市!軸距為2920mm

在國內新能源汽車市場蓬勃發展的當下,紅旗作為經典的國產品牌,即將為消費者帶來全新的驚喜——紅旗HS7 PHEV將於6月中下旬震撼上市。這款車自曝光以來,便憑藉其出色的各方面表現,吸引了眾多消費者的目光。
東風奕派eπ008將於6月上市!預售區間為20 - 25萬元 - 天天要聞

東風奕派eπ008將於6月上市!預售區間為20 - 25萬元

從外觀上看,東風奕派eπ008採用了全新家族化設計語言,整體極具科技感 。封閉式前臉搭配可發光的LOGO,營造出強烈的未來感,讓人一眼難忘。貫穿式燈帶將前臉一分為二,內部形狀複雜的內嵌式燈源在點亮後支持多種燈語,在夜間能營造出炫酷的人機交互氛圍。車頭下方的導流
全新Mustang將於6月上市!同步引入硬頂性能版與敞篷運動版 - 天天要聞

全新Mustang將於6月上市!同步引入硬頂性能版與敞篷運動版

作為美式傳奇性能跑車的代表,福特Mustang一直以來都以其獨特的魅力,吸引著全球跑車愛好者的目光。如今,令人振奮的消息傳來,全新Mustang將於6月震撼上市,並且同步引入硬頂性能版與敞篷運動版,再次點燃車迷們對於速度與激情的渴望。