it之家 5 月 17 日消息，科技媒體 winbuzzer 昨日（5 月 16 日）發布博文，報道稱開源大語言模型服務工具 ollama 推出自主研發的多模態 ai 定製引擎，擺脫對 llama.cpp 框架的直接依賴。
llama.cpp 項目近期通過 libmtmd 庫整合了全面視覺支持，而 ollama 與其關係也引發社區討論。
ollama 團隊成員在 hacker news 上澄清，ollama 使用 golang 獨立開發，未直接借鑒 llama.cpp 的 c++ 實現，並感謝社區反饋改進技術。
ollama 在官方聲明中指出，隨着 meta 的 llama 4、google 的 gemma 3、阿里巴巴的 qwen 2.5 vl 以及 mistral small 3.1 等模型的複雜性增加，現有架構難以滿足需求。
因此 ollama 推出全新引擎，針對在本地推理精度上實現突破，尤其是在處理大圖像生成大量 token 時表現突出。
ollama 引入圖像處理附加元數據，優化批量處理和位置數據管理，避免圖像分割錯誤導致輸出質量下降，此外，kvcache 優化技術加速了 transformer 模型推理速度。
新引擎還大幅優化內存管理新增圖像緩存功能，確保圖像處理後可重複使用，避免提前丟棄。ollama 還聯合 nvidia、amd、qualcomm、intel 和 microsoft 等硬件巨頭，通過精準檢測硬件元數據，優化內存估算。
針對 meta 的 llama 4 scout（1090 億參數混合專家模型 moe）等模型，引擎還支持分塊注意力（chunked attention）和 2d 旋轉嵌入（2d rotary embedding）等技術。
ollama 未來計劃支持更長的上下文長度、複雜推理過程及工具調用流式響應，進一步提升本地 ai 模型的多功能性。
-
-
-
-
-
-
-
-
-
-