it之家 5 月 17 日消息，科技媒体 winbuzzer 昨日（5 月 16 日）发布博文，报道称开源大语言模型服务工具 ollama 推出自主研发的多模态 ai 定制引擎，摆脱对 llama.cpp 框架的直接依赖。
llama.cpp 项目近期通过 libmtmd 库整合了全面视觉支持，而 ollama 与其关系也引发社区讨论。
ollama 团队成员在 hacker news 上澄清，ollama 使用 golang 独立开发，未直接借鉴 llama.cpp 的 c++ 实现，并感谢社区反馈改进技术。
ollama 在官方声明中指出，随着 meta 的 llama 4、google 的 gemma 3、阿里巴巴的 qwen 2.5 vl 以及 mistral small 3.1 等模型的复杂性增加，现有架构难以满足需求。
因此 ollama 推出全新引擎，针对在本地推理精度上实现突破，尤其是在处理大图像生成大量 token 时表现突出。
ollama 引入图像处理附加元数据，优化批量处理和位置数据管理，避免图像分割错误导致输出质量下降，此外，kvcache 优化技术加速了 transformer 模型推理速度。
新引擎还大幅优化内存管理新增图像缓存功能，确保图像处理后可重复使用，避免提前丢弃。ollama 还联合 nvidia、amd、qualcomm、intel 和 microsoft 等硬件巨头，通过精准检测硬件元数据，优化内存估算。
针对 meta 的 llama 4 scout（1090 亿参数混合专家模型 moe）等模型，引擎还支持分块注意力（chunked attention）和 2d 旋转嵌入（2d rotary embedding）等技术。
ollama 未来计划支持更长的上下文长度、复杂推理过程及工具调用流式响应，进一步提升本地 ai 模型的多功能性。
-
-
-
-
-
-
-
-
-
-