用了一个月 Agent,我首先学到的是为什么 AI 总在"胡说八道"

2026年04月06日17:53:04 科技 1873


用了一个月 Agent,我首先学到的是为什么 AI 总在"胡说八道" - 天天要闻

最近这一个月,我被 Agent 的幻觉反复摩擦, OpenClaw、Claude Code、Codex、DeerFlow、扣子……只要任务一复杂,AI 就开始"一本正经地胡说八道"。幻觉,还是幻觉。这玩意儿不解决,Agent 永远只能是个玩具,根本进不了生产线。

我就在想,为什么同样的模型,别人做出来的产品能稳得一批,到了我手里就总是掉链子?

直到我扒开了 "Harness Engineering" 这个概念,才发现自己之前一直在用力过猛地改错地方。理解了 Harness 的底层逻辑,你才会明白,为什么你的 Agent 和别人的能力有千差万别。

今天咱们就扒开揉碎了讲讲,这个决定 Agent 是玩具还是生产力的关键玩意儿,到底是啥。


AI 工程的三个阶段:从"听懂"到"别出错"

过去两年,做 AI 应用其实就干了三件事,这也是 Harness 诞生的背景。

第一阶段:Prompt Engineering(提示词工程)

核心问题:模型听懂了吗?

那时候大家觉得模型啥都会,关键看你怎么问。你换个说法,结果天差地别。但这有个天花板——很多任务不是你说清楚就行,模型得真的"知道"。Prompt 解决的是表达问题,解决不了信息缺失。

第二阶段:Context Engineering(上下文工程)

核心问题:模型拿到正确信息了吗?

做 RAG、查数据库、压缩对话历史……这些都是在给模型喂资料。这时候系统面对的不是一次回答,而是一条长链路。模型未必知道,但系统必须知道。

第三阶段:Harness Engineering(驾驭工程)

核心问题:模型在连续执行时,能不能持续做对?

就算信息给齐了,模型跑个 50 步,可能第 30 步就忘了初心,或者中间输出个错东西,后面全废。Harness 要解决的,就是谁来监督模型、谁来纠错、谁来保底。

打个比方:模型是个聪明但健忘的工人。


实战拆解:成熟的 Harness 长啥样?

如果让我把 Harness 拆开,它应该是六层结构,缺一不可。这也是我实测下来,构建企业级工作流必须踩过的坑。

第一层:上下文管理

别把模型撑着了。不是把信息一股脑塞进去就行,要分层

  • 核心知识给哪些?
  • 动态信息给哪些?
  • 近期记忆和长期记忆怎么分?

重点:在合适的阶段,给最恰当的信息。

第二层:工具系统

给模型装上手脚。模型是个大脑,得有手臂去操作 API、数据库、浏览器。但这层重点不是"连上",而是"管好":

  • 权限怎么开?
  • 频率怎么控?
  • 报错了怎么处理?

别让模型拿着工具把自己伤了。

第三层:执行编排

得有个工头。复杂任务进来,谁先上?谁后上?怎么拆解?这就像工头排班,几个 Agent 协同干活,依赖关系得理顺,不能乱套

第四层:状态与记忆

给模型装个记事本。模型本身没状态,跑着跑着就忘。系统得帮它记着:

  • 干到哪一步了?
  • 上一步结果是啥?
  • 目标是啥?

防止模型"失忆"跑偏。

第五层:评估与观测

必须有个质检员。模型自己检查自己,往往全是高分。得有个独立的评估系统,跑单元测试、做合规校验、量化打分。这是质量验收的最后一道防线。

第六层:约束与恢复

刹车片和急救包。模型要是发疯怎么办?得有边界:

  • 敏感数据不能碰
  • 重试次数得有限制
  • 一旦出错,能回滚到上一步

得有兜底方案。


大厂是怎么玩的?

看看头部玩家,都在 Harness 上下足了功夫。

OpenAI:Agent 自己考自己

他们把 Agent 拆成两个角色

  • 一个写代码
  • 一个测代码

写的只管写,测的像测试工程师一样跑用例。测不过?打回去重写。通过独立的评估和重试机制,把代码生成的可靠性硬生生拉上去了。

Anthropic:治好模型的"上下文焦虑"

他们发现模型面对超长文本会焦虑,容易漏信息或草草收尾。

解法不是压缩,而是结构化。 把长文档变成目录页,让模型像人一样,先看目录,再按需查阅。这是在 Harness 层面优化信息呈现,降低模型认知负担


写在最后

说到底,Harness Engineering 代表了一次思维大转弯

以前我们总盯着模型够不够聪明,现在得盯着系统够不够稳定

一个能在真实世界里持续干活的 AI,靠的从来不只是一个强大的大脑,更是一套精心设计的"流水线"。

这就是为什么你的 Agent 总是产生幻觉,而别人的却能稳定产出的根本原因。


你在做 AI 产品时,有没有遇到过模型很聪明,但一跑流程就翻车的情况?来评论区聊聊你的坑。

科技分类资讯推荐

引领科技豪华MPV新风尚 第二代腾势D9西安车展亮相 - 天天要闻

引领科技豪华MPV新风尚 第二代腾势D9西安车展亮相

兼具宜商气度与家用温情的科技豪华旗舰MPV,第二代腾势D9迎来西安地区正式亮相。新车依托全球新能源MPV冠军底蕴,以第二代刀片电池、双阀云辇-C、天神之眼5.0智驾等核心技术全面升级,兼顾商务体面与家庭舒适,为西北高端用户带来一站式全能出行解决方案。
采购禁入!科华数据材料造假被拒门外 - 天天要闻

采购禁入!科华数据材料造假被拒门外

本报(chinatimes.net.cn)记者胡雅文 北京报道这家赶上AI算力风口的公司,因投标材料造假,被相关采购方列入禁入名单两年,其此前提出的复议申请也被正式驳回。相关采购平台近日发布公告,明确驳回科华数据股份有限公司(下称“科华数据”,002335.SZ)此前提交的复议申请。早在一年前,科华数据已被认定在“信息通信枢纽...
快评乐道L80:15万元级买大五座,这波值得冲? - 天天要闻

快评乐道L80:15万元级买大五座,这波值得冲?

日前,乐道L80正式发布并开启预售,其整车购买预售价为24.58万元起,租电购买预售价则低至15.98万元起。面对大型SUV市场“细分再细分”之竞争趋势,这款乐道年度重磅新车都有哪些优势?又能否成为“大五座SUV革新之作”?下面,圈哥就带大家全方位感受。
成都直击凯威德:纯电全尺寸SUV的张扬与大气 - 天天要闻

成都直击凯威德:纯电全尺寸SUV的张扬与大气

4月22日,凯迪拉克以奥斯卡级盛典规格,将上海保利大剧院点亮为璀璨舞台,在品牌代言人倪妮与全场嘉宾的共同见证下,凯迪拉克全尺寸纯电公路旗舰——凯威德耀然上市。新车共推出长续航四驱Pro、高性能四驱Ultra两款配置,官方售价区间为46.88万-50.88万元。