宝玉针对 Agent 声称“验证完了”却实际没做好的问题,分享了五条验证经验:不要依赖对抗式验证,因为缺少统一验收标准时往往无法收敛;给出清晰验收标准和可自行验收的环境;在写代码前先做可行性分析、原型和系统设计;让 Agent 提供截图、录屏或 HTML 报告降低人工验收成本;代码审查聚焦 P0、P1 级问题。核心思路是让 Agent 的“做好了”变成人能检查的证据。
作者结合自己用 Agent 的经验,给出五条让 Agent 的完成声明变得可核查的具体做法。
Agent 说“验证完了”,怎么才能真的信它?
很多朋友都被 Agent 坑过:它信誓旦旦说做好了、验证完了,你信以为真,上线后发现压根没做好。被老板骂完回头找它,它认错态度很好,下次还是一样。
问题出在我们让它验证的方式上:Agent 不知道什么叫“做好了”,你也没有低成本的办法确认它真的做好了。分享五条我在用 Agent 做验证时的经验。
一、不要依赖对抗式验证
对抗式验证就是让另一个甚至多个 Agent 来检查结果,执行的 Agent 根据反馈改进,再检查、再改进,直到完成为止。
听起来很好,实际上经常无法收敛。尤其是不太聪明的模型,大部分时候是越改越糟,还浪费了很多 Token。
原因是缺少统一的验收标准。负责检查的 Agent 并不一定知道完整的上下文,也不知道准确的验收标准,于是自作主张提一堆意见,执行的 Agent 再照单全收,结果就越改越偏。
二、给出清晰的验收标准,再给一个能验收的环境
举个例子,你把设计稿交给 Agent,说:“帮我把这几个设计稿做成页面”,通常它会给你一个差不多的结果,有时候出入还很大。
换一个说法:“帮我把这几个设计稿做成页面,完成后请对网页截图,对比设计稿,要求像素一个都不要差”。这时候 Agent 做完不会轻易交差,它会截图,写工具对比截图和设计稿的像素差异,返工重做,直到像素真的一个都不差。
大部分时候我们并不需要一个像素都不差,有些偏差可以接受。重点是让它知道验收标准是什么,并且手里有办法自己去验。
三、越早验证,返工成本越低
尽早验证在传统软件工程里是常识,是大量血泪教训换来的。只是现在 Vibe Coding 让生成代码的成本大幅降低,非专业人士越来越多,大家渐渐忘了写代码之前还有三道关:
可行性分析:这个项目真的值得做吗?做出来会有人用吗?投入产出比合算吗?
原型开发:先做基本的交互,用模拟数据低成本做出一个可运行的原型,快速验证方向对不对,不对马上调整。现在 Agent 做原型已经很强了,比如 Claude Design(或者本地版的 http://github.com/jimliu/open-artifact),做出来的东西和最终结果看起来没什么差别,成本低得多,速度也快。
系统设计:技术选型、模块划分、数据结构、数据库设计、API Schema 这些。设计没做好,系统也能跑,但将来维护成本要高不少。Agent 能力虽然强,选的技术方案并不总是最好的。动手实现之前,先让它写一份技术方案文档,你大概看看:一方面帮你理解项目是怎么实现的,另一方面能及时纠正潜在问题,避免做完再返工。
四、让 Agent 提供证据,降低你的验收成本
人在 Loop 里是必不可少的,完全交给 AI,大概率只能收获 AI Slop。但人的验收能力是瓶颈,要确认的东西太多会很累。我最近用 Antigravity,跨 Workspace 每读一个文件都要我手工确认一遍,简直快崩溃了。
所以要把人确认的成本降到最低:能快速判断结果对不对,快速指出哪里有问题。
最简单的方式,是让 Agent 提供截图、录屏、可视化的 HTML 报告。Agent 在截图过程中自己也能发现一些问题,但截图最大的价值,是让人一眼就能看出问题。
想象一下,你是老板,员工来汇报工作,一页密密麻麻的 Word 文档和三页漂亮的 PPT,哪个更容易看?
我现在最常用的几个做法:
- 开发新功能,让它提供新功能的截图
- 修 bug,让它提供修改前和修改后的截图对比
- 让它自己模拟 API 响应数据,动态生成各种不同场景的截图,完全不需要服务端配合(虽然我还没搞明白它是怎么模拟的)
五、代码审查聚焦于真正的问题
Agent 生成代码的速度太快,瓶颈已经转移到了代码审查和验证上。代码审查不太可能完全靠人来做了,但人参与仍然有意义,只是方式要调整:
- PR 尽可能小。这样 Agent 审起来准确率更高,人也看得过来。
- 让 Agent 审,但不全信它的结论。审查结果要分级,人只盯 P0、P1 级别的问题,尤其是安全和性能问题,人工甄别一下,必要时让 Agent 解读、在本地验证。
- 细枝末节放过去。代码规范、最佳实践这类问题,不用太在意。
最后
这五条说的是同一件事:Agent 说的“做好了”不能直接当结论用,得让它变成你能检查的东西。
- 动手之前,告诉它什么叫做好了
- 动手之前,先用原型和方案文档把方向验一遍
- 做完之后,让它拿截图和对比来证明
- 你自己的精力,只花在最要紧的问题上
来源:宝玉 · x.com