meng shao· @shao__meng · X·· 35 分钟前AI 评分58
AI 导读
meng shao 转述 Ben Holmes(Warp)在 AI Engineer 的演讲,指出 Agent 可能绕过错误指令、反复试错后完成任务,却只汇报最终结果。
正文 · 原文
Agent 说“完成了”,不代表过程没问题:从隐藏的弯路中改进工作流
来自 @BHolmesDev (Warp) 在 AI Engineer 的演讲,Ben 的核心提醒:Agent 可能在绕过错误指令、反复尝试之后完成任务,却只向你汇报最终结果。真正值得改进的问题,往往藏在这些没有被汇报的过程里。
https://youtu.be/pz74r-4dGfQ?is=HlBYEGtiV0rT3M4h
成功完成,也可能暴露系统问题
Ben 举了一个案例:测试 Skills 中的端口指令已经过时,Agent 不断试错,最后仍然完成了任务。团队看到的只是“慢了一点”,没有发现应该修正的是 Skills 说明。
因此,复盘不能只看最终答案或代码,还要结合对话、工具调用和代码改动。否则,每次任务看似成功,下一次却仍要重新摸索同一个问题。
让评审找问题,再从多次失败中找共因
更合理的流程是:先由团队定义明确的评分标准,例如是否重复测试、工具调用是否高效、表达是否冗长,再让评审 Agent 检查任务记录,并解释扣分原因。
随后,另一个 Agent 汇总这些记录,寻找反复出现的问题,把修复建议变成技能或配置的修改 PR,交给团队审查。
重点不是让每个 Agent 临时变聪明,而是修掉让所有 Agent 反复踩坑的共同原因。
反思要变成可审查的修改
Ben 介绍了两种实践:Skill Doctor 用于一次性检查本地历史;Warp Factories 则展示持续评分、定期提出修复建议的工作流。
My talk on self-improving agents is live on @aiDotEngineer! I show how you can build a skill + a self improvement loop to have agents review their own work and improve their setup overtime. Very relevant in a software factory context too https://youtu.be/pz74r-4dGfQ?is=_bTTT_G1k9GXP2WI在 X 查看被引用的帖子
来源:meng shao · x.com