跳到正文
Microsoft Research· Aaron J. Li, Weijia Xu, Chandan Singh, Jeevana Priya Inala, Bin Yu, Ion Stoica, Michel Galley, Jianfeng Gao·· 5 天前精选AI 评分67

微软研究院等发布 TokenEconomizer 开源插件,降低 AI 编码智能体成本 18.4–30.9%

TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient

AI 导读

UC Berkeley、微软研究院与微软安全团队发布开源插件 TokenEconomizer,它从编码智能体在仓库中的历史会话学习,在不改动智能体及其底层模型的前提下减少后续会话的 token 浪费。

推荐理由

原文给出跨 277 个 SWE-Bench 任务的成本降幅与逐仓库结果,可据此判断经验复用对编码智能体开销的实际作用。

正文 · AI 翻译

一目了然

  • 开发者日复一日地在相同的代码库中使用 AI 编码代理,但代理往往每次会话都从零开始:重新发现熟悉的事实、加载未使用的工具,并重复失败的尝试。
  • TokenEconomizer 是一个开源插件,它通过学习代理在仓库中过去会话的经验,减少未来会话中的浪费,而无需修改代理或其底层模型。
  • 在 277 个真实的 bug 修复任务中,TokenEconomizer 使多种 AI 编码代理的成本降低了 18.4–30.9%。在所有测试的仓库中成本均有所下降,而任务成功率基本保持稳定。

AI 编码代理正越来越多地帮助开发者独立修复 bug 和构建功能,但与模型的每次交互都会消耗 令牌(tokens)。在每次会话中,代理会向模型发送指令、工具描述和会话历史。大多数降低成本的尝试都聚焦于单个任务。然而,开发者会反复回到同一个仓库,这为代理从以往工作中学习提供了机会。如果没有这种学习,代理可能会反复重新发现如何运行测试、加载从未使用过的工具,或花费数十轮对话来回顾同一个错误。 

在我们的论文 TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents 中,我们提出了一个简单的问题:在某个仓库中的经验能否帮助代理更高效地解决未来的任务?TokenEconomizer 是来自加州大学伯克利分校、微软研究院和微软安全部门的开源插件,它将已完成的会话转化为后续会话的指导。它在不改变代理或其底层模型的情况下减少浪费,因此开发者可以将其与他们已经依赖的编码代理一起使用。

Each finished session teaches TokenEconomizer something about the repository, so later sessions cost less tokens.
图 1. 每个完成的会话教会 TokenEconomizer 关于该仓库的一些信息,从而使后续会话消耗的令牌更少。 

令牌的去向

我们首先在 SWE-Bench(一个针对开源 Python 项目中真实 bug 修复的基准测试)的 60 个任务上对 Claude Code 进行了分析,按顺序运行每个仓库的任务。出现了三种 recurring 的浪费:

  • 重新发现相同的事实。在一个仓库积累了至少五个已完成任务后,30% 的工具调用重复了该仓库中早期任务的行动。只有 7% 与其他仓库的历史行动相匹配。
  • 为未使用的工具付费。代理在每一轮都收到了 23 个工具描述,但其中 16 个从未被调用。
  • 陷入失败困境。占 17% 的失败任务却导致了 32% 的费用支出。

我们还测试了三个流行的开源插件,每个插件都围绕固定的节省成本策略构建。它们在部分仓库中降低了成本,但在其他仓库中则没有效果。这些发现共同表明,有效的成本控制必须适应特定仓库,而不是在所有地方应用相同的策略。

TokenEconomizer 的工作原理

每次会话结束后,TokenEconomizer 读取会话日志并更新其对仓库的了解。随后,它通过三种机制发挥作用,仅使用代理已提供的接口,如图 2 所示。

微技能(Micro-skills)以一行笔记的形式捕获仓库特定的知识。TokenEconomizer 识别跨会话的重复模式,并提出相应的笔记。只有在多个会话确认该模式后,它们才会被添加到代理的初始上下文中;如果后续证据与之矛盾,则会撤销该笔记。

工具剪枝会移除仓库历史表明代理不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。如果需要,可以恢复已移除的工具。

失败循环干预监控持续遭遇相同失败的代理。一个评判模型决定代理是真正卡住了还是仍在取得进展。如果确实卡住,代理会收到一条简短提示,建议采取不同的方法。在开源插件中,如果代理在收到提示后仍然卡住,TokenEconomizer 会通知开发者,而不是自行停止工作。

TokenEconomizer works alongside an unchanged coding agent. Micro-skills add learned facts, tool pruning trims the loaded tools, and failure-loop intervention redirects stuck work. Each finished session updates all three.
图2. TokenEconomizer 与未更改的编码代理协同工作。微技能添加已学习的事实,工具剪枝精简加载的工具,失败循环干预重定向卡住的工作。每个完成的会话都会更新这三项。 

控制器旨在随着新证据的出现而修订其决策。报告的节省也考虑了 TokenEconomizer 自身模型调用的成本。

在每个仓库中节省成本

我们在来自六个仓库的 277 个 SWE-Bench 任务上评估了 TokenEconomizer,使用了五种不同的 AI 编码代理和模型组合。对于每个仓库,TokenEconomizer 最初没有任何先前的会话历史。 

如图3所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并在所有 30 个仓库-组合对中实现了最大节省,且没有性能损失。相比之下,降低模型的推理努力虽然节省了相似或更多的成本,但导致了显著的性能下降。

On SWE-Bench, TokenEconomizer lowered mean cost per task by 18.4–30.9% across five agent–model combinations (left), while Pass@1 rose in four of them (right).
图3. 在 SWE-Bench 上,TokenEconomizer 在五种代理-模型组合中将每项任务的平均成本降低了 18.4–30.9%(左),其中四项的 Pass@1 有所提升(右)。 

随着经验的积累,节省效果日益增长。早期任务可能会因为 TokenEconomizer 的学习过程而成本更高,但从第六个任务开始,每个仓库的累计成本都低于默认值,如图4所示。每种机制都能独立带来节省,而结合所有三种机制则能实现最大的成本降低。

Cumulative cost change relative to default over each repository’s tasks, using Claude Code. Starting with no history, every repository becomes cheaper by the sixth task.
图4. 相对于默认值,在使用 Claude Code 的每个仓库的任务过程中累计成本的变化。从没有历史记录开始,到第六个任务时,每个仓库的成本都变得更低。 

这种节省也延续到了顺序式 Web 开发中,Web-Bench 上的成本降低了 16.0–21.2%。在安全审计方面,由于每个任务都在一个新仓库中进行,成本降低了 6.4–19.6%。

展望未来

TokenEconomizer 开辟了一条路径,使编码代理不仅能学习如何解决问题,还能学习如何更有效地分配计算资源。其轻量级控制器展示了经验如何在无需更改底层代理或模型的情况下提高效率。

该开源插件使这些方向对开发者和研究人员变得触手可及。它设计为与现有的 AI 编码代理并行运行,无需修改其底层模型,不需要自己的 API 密钥,并将所学内容保留在开发者的机器上。我们邀请社区将其作为起点,探索随着经验积累而变得更加多才多艺的代理,适应其工作方式以及所掌握的知识。 

阅读论文

访问代码

查看项目

在新标签页中打开

文章 TokenEconomizer:从经验中学习以提高 AI 编码代理的效率 首发于 微软研究院。

来源:Microsoft Research · microsoft.com