Claude Code 团队在 10 月发布的内部实践分享中介绍了其分层代码审查流程,从 6 月到 9 月合入的 pull request 翻了一倍以上,需要回滚的比例下降超过 40%。
https://x.com/i/article/2123571443526955008
Claude Code 团队是怎么做 code review 的?-- 分层检查后,合并 PR 翻倍、回滚降超 40%
来自 Claude Dev 10 月份发布的一篇内部实践分享,值得重新学习思考。作者 Addy Osmani、Morgan Westlee Lunt 和 Qing Wang 写了 Claude Code 团队现在怎么做代码审查。他们之前说过,Claude Code 自己的代码大约有 90% 是 Claude 写的。改动量上来以后,逐行人工审查很难做完。从 6 月到 9 月,合入 Claude Code 代码库的 pull request 翻了一倍以上,需要回滚的比例却下降了超过 40%。审查并没有取消,大部分阅读交给了机器,人的注意力留给更高层的问题,出错之后也要能很快撤回去。同一时期,Anthropic 的 monorepo 里,每天合入的改动从 5 月大约 2500 个,增加到 9 月的 3 万个以上。Claude Code 单独放在自己的仓库里,压力同样不小。
审查要做的两件事,现在缺的是人的注意力
他们把代码审查看成两件事:一是在上线前找出并修好问题,二是在团队里建立对代码库的共同理解。这篇文章主要讲第一件。只问「有没有人读过这段代码」,他们觉得不够精确。更值得问的是:这次改动可能出什么问题,该由哪一层检查来拦,是自动检查,还是人。审查也不再停在写完、开 PR、再等同事看这一道关上,它更接近写字时的拼写检查,一边写一边进行。大多数改动在请人看之前,至少已经被 Claude 审查并修复过一次。
人的时间要覆盖两边成本:花在看代码上的时间,以及坏代码造成问题后花在修复上的时间。前面省下来的,如果只是转到后面去修事故,就不算真的省下时间。他们给 Claude Code 相关仓库(CLI、桌面和 Web 应用、移动应用)定的目标是:大多数 pull request 最多只需要一个人经手,这个人可以是作者本人,同时回滚和事故不能增加。衡量人的时间,他们追踪每次 PR 的人工批准数(中位数和 95 分位)、人工评论,以及 PR 等人处理要等多久。回滚率和事故率是护栏:这两项如果上升,说明时间只是被挪走了,并没有省下来。
一次改动要过哪些检查
一次典型改动,从工程师的笔记本,或 Slack 里的一次 Claude 会话出发,会经过多层检查。图里只有「按风险批准」这一步需要人来决定,其余大多是自动的。
他们把这套检查比成一层层挡板,每层都能拦住一些问题,也会漏掉另一些问题。很少有问题能穿过全部层,漏下去的由快速回滚来接。从上到下是:提交前验证、必过的 CI、AI 审查、安全审查、人工批准、合并队列和功能开关,最底下是快速回滚。
提交前先验证。 大多数审查现在发生在 PR 出现之前。他们会给 Claude 一些能实际跑起来的东西,比如测试、构建,或一张用来和设计稿对比的截图,并要求它出示输出,不能只说做完了。然后会让一个子 agent 带着全新上下文再看一遍 diff。开 PR 前,许多人还会跑几个内部 skill:找 bug、简化 diff、做端到端检查。Claude Code 的作者 Boris Cherny 说过,给 Claude 一种验证自己工作的方法,大概是做出好结果最重要的一件事,他估计这能让最终结果好上两到三倍。
如果自动审查员反复指出同一类问题,他们会从源头改 skill、lint 规则或说明文件。CLAUDE.md 说明技术栈、约定、目标和明确不做的事,每次审查都会加载,所以写得很短。REVIEW.md 由代码负责人来写,说明自己负责的那部分里什么才重要:失败长什么样(文档是「它在说谎」,配置是「它把请求送错了地方」),限制吹毛求疵,并要求用文件和行号做证据。
每个 PR 都先过一遍 AI 审查。 它会对照整个仓库和这条 PR 声称的意图来读 diff,看这次改动有没有解决问题、跟系统是否合得上、会不会弄坏别的东西。对外的产品是 Code Review for Claude Code,已在 Team 和 Enterprise 方案里正式提供;本地可以用 /code-review 跑一个更轻的版本。研究预览上线时,内部 PR 中收到实质性审查意见的比例从 16% 升到 54%。超过 1000 行的 PR 大多会有发现,小的大多会干净通过。管理员可以把每个仓库设成 Quick、Standard 或 Deep。
发现在给人看之前,会先经过其他 agent 核实。几组 agent 同时找 bug,另有一组投票,同意的人够多才会发出来。只涉及风格、诊断或清理的会被丢掉。这些过滤是他们先在自己的 PR 上做了 A/B 测试才留下的。留下来的会按严重程度排序,做成行内评论,并标上 Important、Nit 或 Pre-existing。每条发现都必须回应:修好,或在线程里写明原因后关闭。经常会有 agent 隔夜就把修复做了。
安全审查和必过的自动检查。 安全审查是单独一轮,发现还开着就不能合并;修好,或用简短理由关闭线程,这就是处理误报的方式。同样的能力可以用开源 GitHub Action,或 /security-review 命令来搭。常规检查还有 lint、类型检查、各平台测试和构建。一个典型的 CLI PR,在有人看之前,可能已经跑过几十项检查。PR 模板会问怎么测过、出了问题怎么撤。Claude 可以代为填写,但提出这次改动的人要签字确认。
按风险来的人工批准。 改文档和改自动更新器,风险不一样,审查也不一样。
档位按这次改动来定,不按是谁提交的来定。一个分类器先给出风险档,第二个再问:即便档位显示不用人,这次是不是仍要再找一个人。有些路径始终要人看,包括负责人标为敏感的路径,以及任何 CI 工作流文件。只有仓库受信任名单上的作者才能走更轻的批准路径;其他人需要再找一个人批准。Agent 的批准不能充抵人所占的名额。自动审查可以放行低风险改动,但不能填进要求由人来的那个位置。谁在指挥这次改动,谁就要为它负责。由 agent 写的 PR,指挥这个 agent 的人算作一名必需的审查者。一次批准只覆盖一个具体的 commit,系统无法担保的新提交要重新批准。
合并之后:分阶段发布,并准备好回滚。 合并队列会在最新的 main 上再跑一遍全部检查,避免两条单独都能通过的 PR 合在一起却弄坏主干。新行为通常先用功能开关发给 Anthropic 员工,对外先发到 latest 通道,stable 通道会再晚一些。功能开关不用重新部署就能关掉。发现一次糟糕的合入,目前仍要靠作者、每周轮值的 on-call,以及回滚和事故看板。他们还没有在这些数字上升时自动收紧批准的熔断机制;里面的工程师希望先有这套机制,再把更多代码放到无人批准就能合入的路径上。
怎样把审查员越做越准
他们把过去导致事故的 PR,连同向前修复和回滚,收成一组案例,再请熟悉那段代码的工程师确认每个 bug 以及它出现在哪里。审查员每天都在这组案例上跑一遍。评测集会随着每一起事故变大,审查员的提示词、工具或模型一有改动,就拿全部案例重新打分,分涨了就留下,没涨就丢掉。
噪音用人们怎么处理这些评论来衡量。他们按 PR 上的人怎么回应来分类:修好了、说它错了、说这是有意的行为,或觉得无关紧要。他们也会把审查员拿去跑已知干净的 PR,统计它报出的问题里,有多少会诱导人做出有害修改。写下来的优先级是:先抓住真正的 bug,其次再减少审查轮次。作者是 agent 时,噪音的代价更高。人可以几秒内略过一条吹毛求疵的意见;agent 往往会去改,于是又多一次提交,再多一轮审查。
审查必须收敛。一个 agent 作者和一个 agent 审查员,可能没完没了地互相打转。有一条 CLI 的 PR,隔夜经历了五十多轮审查和修复,最后是作者把它停下来的。他们对审查员反复指出的内容做了 git blame,大约 59% 在第一轮时就已经在代码里了。审查员很少在后面几轮里找到新 bug,多半是每一轮再多找出几个旧问题。团队后来改了复审方式:三轮之后,审查员会请作者停下来重新考虑做法;前几轮之后的复审只看新的 diff;标出的是这一类 bug,好让作者修掉所有实例,免得只改了一行;已经发过的发现不再重复提出。审查 agent 还会在夜间巡查已有代码。
做了这些收敛改动之后,一轮审查和修复就能通过的内部 PR,从 65% 升到 78%;需要五轮或更多的,从 8.9% 降到 1.5%;通过前的平均审查轮次从 2.08 降到 1.32。图里灰色是改之前,橙色是改之后。
人还要盯住什么,共同理解从哪里来
人仍然要负责:决定该不该做,也就是方向、品味和范围;审查计费、自动更新器、CI 工作流这类高风险代码;审查会成为别人模仿对象的架构改动;看证据,包括测试输出、命令结果、截图和审查员的发现——如果自己说不清这些检查会漏掉什么,就该认真审查,不要随手批准;以及对结果负责,每条合进去的改动都有人对它负责,不管字是谁打的。有一个团队声称审查瓶颈已经解决,但对来自团队外部的改动仍保留人工审查,好有人问一句:「我们到底该不该做这个?」
如果大部分阅读都由机器来做,人还怎么熟悉代码?他们没有为此单独定一套正式流程,也没有人在脑子里装着 Claude Code 的完整模型。想了解某一部分时,就请 Claude 只针对那一块写一份讲解,几分钟就能拿到,而且对应的是此刻的代码。有人还会更进一步,让 Claude 做一个小的可视化材料,按自己习惯的方式来讲。改一行文案,几乎学不到东西;为即将动手改的模块准备一份讲解,能学到很多。默认在公开的 Slack 频道里工作,也有帮助,因为别人还在做的时候,就能看到他们在做的事。
小或中等改动合入后如果出了问题,团队惯例通常是由合入的人来修。这套习惯能成立,是因为改动本身要小,几乎都可以撤销,爆炸半径会决定审查标准。这跟追责不是一回事:由合入的人来修,是因为他最了解当时的上下文,事故复盘看的是系统。Agent 让开工变得便宜,有些东西其实不该合入。通常频道里会有人早点问起原因,或提出一条更简单的路,作者就会关掉或改写这条 PR。
其他团队可以怎么起步
他们写到,要在自己团队里做类似的事,今天大部分零件已经齐了:提交前给 agent 能跑的检查,写进简短的 CLAUDE.md,加上 REVIEW.md;每条 PR 要求过 CI,模板里写上测试方法、风险和回滚办法;先在一个仓库里加上 AI 审查员,打磨几周再扩大范围。批准按改动定风险档,更轻的路径留给受信任的作者;鉴权、计费、CI、发布工作流和安装程序始终要人看,不要让机器人的批准取代必需的人。合并之后用合并队列、功能开关、分阶段发布和一步回滚,并把事故做成评测集。
对外的 Code Review 产品仍然只发表发现、不代替批准,批准还是人来做。他们自己的仓库走得更远:负责人可以决定,哪些低风险改动在自动检查通过后就能合入,这条界线还在往前移。审查漏掉东西时,他们会问模型当时缺了什么信息,再把修补写进 CLAUDE.md、一个 skill,或一条新的检查。目标一直没变:每次改动少花人的时间,回滚也不比以前更多。
来源:meng shao · x.com