跳到正文
热点事件持续更新

Meta 用 JiTTests 在合入前生成失败测试拦截缺陷

1 篇报道1 个报道来源31 分钟前更新

先了解这件事

AI 综述

Meta 工程团队介绍 JiTTests 方法:让大模型针对尚未合入的代码变更生成可执行测试,并刻意让测试在新版本失败、在父版本通过,以暴露行为差异,在代码合入前拦截缺陷。 Meta 称,在约 22,126 个生成测试上,这种感知变更的方法对弱捕获的检出率约为传统测试加固的 4 倍、偶然失败测试的 20 倍;在 600 个出现弱捕获的变更上,人工审阅负担降低约 70%。这些数字中,60% 来自已参与者的反馈,20% 是公司自己的对比口径,报道未给出可独立核对的对照实验。 系统夜间用空闲算力运行,并按类似 Diff Risk Score 的机制优先处理前一天的高风险变更;流程仍需工程师把关,由人定标准、看汇总,通常只需确认行为变化是否符合预期。

AI 根据报道生成 · 12 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. meng shao精选
    Meta 用 JiTTests 生成会失败的测试,在代码合入前拦截缺陷

    Meta 工程团队介绍 JiTTests 方法,让 LLM 针对尚未合入的代码变更生成可执行测试,故意让测试在新版本失败、在父版本通过,从而暴露行为差异。论文在约 22,126 个生成测试上称,这种感知变更的方法弱捕获约为传统测试加固的 4 倍、偶然失败测试的 20 倍;600 个出现弱捕获的变更上,评判团把人工审阅负担降低约 70%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。