Meta 用 JiTTests 在合入前生成失败测试拦截缺陷
热点事件持续更新
Meta 用 JiTTests 在合入前生成失败测试拦截缺陷
1 篇报道1 个报道来源31 分钟前更新
先了解这件事
AI 综述
Meta 工程团队介绍 JiTTests 方法:让大模型针对尚未合入的代码变更生成可执行测试,并刻意让测试在新版本失败、在父版本通过,以暴露行为差异,在代码合入前拦截缺陷。 Meta 称,在约 22,126 个生成测试上,这种感知变更的方法对弱捕获的检出率约为传统测试加固的 4 倍、偶然失败测试的 20 倍;在 600 个出现弱捕获的变更上,人工审阅负担降低约 70%。这些数字中,60% 来自已参与者的反馈,20% 是公司自己的对比口径,报道未给出可独立核对的对照实验。 系统夜间用空闲算力运行,并按类似 Diff Risk Score 的机制优先处理前一天的高风险变更;流程仍需工程师把关,由人定标准、看汇总,通常只需确认行为变化是否符合预期。
AI 根据报道生成 · 12 分钟前更新
最新进展11月10日 10:21
Meta 用 JiTTests 生成会失败的测试,在代码合入前拦截缺陷报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- meng shao精选Meta 用 JiTTests 生成会失败的测试,在代码合入前拦截缺陷
Meta 工程团队介绍 JiTTests 方法,让 LLM 针对尚未合入的代码变更生成可执行测试,故意让测试在新版本失败、在父版本通过,从而暴露行为差异。论文在约 22,126 个生成测试上称,这种感知变更的方法弱捕获约为传统测试加固的 4 倍、偶然失败测试的 20 倍;600 个出现弱捕获的变更上,评判团把人工审阅负担降低约 70%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。