南京大学团队提出测试生成基准TestPrism

南京大学刘佳恒团队提出测试生成基准TestPrism，包含来自17个来源的300个测试任务和3000个候选实现，每个任务配有经过验证的正确与错误实现面板。团队称，以联合成功函数（JSF）为核心指标，测试须在原始代码上失败、接受所有正确实现并拒绝所有错误实现；按此标准，Coding Agent的测试合格率被高估约一倍。 该基准的结论依赖JSF这一更严格的判定方式：测试不仅要能暴露原始代码的问题，还要能区分正确与错误实现，而非仅通过单一用例。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。