研究：LLM自主改写harness提升有限

一项在 ARC-AGI-3 上进行的受控研究考察前沿模型能否自主生成并改进 harness。实验让每个模型从固定的编码 bootstrap 出发写出完整 harness，在 5 个开发游戏上运行后整体重写代码库两次，每个版本都在 20 个不参与改写的游戏上评分。 结果显示，两次完整重写仅使留出集得分提高 2.80 分，且 95% 置信区间跨过零，即提升在统计上不显著。研究还发现，在 27 条谱系中，初始 harness 的表现从零分到接近上限不等。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。