研究评估前沿模型的研究判断力

一项研究让六款前沿模型针对 7 篇近期 NLP 论文提出实验方案，并实际执行了全部 415 个实验。结果显示，其中 194 个被评为合理、有价值且新颖，仅 73 个同时超出种子论文且非显而易见。 模型对方案的排序作用有限：首选方案优于随机选择，但未能证明优于最先写出的实验；预测优于基准率，却不比同模型仅读论文和注册信息的新实例明显更好。 研究还测试了多智能体团队，成本更高，提案质量未见明显提升。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。