复旦等机构提出LoLBench长程代码评测基准

复旦大学、香港城市大学、香港中文大学等机构提出LoLBench，把AI Agent放进平均约240万行源代码的软件系统，评估其从功能提案到模块交付的完整过程。评测覆盖29个系统、8种语言、100项任务，提案平均约5000个英文单词；Agent仅获提案与实现前代码仓，评测在断网Docker环境中进行，单任务限时6小时。 研究团队测试6个前沿模型与5个脚手架的28种可用组合，Opus 5搭配Claude Code或mini-SWE-agent以14%解决率并列最高，全部组合中位数仅2%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。