跳到正文
机器之心·· 10 小时前AI 评分45

Einsia AI 发布 Frontier3DBench:评测 Coding Agent 的 3D 创作能力

Einsia AI发布Frontier3DBench:Agent离真实3D创作还有多远?

AI 导读

Einsia AI 发布 Frontier3DBench,横跨 Blender 与 Unreal Engine,含 9 大类别 145 项任务,评测 11 种主流模型与 Agent 框架配置。

正文

机器之心发布

Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。

过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 ——

将以往所有的三维视觉难题,全部转化为代码生成问题

。

然而,现有的评测基准往往将 “静态几何质量” 与 “动态世界交互” 割裂开来,难以回答一个核心问题:

「今天的 Coding Agent,究竟能否接住从物体、场景到开放世界的全栈创作需求?」

为此,Einsia AI 发布

Frontier3DBench

。该基准横跨 Blender 与 Unreal Engine 两大工业级环境,

涵盖 9 大类别、145 项任务(65 项物体 + 65 项场景 + 15 项开放世界)

,全面评测了

11 种主流前沿模型

与 Agent 框架配置,从

外观、结构与行为

三个维度,系统性地勾勒出 Coding Agent 的 3D 创作能力边界。

论文题目

:Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds

项目主页

:https://lab.einsia.ai/frontier3dbench

GitHub

:https://github.com/Einsia/Frontier3D

Paper

:https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf

从捏物体、搭场景到造世界

Frontier3DBench 测什么?

在 3D 创作里,捏一个模型、搭一个房间,和造一个能跑能跳的开放世界,难度完全不在一个量级。每往前走一步,Agent 要照顾的事就多一层:物体讲究零件与比例,场景讲究空间布局,而世界则必须接住动作、交互与持续变化的状态。

以往的评测往往把这些环节切碎了 —— 有的只看静态资产美不美,有的只测游戏代码通不通。光看一个笼统的总分,很难搞清楚 Agent 翻车时,到底是因为丢了参考图细节、排错了房间位置,还是卡在了运行时的某步交互上。

为此,Frontier3DBench 将这三层要求装进同一套评测标准,涵盖 9 大类别、145 项任务:

L1 物体层(65 项)

:交付可编辑 Blender 资产,涵盖纯文本建模(Text2Code)以及单视图、多视图参考图重建(Img2Code)。

L2 场景层(65 项)

:交付完整 Blender 场景,覆盖文本生成(Brief2Scene)、渲染图重建(Ref2Scene)、真实照片重建(Ref2Scene-RealPhoto)以及 “改局部、保周围” 的场景编辑(SceneEdit)。

L3 开放世界层(15 项)

:交付 Unreal Engine 工程,要求根据文本(Text2Env)或参考图(Img2Env)构建多区域连通、支持连续交互活动的开放世界。

评测也跟着工程文件一路往里走,用三个坐标给每份 3D 答卷打分:

外观:看渲染结果,检查视觉美感与参考图还原度;

结构:拆原生工程,量尺寸、数零件、查穿模与连通性;

行为:跑独立测试,驱动角色在世界中实际穿行交互,验证动作与状态是否成立。

按 30%(物体)、30%(场景)、40%(世界)的权重汇总后,研究团队对 11 种主流大模型与 Agent 框架进行了全面摸底。

Sol 拿下总榜第一

但 “造世界” 换了领跑者

先看总榜:

GPT-6.1-sol 以 66.02 分斩获总榜第一

,在物体层(71.21)和场景层(70.35)优势明显。

但

9 个细分类别,没有任何一个模型能全部通吃

:

开放世界(L3)

的领跑者变成了

GPT-6-astra

(均分 61.28);

文本生成物体(Text2Code)

的最高分属于

Claude Opus 5.5

(84.05);

场景编辑(SceneEdit)

则跑出黑马:总榜第六的

MiniMax-M3.1-Flash

以 78.70 分拿下单项第二,Kimi-K3 与 GLM-5.3-Flash 的编辑表现也双双超过全场均值。

想选一个做 3D 的 Agent,得先问清楚:你要它捏资产、改场景,还是去虚幻引擎里造世界?

自由发挥超 80 分

给张参考图却集体 “破防”

细看每个模型在各个任务上的得分,可以发现,

所有模型的 “参考图重建” 得分均显著低于 “文本生成”

:

文本生成物体得分普遍高达

75.93~84.05 分

;

到了多视图和单视图重建,全场最高分仅剩

69.61

分和

66.26 分

。

Qwen3.8-Max

把这种反差展现得尤为明显:其文本生成物体高达 81.98 分(逼近榜首 Sol 的 82.10),但多视图和单视图重建却骤降至 43.97 和 37.34。Kimi-K3.1-Pro 和 DeepSeek-V4.1-Flash 也呈现出 “

强生成、弱重建

” 的分布。

做出一个 “看着合理” 的作品已经不难,难的是跨过遮挡与透视,把 “指定的那个作品” 分毫不差地复刻出来。

差距藏在外观、结构与细节中

把总分拆成

视觉质量、结构一致性、任务完成度

三个维度,模型的短板更加一目了然。

物体和场景的视觉与完成度由 Sol 领跑,开放世界由 Astra 领跑;而在物体结构上,Opus 以 83.27 分微弱反超 Sol。整体来看,各模型把主部件摆对位置、搭出粗略骨架相对容易(L1 结构均分 72.77),但要把精细外观和细节填满则难得多。

落到具体作品上,高下立判:

纺车重建(L1 物体)

:Sol 和 Opus 恢复了主要机械组件,Kimi-K3 则将其简化成了抽象的圆环与木杆,丢了核心传动件;

浴缸修复(L2 编辑)

:Sol 和 Astra 让新浴缸严丝合缝地适配了原有支架,Luna 的浴缸外壳却与支架分了家;

Minecraft 村庄(L3 世界)

:Astra 和 Sol 还原了村落轴线与连续梯田地形,Luna 则把建筑密集堆在了平地上,丢了空间语境。

单个机关能跑 83 分

连成完整任务却跌到 30 分

开放世界的真正考验在代码运行的那一刻。所有模型在 L3 世界层的平均分,均低于各自的物体和场景成绩。

对 165 个生成世界的运行时测试,拆出了一组扎眼的数据:

局部交互

:平均

83.08

分

运动避障

:仅

20.82

分

状态与工作流

:仅

30.26

分

结论很明确:局部机关已经能做出来了,但很难把它们串起来。

单独写一个开关或机关,Agent 已经轻车熟路;但要让角色无穿模地跨区域移动、触发动作,并让改变后的状态持续影响下一步操作,从而跑通一整套活动,正是当前 Agent 亟待跨过的一道大关。

算笔经济账

花钱越多,作品就越好吗?

将综合质量与单题平均 API 估算成本放在一起,便有了这张性价比地图:

挑一个 3D 创作搭档,既要看作品,也得算清背后的 API 账单:

三大性价比守门员

:

GPT-6-luna

(约 $0.27 / 题,48.56 分)、

DeepSeek-v4.1-Flash

(约 $0.45 / 题,57.45 分)和

GPT-6.1-sol

(约 $1.01 / 题,66.02 分)构成了帕累托前沿。从 DeepSeek 升级到榜首 Sol,花约 2.2 倍的成本即可换来 8.57 分的跃升。

更贵不等于更好

:

GPT-6-astra

(约 $5.58 / 题,63.85 分)和

Claude Opus 5.5

(约 $21.17 / 题,62.29 分)的单题开销远高于 Sol,但综合质量反而更低。

下一步

让代码里的 3D 世界真正运转起来

一台精密的机器,依赖零件之间的严密咬合; 一间合理的房间,讲究物体之间的空间秩序; 一个鲜活的世界,需要动作之后仍能延续的状态与反馈。

今天,Coding Agent 正在把这些原本属于图形学与三维视觉的复杂要求,一行行写进可执行的程序代码里。

Frontier3DBench

不仅为这条技术路线绘出了首张全景能力地图,也精准标出了通往 “真正 3D 创作者” 路上必须攻克的两座大山:

跨越 “自由生成” 到 “精准还原” 的鸿沟

,让看见的几何结构与细节分毫不差地建出来;

打通 “局部机关” 到 “全局工作流” 的闭环

,让可交互世界里的连续动作与持久状态真正协同运转。

当这两座大山被翻越,Coding Agent 交付的将不再只是孤立的资产或静态的布景,而是

真正可走入、可交互、可演化的数字世界

。

从

「会写代码」

到

「能造世界」

,3D 创作的下一个时代,才算真正拉开帷幕。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

来源:机器之心 · mp.weixin.qq.com