跳到正文
NVIDIA Blog· Shruti Koparkar·· 5 天前精选AI 评分67

NVIDIA Vera Rubin 首次亮相 MLPerf,训练与 Endpoints 均领先

NVIDIA Sweeps MLPerf Training and Endpoints as Vera Rubin Debuts With Leading Performance

AI 导读

NVIDIA 公布 Vera Rubin 平台首次参加 MLPerf 的成绩,在训练、后训练和智能体推理上均取得领先。

推荐理由

官方披露 Vera Rubin 在 MLPerf 训练与 Endpoints 的首次成绩,可与 GB300 的代际差距对照看。

正文 · AI 翻译

在MLPerf基准测试中首次亮相,今日发布的结果显示,NVIDIA Vera Rubin平台在训练、后训练和智能体推理方面均实现了领先性能。

NVIDIA 包揽了所有 MLPerf Training v6.1 基准测试项目,并在其首次提交 MLPerf Endpoints 结果时,为智能体 AI 带来了每瓦吞吐量超过 10 倍的代际提升——该指标衡量系统每消耗一瓦电力所能完成的智能体工作负载量。

这些结果仅仅是开端。通过持续优化 NVIDIA 的基于 CUDA 的软件栈,Vera Rubin 的性能将持续攀升,因此客户今天投资的基础设施将在未来带来更大价值。

NVIDIA 包揽 MLPerf Training v6.1

AI 智能体如今无处不在,它们编写代码、执行业务工作流、回答客户问题,并且正如本周SC26 大会亮点所示,正在推动科学研究进展。

更快的训练速度意味着更聪明的智能体能更早触达用户,药物发现模型能够跟上新的实验室数据,欺诈检测模型也能更快适应新威胁。

MLPerf Training 衡量系统以多快速度将一系列 AI 模型训练至目标精度水平。

NVIDIA 平台是本轮唯一在所有基准测试中均有结果的厂商,涵盖大语言模型、图像生成、推荐系统和强化学习后训练。Vera Rubin NVL72 在其首次亮相中,每 GPU 性能比高度优化的 NVIDIA GB300 NVL72 系统高出多达 2 倍——这些早期结果展示了代际创新的步伐。

MLPerf Training v6.1 结果于 2026 年 11 月 16 日从 www.mlcommons.org 获取,来源条目包括:6.1-0116、6.1-0030、6.1-0135、6.1-0020、6.1-0049、6.1-0123、6.1-0138、6.1-0073、6.1-0124、6.1-0129 和 6.1-0038。MLPerf 名称及标志为 MLCommons Association 在美国及其他国家的商标。保留所有权利。严禁未经授权使用。更多信息请访问 www.mlcommons.org。

NVIDIA 还展示了大规模下的性能表现。在 DeepSeek-V3 基准测试中,Vera Rubin NVL72 从 256 个 GPU 扩展至 1,024 个 GPU,效率约为 97%:GPU 数量翻四倍使训练时间从 16 分钟缩短至约 4 分钟。

NVIDIA 还在 10,240 个 GPU 上运行了该基准测试,使用 GB300 系统,代表了本轮的最大规模。Microsoft Azure 也使用 GB200 系统搭配 10,240 个 NVIDIA GPU 达到了同等规模。

这种规模下的结果至关重要,因为只有在 GPU 能够高效协同工作时,增加 GPU 数量才能加速训练。NVIDIA NVLink 向上扩展网络将每个系统内的 GPU 连接起来,使其作为一个整体运作;而 NVIDIA Quantum-X800 InfiniBand 和 Spectrum-X Ethernet 向下扩展网络则将这些系统在整个数据中心内互联。结合优化的软件,这使得数千个 GPU 能够协同工作,帮助开发者构建更智能的模型,同时缩短训练时间。

NVIDIA Vera Rubin 在 MLPerf Endpoints 智能体推理中领先

一个用于旅行的 AI 代理可以规划并预订整个行程——或者一个 IT 代理可以在任何人提交工单之前发现并修复问题——为了完成单个任务,它可能会进行推理、调用工具并多次检查工作。

这些步骤中的每一个都会生成 token。由于 AI 数据中心受限于电力,系统每瓦特功率每秒能生成的 token 越多,它能服务的代理就越多,创造的价值也就越大。

MLPerf Endpoints 在真实的代理式编码和企业工作流中测试系统,并检查代理是否仍能正确完成任务。NVIDIA Vera Rubin 在所有其代理基准测试中均领先。

例如,在 Kimi K3(一个专为代理式工作流构建的大型开源模型)的临时结果中,Vera Rubin NVL72 系统在相同响应速度下,每瓦特的吞吐量比 NVIDIA GB300 NVL72 高出 10 倍以上。

MLPerf® Endpoints v1.0,Kimi K3,标准化部门,可用类别,发布于 2026 年 11 月 9 日。NVIDIA Vera Rubin NVL72,32 个加速器,结果 1.0.1.kimi-k3.agentic_combined.1p,运行 9:并发 = 1,024 查询,TTFT P90 = 4,673.9 毫秒,系统 TPS = 41,414.2 token/秒,端到端平均交互性 = 每位用户 50.4 token/秒,运行功耗 = 100.89 kW。NVIDIA GB300 NVL72,48 个加速器,结果 1.0.0.kimi-k3.agentic_combined.1,运行 6:并发 = 48 查询,TTFT P90 = 2,305.1 毫秒,系统 TPS = 2,210.4 token/秒,端到端平均交互性 = 每位用户 56.2 token/秒,运行功耗 = 60 kW。比较基于每位用户共享的最小端到端平均交互性为 50 token/秒时的每千瓦吞吐量。于 2026 年 11 月 9 日从 endpoints.mlcommons.org 获取。GB300 结果由 MLCommons Association 验证。对于临时 Vera Rubin 结果:尚待 MLCommons Association 验证,结果可能在同行评审后发生变化。MLPerf 名称和标志是 MLCommons Association 在美国和其他国家的注册商标和非注册商标。保留所有权利。严禁未经授权使用。有关更多信息,请访问 www.mlcommons.org。

每项 AI 服务都必须在同时服务大量用户与快速响应每个用户之间取得平衡。Vera Rubin 改变了这一整体曲线,在服务更多用户的同时实现更快的响应。

在各基准和工作负载中领先

NVIDIA 合作伙伴广泛参与了 MLPerf Training,共有 20 家组织提交了成果:ASUS,Azure,Cisco,CoreWeave,Crusoe,Dell Technologies,Firmus,Giga Computing,Google Cloud,HPE,Inventec,Krai,Lambda,Nebius,Oracle,Quanta Cloud Technology (QCT),Supermicro,TTA 以及 佛罗里达大学。

他们的提交展示了 NVIDIA 的可编程平台,结合开源库和框架,如何让庞大的合作伙伴生态系统创新并优化 AI 训练性能。

这种领先地位不仅限于 MLPerf。

Vera Rubin 在包括 SemiAnalysis AgentX 和 Artificial Analysis AgentPerf 在内的独立基准测试中也表现出色,展示了相同的 NVIDIA 基础设施如何高效运行从预训练和后训练到代理推理的各种任务,以及超越 AI 的工作负载,例如本周在 SC26 上展示的高性能计算。

深入了解 MLPerf Training 和 MLPerf Endpoints 的技术博客中的结果。

来源:NVIDIA Blog · blogs.nvidia.com