跳到正文
热点事件观察中

CMU发布Singularity-Bench评测AI自建基础设施

5 篇报道2 个报道来源2 天前更新

先了解这件事

AI 综述

卡内基梅隆大学研究者Rohan Paul提交预印本,发布Singularity-Bench基准以评估智能体自主构建AI基础设施的能力。该基准包含预训练、中期训练、后训练、推理、智能体运行框架和集群编排六项端到端任务。 据称,Opus 5.5配合Claude Code在该基准上表现超过人类基线;其中Claude自写推理引擎将P90首token延迟从12秒降至0.48秒。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. 新智元精选
    Singularity-Bench 论文:Claude 自写推理引擎将 P90 首 token 延迟从 12 秒降至 0.48 秒

    卡内基梅隆大学、NVIDIA 等机构研究者提交预印本《Singularity-Bench: Can Agents Build Agents?》,用六道闭卷工程题测试智能体能否独立优化 AI 研发流程。

11月16日
  1. 新智元精选
    CMU 发布 Singularity-Bench:Opus 5.5 配合 Claude Code 自主构建 AI Infra 超过人类基线

    卡内基梅隆大学(CMU)发布论文提出 Singularity-Bench,用预训练、中期训练、后训练、推理、智能体运行框架和集群编排六项端到端任务评测智能体自建 AI Infra 的能力。

11月14日
  1. Rohan Paul (X)
    singularity-bench 概览:6 项端到端任务

    singularity-bench 概览:6 项端到端任务覆盖智能体开发全栈。 智能体在固定预算内设计并实现系统,系统在同一硬件上与人类构建的参考实现进行对比评估。

  2. Rohan Paul (X)
    Singularity-Bench:智能体能否构建智能体

    – https://arxiv.org/abs/2611.16591 标题:“Singularity-Bench:智能体能否构建智能体?”

  3. Rohan Paul (X)
    卡内基梅隆大学论文提出 Singularity-Bench,Opus 5.5 搭配 Claude Code 六项任务追平人类基线

    卡内基梅隆大学等机构的论文提出 Singularity-Bench,用预训练、微调、推理、智能体 harness、集群编排等 6 项端到端任务评测智能体自建 AI 系统的能力,并在相同 GPU 上与 SGLang、Claude Code 等生产系统对比。

本事件热度走势

可比范围当前
3
可比范围峰值
911月16日 17:00
近 24 小时变化
-50%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。