跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

6 条精选近 30 天 4 条共收录 32 条

更新

评测基准的精选

今天10月21日周三第 1–6 条
  1. 爱范儿78

    实测 DeepSeek V4.1 Flash:4 元生成特斯拉飞行 3D 网页

    作者在 DeepSeek Harness 中实测 DeepSeek V4.1 Flash,用纯提示词生成特斯拉飞行 3D 网页,耗时 35 分钟、消耗 3752 万 Token,按缓存命中 0.04 元每百万 Token 和输出 8 元每百万 Token 计算约花 4 元。

    推荐理由:作者用多个实测案例对比 V4.1 Flash 与闭源模型的成本差距,可据此判断低价模型能覆盖哪些任务。

10月14日周三
  1. Google DeepMind80

    Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案

    Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步发布安全与安全报告,说明其在高风险领域的防护设计。该模型在 12 个端到端模拟网络攻击场景中全部完成,上一代为 5 个;在 Gray Swan 的间接提示注入基准上,15 次自适应攻击的成功率降至 0.7%。

    推荐理由:原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护分层,以及智能体越界行为的监控数据。

9月23日周三
9月6日周日
  1. AI at Meta (X)68

    Meta 的 AIRA₃ 在 NVIDIA Kaggle 竞赛中获金牌,约 4000 支队伍中排第 8

    Meta 称其在 6 月让自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛,任务是微调一个 30B 的 Nemotron 模型,使其推理能力更强。AIRA₃ 在约 4000 支队伍中排名第 8,获得金牌,成绩超过使用同等前沿工具的人类参赛者。Meta 认为这表明 AIRA₃ 能在特定能力上把模型提升到接近人类专家的水平。

    推荐理由:Meta 公开 AIRA₃ 在 Kaggle 微调竞赛中的名次与参赛条件,可据此判断自主研究系统在模型能力改进上的位置。

6月10日周三