#评测/基准

实测 DeepSeek V4.1 Flash：4 元生成特斯拉飞行 3D 网页

作者在 DeepSeek Harness 中实测 DeepSeek V4.1 Flash，用纯提示词生成特斯拉飞行 3D 网页，耗时 35 分钟、消耗 3752 万 Token，按缓存命中 0.04 元每百万 Token 和输出 8 元每百万 Token 计算约花 4 元。

Hugging Face 政策主管：嵌入式 AI 评估者并非易解方案

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估者并非易解方案，评估结果的可复现性仍是关键问题，开放权重对此至关重要。她指出，评估是一门仍在演进的科学，不同评测之间难以有意义地比较，且失效速度较快。她还提到，智能体评估难度大、成本高，针对 harness 的评估远少于针对模型的评估。

MiniMax 发布 M3.1 Flash 推理模型，每任务成本约 0.22 美元

MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，每任务成本不到其一半。

同一件事，精选收录的是《MiniMax 发布 M3.1 Flash 模型，成本为 M3 的三分之一、速度提升 3 倍》

MiniMax M3.1 Flash 登顶搜索效率榜

感谢 Parallel Web System 提供如此有意义的数据点~ 是的，MiniMax M3.1 Flash 现已在搜索能力排行榜的效率维度上位列第一。而且它很快~

Meta 新论文提出 ProPerMem 基准：主动式助手难在自主判断何时插话

Meta 新论文指出，主动式助手（如 AI 眼镜）的失败点在于自主判断何时插话，而不只是说什么。团队构建 ProPerMem 基准，用第一视角视频搭配平均 618K token、含大量干扰项的一年期记忆，并标注人工核验的触发窗口。

Coco Labs 推出 AI 设计模型 Vyb，按图层生成可编辑设计

Coco Labs 推出 AI 设计模型 Vyb，它逐层构建图形元素，文字保持可编辑文本、图形保持矢量、照片保持像素，logo 与字体、配色可从网站提取。在 145 个随机 Google 字体测试中，Vyb 以像素重叠（IoU）对比程序化渲染达到 90.3%，该测试上限为 94.4%，对比中最强的图像模型为 76.0%。由于每层保留原生类型，导出到 Figma 时结构完整保留。

用决策模型做 LLM 评测：Jev 适合当 Judge

推文推荐用决策模型构建 LLM 评测，并称内部评测显示 Jev 这类 System One 模型很适合做 LLM Judge。作者在 Hamel Husain 关于决策模型评测的文章之外，补充了 Jev-as-a-Judge 智能体评测资源与 arXiv 论文，介绍如何结合 System One 与 System Two 模型。

OpenAI 称 GPT-6 在 COBOL、Fortran 等遗留语言上表现大幅提升

OpenAI 表示已针对 COBOL、Fortran、Visual Basic 等低资源语言改进最新模型，并构建 MultiLangBench 与 COBOL 迁移两个评测来衡量进展。

网友期待DeepSeek V4.1 Flash超越Haiku

我本希望看到它能胜过Haiku，尤其是在Vals的网络安全评测结果之后。

DeepSeek V4.1 Flash 效率与性能讨论

哦这太牛了 但考虑到它的效率低了好几倍，我不太会说它击败了 Sol 我想说的是，它击败了 Kimi-K3、GLM-5.3 Flash 和 Grok-4.7，这已经令人印象深刻了

Turing Post 本周 AI 论文精选：智能体与具身智能

Turing Post 汇总了本周必读 AI 论文，涵盖 Cortex、Librarian Agents、OpenGCUA、DuoDiscover、WAVE-0 与 ACT3D 模型、Persistent Planar Memory、Mosaic 多会话智能体强化学习等主题。

DeepSeek-V4.1-Flash-1017 登顶 Code Arena WebDev 开源模型榜首

Arena 于 10 月 19 日宣布，DeepSeek-V4.1-Flash-1017（Max）以 1670 分超过 Kimi K3（Max）等开源模型，成为 Code Arena WebDev 榜单排名最高的开源模型，仅落后 GPT-6 Sol（Max）12 分。

Nace 发布多模态决策模型 Drex Max

Nace 发布多模态决策模型 Drex Max，支持文本、图像和视频输入，单次决策耗时 34 ms，262K token 下低于 1 秒，输入价格为 $0.06/1M tokens。该模型可直接从截图、录屏、扫描文档、科学图表和照片中做决策，适合 computer-use 与 browser-use 智能体。Nace 称其在 Mind2Web 上达到 88.3%，超过 Jev 1.14，Decision Index 得分为 67.6（Jev 1.14 为 60.70）。

OpenAI 提升 ChatGPT 对低资源编程语言的支持

OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现，并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。

Latent Space 推出新节目 High Taste Testers，首期聊 Dev Day 与最新模型

Latent Space 正在试播新节目 High Taste Testers，把旧金山的午餐闲聊搬上节目，首期话题从 Dev Day 延伸到最新模型与助手。同期 AI 新闻汇总中，Meta 发布 816B 总参数、42B 激活的 MoE 开源模型 Muse Spark Open，Artificial Analysis 智能指数得分 39，为美国开源模型最高。

OmniCompass 全模态视频基准发布

OmniCompass 面向全模态视频定位与理解的综合基准 论文：https://huggingface.co/papers/2610.18829

前沿智能体科研论文完整性评测

这个新基准用领域科学家开发的15个开放科学后续问题评估九个前沿智能体，产出135篇研究论文。 大多数论文未通过完整性检查，包括声称的工作与支撑性执行证据之间的不一致。

Qwen3.8-Flash-Next 推理提速至 685 tokens/s

祝贺 @lightseekorg 取得令人印象深刻的 TokenSpeed 成果！🚀 很高兴看到 Qwen3.8-Flash-Next 在 Nvida GPU 上达到每用户 685 output tokens/s。期待社区进一步释放 Qwen 的推理潜力！

Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案

Google DeepMind 开始广泛推送 Gemini 4 Argon，并同步发布安全与安全报告，说明其在高风险领域的防护设计。该模型在 12 个端到端模拟网络攻击场景中全部完成，上一代为 5 个；在 Gray Swan 的间接提示注入基准上，15 次自适应攻击的成功率降至 0.7%。

MiniMax H3 开源视频世界模型物理表现接近闭源SOTA

在物理方面，谁拥有最好的开源视频世界模型？💫 又是我，MiniMax H3。几乎与闭源 SOTA 持平。🍾

LLM 新颖性评估的不稳定性

旧想法，新问题 基于 LLM 的新颖性评估的不稳定性 论文：https://huggingface.co/papers/2610.02022

微软研究院播客：AI 会犯哪些错，失败又能教我们什么

微软研究院 partner research manager Jennifer Neville 在播客对话中讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界，以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历，分享使用当前 AI 系统的实用建议，并强调结果偏离预期时应仔细检查数据。

GitHub 发布 AI 代码审查开放基准 ReviewBench

GitHub 发布 AI 代码审查开放基准 ReviewBench，包含 219 个来自 187 个开源仓库、覆盖 19 种语言的 PR，分布参照 1.039 亿个 GitHub PR。

LLM 经纬度判断陆地海洋评测

很酷的评测。只需问 LLM "陆地还是水域？"，并以文本形式给它一个经纬度坐标。问 16,200 次，绘制成图像。模型知道答案。来自对互联网的压缩。

Tavus 推出 Griffin 视频模型

远程办公彻底没戏了 如果你的工作能在屏幕另一端完成，AI 就能做得更好

阿里发布 Qwen Intelligence，推出三款手机端 SOTA 智能体

阿里发布 Qwen Intelligence，首批上线 Mobile Planner、Mobile-Use、Mobile Creative 三款手机端智能体。

Qwen-Image-2.1 在 Image Edit 与 Text-to-Image Arena 登顶开源第一

Qwen 宣布 Qwen-Image-2.1 在 Image Edit 和 Text-to-Image 两个 Arena 中均成为排名第一的开源模型。引用内容显示，该模型在 Image Edit Arena 拿到 1367 分，位列开源第一、总榜第 16，距第 15 名的 GPT-Image-1.5-high-fidelity 差 3 分。Qwen 邀请用户试用并分享创作结果。

Meta 的 AIRA₃ 在 NVIDIA Kaggle 竞赛中获金牌，约 4000 支队伍中排第 8

Meta 称其在 6 月让自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛，任务是微调一个 30B 的 Nemotron 模型，使其推理能力更强。AIRA₃ 在约 4000 支队伍中排名第 8，获得金牌，成绩超过使用同等前沿工具的人类参赛者。Meta 认为这表明 AIRA₃ 能在特定能力上把模型提升到接近人类专家的水平。

千问发布 E-Commerce Bench 电商智能体基准

千问推出 E-Commerce Bench，用于评测长周期自主商业运营：智能体以 ¥100,000 启动资金经营网店 365 天，需处理选品、议价、定价、促销、库存与现金流。

Meta 预览 WildArtifactBench 智能体评测框架

Meta 预览内部评测框架 WildArtifactBench，用于评估智能体在多种交付格式下完成复杂真实任务的能力。该框架不依赖严格的标准答案评分，而是采用人类与智能体偏好评判给出的胜率和 Elo 分数，从而扩大对实际多模态工作流的任务覆盖。Meta 已从中开放 10 个任务，用于衡量多模态智能体的实际实用价值。

Meta 公布 Muse Spark 1.2 多模态评测与演示

Meta 公布 Muse Spark 1.2 的新评测与演示，展示该模型在视觉理解与推理上的覆盖范围。Muse Spark 1.2 支持从视觉内容生成可运行代码、把感知转化为物理动作，并具备音视频理解能力，以支持企业场景中视频密集的工作流。演示中，模型解析多模态观测并调用工具，引导机器人在非结构化环境中导航寻找橡皮鸭。

Karpathy 评 Claude Fable 5 发布：与 Mythos 同底座，长任务能力显著跃升

Andrej Karpathy 评价 Claude Fable 5 发布，称其与 Mythos 是同一底层模型但增加了安全防护，基准测试全面 SOTA 且领先明显。