Hugging Face 政策主管:嵌入式 AI 评估者并非易解方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估者并非易解方案,评估结果的可复现性仍是关键问题,开放权重对此至关重要。她指出,评估是一门仍在演进的科学,不同评测之间难以有意义地比较,且失效速度较快。她还提到,智能体评估难度大、成本高,针对 harness 的评估远少于针对模型的评估。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估者并非易解方案,评估结果的可复现性仍是关键问题,开放权重对此至关重要。她指出,评估是一门仍在演进的科学,不同评测之间难以有意义地比较,且失效速度较快。她还提到,智能体评估难度大、成本高,针对 harness 的评估远少于针对模型的评估。
微软研究院 partner research manager Jennifer Neville 在播客对话中讨论评估如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果偏离预期时应仔细检查数据。
远程办公彻底没戏了 如果你的工作能在屏幕另一端完成,AI 就能做得更好
Andrej Karpathy 评价 Claude Fable 5 发布,称其与 Mythos 是同一底层模型但增加了安全防护,基准测试全面 SOTA 且领先明显。
推荐理由:Karpathy 以第一手使用体验评价 Claude Fable 5 在长任务和复杂问题上的跃升,并给出对软件需求变化的判断。