Meta 新论文提出 ProPerMem 基准:主动式助手难在自主判断何时插话
Meta 新论文指出,主动式助手(如 AI 眼镜)的失败点在于自主判断何时插话,而不只是说什么。团队构建 ProPerMem 基准,用第一视角视频搭配平均 618K token、含大量干扰项的一年期记忆,并标注人工核验的触发窗口。
Meta 新论文指出,主动式助手(如 AI 眼镜)的失败点在于自主判断何时插话,而不只是说什么。团队构建 ProPerMem 基准,用第一视角视频搭配平均 618K token、含大量干扰项的一年期记忆,并标注人工核验的触发窗口。
Turing Post 汇总了本周必读 AI 论文,涵盖 Cortex、Librarian Agents、OpenGCUA、DuoDiscover、WAVE-0 与 ACT3D 模型、Persistent Planar Memory、Mosaic 多会话智能体强化学习等主题。
OmniCompass 面向全模态视频定位与理解的综合基准 论文:https://huggingface.co/papers/2610.18829
这个新基准用领域科学家开发的15个开放科学后续问题评估九个前沿智能体,产出135篇研究论文。 大多数论文未通过完整性检查,包括声称的工作与支撑性执行证据之间的不一致。
旧想法,新问题 基于 LLM 的新颖性评估的不稳定性 论文:https://huggingface.co/papers/2610.02022
GitHub 发布 AI 代码审查开放基准 ReviewBench,包含 219 个来自 187 个开源仓库、覆盖 19 种语言的 PR,分布参照 1.039 亿个 GitHub PR。
很酷的评测。只需问 LLM "陆地还是水域?",并以文本形式给它一个经纬度坐标。问 16,200 次,绘制成图像。模型知道答案。来自对互联网的压缩。
千问推出 E-Commerce Bench,用于评测长周期自主商业运营:智能体以 ¥100,000 启动资金经营网店 365 天,需处理选品、议价、定价、促销、库存与现金流。
Meta 预览内部评测框架 WildArtifactBench,用于评估智能体在多种交付格式下完成复杂真实任务的能力。该框架不依赖严格的标准答案评分,而是采用人类与智能体偏好评判给出的胜率和 Elo 分数,从而扩大对实际多模态工作流的任务覆盖。Meta 已从中开放 10 个任务,用于衡量多模态智能体的实际实用价值。