LisanBench 改规则重评,排名完全改变
先了解这件事
Lisan al Gaib 在 X 上公布 LisanBench 的重新评分结果:去掉编辑距离这一条规则、其他规则仍生效后,排名完全改变,GPT 6 Astra medium 以 56,140 分(+659%)居首,Gemini 4 Argon high 以 51,312 分(+579%)第二,GPT 6.1 Sol medium 以 49,887 分(+731%)第三。发布者称前三名全是已确认的循环者。 该发布者还称,在移除知识回忆和图构建组件的另一项衍生任务中,OpenAI 模型同样表现极强;该任务要求从 100 个词构成的图中、从给定起始词出发找最长简单路径,最接近单纯衡量规划能力。 上述分数与排名来自发布者公布的评测,并非独立验证的结果。
AI 根据报道生成 · 1 小时前更新
事件进展
2 个进展
- 10月25日 02:47 · 1 篇报道LisanBench衍生任务上OpenAI模型表现强劲Lisan al Gaib (X):OpenAI 模型在 LisanBench 衍生任务表现强劲
- 10月24日 19:18 · 2 篇报道LisanBench 更新多推理档位评测结果Lisan al Gaib (X):LisanBench 多推理档位实测:Muse Wonder 登顶
报道时间线
沿着报道,了解事件的不同侧面。
- Lisan al Gaib (X)OpenAI 模型在 LisanBench 衍生任务表现强劲
在另一个衍生任务中,移除了知识回忆和图构建组件后,OpenAI 模型同样极其强大。 模型以 100 个词构成图的形式给出,需要从给定起始词出发找到最长简单路径。这最接近于单纯衡量规划能力。
- Lisan al Gaib (X)OpenAI 模型在 LisanBench 子任务上达 SOTA
很高兴知道 OpenAI 模型至少在一个 LisanBench 子任务上是 SOTA: “在去掉编辑距离这一条规则(其他规则仍然生效)给模型打分时,排名完全变了: 1. GPT 6 Astra medium: 56,140 (+659%) 2. Gemini 4 Argon high: 51,312 (+579%) 3. GPT 6.1 Sol medium: 49,887 (+731%)” 前三名全是已确认的循环者 👀
- Lisan al Gaib (X)LisanBench 多推理档位实测:Muse Wonder 登顶
LisanBench 新增多推理档位测试,Meta 的 Muse Wonder Full 与 Muse Wonder 在最高推理档位下分数排名第 1、第 2,但效率仍略低于 Anthropic 的 Opus 5.5。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1010月25日 03:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。