研究：Chatbot Arena盲投评分漂移源于评判标准上升

1. 00:11
   Rohan Paul (X)

   研究：同一批模型每月被评得更差，源于人类评判标准上升

   一项研究分析了 Chatbot Arena 上 1,260,967 条盲投票，只保留模型版本固定的对比对，发现同一对模型被判“两个都差”的比例每月上升 1.71 个百分点，平均基线为 17.1%。但 2024 年较强模型在决定性投票中的胜率份额基本不变，因此排名保持稳定。研究据此认为，模型并未变差，而是人类评判标准在上升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。