swyx 呼吁建第三方评测防 benchmaxx

1. 01:51
   swyx

   swyx 呼吁用第三方 AA 重建评测防 benchmaxx

   swyx 在录制 AAv5 播客时提出，不能信任实验室不刻意或无意地 benchmaxx，需要可信第三方按原意重做整套评测。他以随机打乱选择题顺序、换用表面不同但考察同一推理步骤的新题等微扰方式，检验模型宣称是否成立，并称系统性识别 benchmaxx 的办法就是为每个评测都建 altbench。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。