Methodology
排序怎么算
原始成绩不是分数。这一页把从「第三方跑出的百分比」到「榜上那个 70 多分」之间的每一步说清楚。
当前 57 项评测参与计算、来自 4 家机构，633 个模型有逐项成绩。
Evidence before conclusions
把每项评测当成一把尺子。
不同评测的分数单位不同、难度不同，直接平均的话，只测了几项简单题的模型反而占便宜。 本站先给每项评测定出难度和区分度，再把每个成绩折算成同一种能力分——难的评测和容易的评测从此说同一种单位。
50 分是上榜模型的平均水平，每 15 分约一个标准差；两个模型相差 3 分以上，先后基本不会变。 分数不是答题正确率，综合榜和各领域榜最多展示 60 个模型。
01
只用第三方统一跑出来的成绩
评测机构用同一套流程、同一份题目去跑所有模型，这样的成绩才计分。
厂商自己公布的成绩没法核对运行条件，也可能专门为榜单调过参数，一概不计。厂商专用的 Agent、把别人成绩拼起来的综合指数同样不计。
同一个型号常常有多个推理档位（快、标准、深度思考）。同一档位下的多次成绩取表现最好的那次作代表，避免一个跑崩的样本埋掉整个型号。
02
给每项评测定一把尺
不同评测的难度、单位、分布都不一样。直接把百分比平均，只测了几项简单题的模型反而占便宜。
所以每一项评测先由「测过它的那批模型」共同定出两个数：难度（这项有多难）和区分度（分数在这项上拉不拉得开）。测过这项的模型少于 12 个，这把尺定不准，先不计分。
越难的评测在高分段越有说服力；快被刷满的评测，再高的分也折算不出更多信息，权重自然被压低。
03
把成绩折算成同一种分数
有了尺子，每个成绩就能倒推成统一的能力值：能力 = (logit(通过率) − 难度) ÷ 区分度。
通过率按 0.01% 到 99.99% 截尾后再取 logit，所以「99.5%」和「100%」不会被拉出巨大差距，0% 也不会算出负无穷。
两家机构复跑同一套题时按两项独立证据处理，因为它们的运行环境和判分细节并不相同；同一家机构内部的重复记录只保留最好的一次。
04
分领域算，再加权
每个领域的分数是该领域各项折算分的加权平均，权重取区分度的平方——越能拉开差距的评测，说话越算数。
领域分再向模型的整体水平收缩 30%：某个领域只有一两项成绩时，不让它单独决定这个领域的高低。
没测过的领域不补分也不扣分，只是让覆盖面变窄。综合分按下面五个权重相加：这是公开的选择，不是天然的「能力比例」。
05
证据不够宽，就不给名次
有评分和有名次是两件事。覆盖太窄时，一项异常成绩就能把名次带偏，所以名次只给证据够宽的模型。
本站的做法：上榜要求至少 6 项成绩、且评测覆盖不低于 45%；再往下的模型收在榜下方「证据偏窄」分区里，覆盖补齐后自动归位。
这条线是本站自己划的：门槛调松会让更多新型号上榜，代价是名次更容易被单项成绩带动。
Weighted by domain
五个领域，编程最重。
权重是公开的选择，不是天然的「能力比例」。同一类任务的重复评测会各算各的，不重复加权； 视觉、写作、多语言等评测目前只列出、不计分。真人盲选（LMArena）暂时拿不到可比的复跑成绩， 这 5% 由推理类评测（棋类、解谜）占位。
14 项已接入
- LiveCodeBench · Vals · vals
- Terminal-Bench Hard · AA · Artificial Analysis
- SWE-Bench · Vals · vals
- Code Migration · Vals · vals
- Terminal-Bench 2.1 · Vals · vals
- ProgramBench · Vals · vals
- APEX · apex-swe · Mercor
- 还有 7 项…
16 项已接入
- OTIS Mock AIME 2024-2025 · Epoch AI
- CritPT · AA · Artificial Analysis
- GPQA · Vals · vals
- MATH level 5 · Epoch AI
- FrontierMath-Tiers-1-3-v2-Private · Epoch AI
- AIME · Vals · vals
- FrontierMath-2025-02-28-Private · Epoch AI
- 还有 9 项…
17 项已接入
- LegalBench · Vals · vals
- TaxEval v2 · Vals · vals
- Corporate Finance v2 · Vals · vals
- IFBench · AA · Artificial Analysis
- τ²-Bench · AA · Artificial Analysis
- Mortgage Tax · Vals · vals
- Legal Research · Vals · vals
- 还有 10 项…
8 项已接入
- GPQA diamond · Epoch AI
- Humanity's Last Exam · AA · Artificial Analysis
- AA-LCR 长上下文推理 · AA · Artificial Analysis
- GPQA Diamond · AA · Artificial Analysis
- MMLU-Pro · Vals · vals
- MedQA · Vals · vals
- SimpleQA Verified · Epoch AI
- 还有 1 项…
2 项已接入
- Chess Puzzles · Epoch AI
- Mystery Game Puzzles · Epoch AI
计算细节
想核对公式的看这里，五条把实现讲完。
每项评测的尺子怎么定
把通过率类评测看成一条 logistic 曲线：能力为 z 的模型，通过率 = σ(a·(z − b))，其中 a 是区分度、b 是难度。两个参数由所有测过这项的模型一起最小二乘拟合，每轮拟合都会重估一次，所以在榜单前端和后端都能吃到同一把尺。
单项成绩怎么变成折算分
反解能力值：z = (logit(通过率) − c) ÷ a，其中 c = −a·b。有标准误的评测（例如 Epoch 会给每个成绩附误差）会额外记录，用于判断这项成绩是否足够可信。
一项成绩能拉动总分多少
单项折算值偏离模型自身水平超过 2 个单位时，多出来的部分不计。这样一个被刷高的评测、或者一次跑崩的样本，最多只能把总分往自己那边拉有限的一段，不足以翻转名次。
领域分和综合分的关系
领域分是该领域各项折算值的加权平均，再向模型整体水平收缩 30%。综合分是各领域能力按权重相加。显示分 = 50 + 15·z，z 以本届上榜模型的分布为基准标准化，所以 50 分是上榜模型的中间水准，15 分约一个标准差。
为什么分数可以跨轮比较
因为标准化的人群固定为「当前上榜模型」这一批，而不是每天重新抽一批弱模型进来。新增型号、新增评测只会改变这一批人的相对位置，不会让所有分数整体漂移；分数真的整体上移时，说明整个前沿在往前推，这正是要看的信息。
常见问题
这些分数是谁算的？
本站自己算。原始成绩来自 Artificial Analysis、Epoch AI、Mercor、Vals AI 四家公开的数据，折算、加权、排名全部在这里完成，不套用任何一家现成的综合分。
为什么厂商自己公布的分数不用？
自己跑、自己报的成绩没法核对运行条件，也可能专门为榜单调过。只用第三方统一跑的成绩，至少大家在同一套规则下比。
为什么有的模型只有分数、没有名次？
评测覆盖太窄。一项评测的偶然性很大，覆盖不到 45% 时名次意义不大，本站把它单独列出来，等覆盖补齐再给名次。
价格会影响名次吗？
不会。价格完全不参与评分和排序，只在「斩杀线」那张图上用来判断性价比。
差多少分才算真有差距？
按目前的分布估算，相差 3 分以上先后顺序基本稳定；相差不到 1 分的两个模型，换一套评测组合就可能互换。看名次时请连同分数一起看。
数据多久更新一次？
原始成绩跟着三家机构的更新节奏走，每天重采一次，采完立刻重算全榜。某一家抓不到时沿用它的上一份数据，其余照常结算，页面不会变成空白。
评分与名次由本站用四家机构的公开原始成绩自行折算，与任何一家现成的综合分都不完全相同。上面这些就是本站实际在跑的规则， 想核对某一项的具体成绩，到 评测来源 看它来自哪家、覆盖多少模型。