Airbnb 生产评测：微调小分类器对标前沿质量，高流量下成本约 1%

@AirbnbEng 工程博客写了一项自家生产分类任务的对照：用内部框架 GLOWC 把开源小模型微调成分类器，再和开源基座、前沿 API 比质量、时延和费用。
https://airbnb.tech/ai-ml/frontier-quality-at-1-of-the-cost-a-production-benchmark-of-llm-classifiers/

测的是什么、怎么比

场景不是开放问答，而是实时拦截：筛查内容是否违反「定价与支付透明度」政策。误报会拦下本可发布的内容，因此要高精度；线上每分钟调用达数千次，必须在 200 毫秒内给出可设阈值的分数。

对照模型是微调后的 Gemma4-E2B。评测用 1 万条按生产流量加权的留出样本。开源模型部署在单张 RTX Pro 6000 上，默认和对照共用大约 400 词的简明提示。质量看最高 F1：能打分的模型扫阈值取最佳结果，只输出是或否的模型则直接报判定的 F1。

质量、时延和「1%」比的是什么

未微调的开源模型虽然够快，质量明显偏低。GPT-6.1 Sol、Claude Sonnet 5.5 即使少思考，中位时延大约 900 毫秒，p99 可达数秒，远超预算。简明提示下，Sol 精确率大约 0.82、召回率大约 0.96，偏召回，而这项任务更怕误杀。

微调把 Gemma4-E2B 的 F1 从 0.563 提到 0.902，与最好的专有模型相当，中位时延大约 35 毫秒，p99 大约 85 毫秒。提示加长到大约 2700 词后，专有生成模型大约还能再涨 1 到 3 个点，但时延和费用更高；能赶上时延预算的模型，靠加长提示也补不上质量缺口。

「~1%」指每分钟数千次的高流量下，按 2026 年 10 月公开标价估算，简明提示的前沿 API 费用大约是单卡自建的两个数量级。计算还假设了 71% 的缓存命中率，高于实测，也不含议价折扣。更便宜的专有方案仍大约是单卡的近 5 倍，准确率还不如微调器。流量大约低于每分钟 15 到 30 次时，Sonnet 5.5 和 Sol 才可能比专属 GPU 更便宜。