Airbnb 实测：专用小模型如何以约 1% 推理成本，达到前沿模型的分类水平

来自 @AirbnbEng 分享：在一个高频、实时的内容审核任务上，Airbnb 微调的小模型取得了接近前沿模型的分类效果，延迟不到 100 毫秒，高流量下推理服务成本约为前沿 API 的 1%。关键条件是任务明确、数据充足、调用量大，而不是小模型全面追上了大模型。
https://airbnb.tech/ai-ml/frontier-quality-at-1-of-the-cost-a-production-benchmark-of-llm-classifiers/

比的是什么任务

任务是判断用户内容是否违反价格与付款透明政策，每分钟处理数千次请求，要求在 200 毫秒内返回分数。误拦会阻止正常内容发布，因此精确率尤其重要。

评测使用 1 万条留出样本，并通过权重校正抽样与生产流量的差异。部分模型还在 18.4 万条样本上复核，F1 差异不到 0.01。主要指标是综合精确率与召回率的 F1；能够输出分数的模型，会扫描阈值取最佳结果。

小模型靠什么追上

Airbnb 用数十万条去标识化的领域样本，微调了约 20 亿有效参数的 Gemma4-E2B。微调后，F1 从 0.563 提升至 0.902，与最好的专有模型相当；延迟中位数为 35 毫秒，p99 约 85 毫秒。相比之下，前沿 API 在低思考模式下，中位延迟约为 900 毫秒。

它还能输出概率，让业务方调整阈值，在漏检与误拦之间取舍。文章也给前沿模型使用了更详细的提示词，质量提升约 1—3 个百分点、大致追平微调模型，但延迟和费用进一步增加。这里使用的是领域微调，文章没有说采用了蒸馏。

「约 1% 成本」有条件

比较的是高流量下，一张自托管 GPU 的公开租用费，与前沿 API 按公开标价计算的 token 费用。API 侧还计入了缓存折扣。

这不是完整总成本：训练、标注、开发、运维和冗余备份都没有计入。流量不足时，专用 GPU 闲着也要付费；每分钟低于约 15—30 次请求时，文中比较的部分前沿 API 反而更便宜。