训练 V3 花了 280 万个 H800 卡时，推理一年烧掉一千五百多万个，是训练的六倍，按两年模型寿命摊是 12 倍。更狠的是 decode 阶段，一块卡只跑出 5% 的算力，瓶颈不在算力，在显存带宽。 https://x.com/i/article/2114651658743681024

推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力

这期是 YC 的 Paper Club，四个做推理的人轮流上台，讲的都是同一件事：模型训练完的那天，账才刚开始算。最硬的数字来自 DeepSeek，全世界也只有它把训练和推理的卡时都公开了。训练 V3 花了 280 万个 H800 卡时，现在推理每天烧 4.3 万个 H800 卡时。一年下来一千五百多万个卡时，是训练的五倍多。YC 的合伙人 Francois 干脆取整成六倍，再按两年模型寿命一摊，得出十二倍。也就是说，训练那 280 万个卡时只占这个模型一生总算力的十三分之一。

训练是一次性付款，推理按天续费

他顺手给了个佐证，过去十年 YC 投的推理相关公司做出了 2200 亿美元市值。这个数听着抽象，摊到成本结构上很直白。训练是一次性的，推理跟着用户数、对话轮数、上下文长度一起涨。模型活得越久，用的人越多，账就越往推理那边偏。所以他说，论文里横轴随手写 train flops 的习惯该改一改，全按 train flops 对齐，等于系统性地低估了推理那一侧。研究经费用在哪，方向就这么被带偏了。

他还补了一句现实的话，做推理这门生意，很多人连 COGS 是什么都不知道。听起来不过是一次 model forward，真做起来是把每一分钱从系统缝里抠出来。抠不出来，就是卖得越多亏得越多。

一块卡生成时只跑出 5%

他给的第一组数是 MFU，模型算力利用率。训练和 prefill 阶段能跑到 50%，到了 decode，也就是一个字一个字往外蹦的阶段，只剩 5%。英伟达卖你 H100 时说这块卡有 2 万亿次 FP8 运算，实际拿到一半就该庆祝。原因不复杂，decode 每生成一个 token，都要把整个模型权重从显存搬到计算单元。瓶颈落在显存带宽上，算力反而闲着。

DeepSeek 放出的数据中心数字能看出这条缝有多宽。prefill 单卡每秒 6 万 token，decode 单卡每秒 1.4 万 token，差了四倍多。如果输入缓存命中，prefill 能冲到每秒 150 万 token。首 token 400 毫秒，P99 一秒。落到体感上，你按下回车那一下很快，看着它一个字一个字往外吐，才是最贵的部分。

他用算术强度解释这条缝。从显存搬 4 个字节到片上，能做多少次运算。做图像、做扩散模型，一个权重反复用，算术强度很高。LLM 不一样，每生成一个 token，整个模型的权重全部过一遍，每个只用一次，算术强度低到难看。算力再富余也填不满，等的是搬运速度。

缓存命中 96%，靠的是三天不删

150 万 token 那个数，背后是个很土的手段。DeepSeek 把用户的 KV cache 留 72 小时，PB 级的存储铺在那儿。你在一个代码库上反复问 agent，前面的上下文一直热着，第二次就不用重算。你要是像家里长辈那样，每次开新对话问天气，缓存全废，prefill 每次从头跑一遍。

这条路上 SGLang 走得最早。2023 年底他们就在猜 agent 负载会长成什么样子，把上下文在显存里做成一棵树，共享前缀自动复用，论文里叫 radix attention。今年回头看，猜对了。他们的说法是缓存命中率从 95% 提到 99%，成本降五倍，因为省掉的是四倍算力，不是四个百分点。HiCache 那套分层缓存则把首 token 延迟压了 56%。

另一头是调度。卡越来越快，CPU 没变快，按老办法准备一个 batch 的时间，足够让 GPU 空转。他们改成把同步推迟一轮，batch 一个接一个连起来跑。Hopper 上提升 1.1 倍，到了 Blackwell 的 GB 机架能到 2 倍。DeepSeek 刚开源的 DeepInfer 里，也是这套零开销调度。

SSM 当年被判死刑，现在进了 Kimi

Dan Fu 是 Together 的研究负责人，他讲了一段自己被打脸的经历。读博时做 SSM，也就是状态空间模型，圈里的说法是这东西没人会用，死路一条，Transformer 会统治一切。结果今天 Kimi 那个模型里有一层叫 KDA 的东西，本质就是 SSM 的线性注意力层。稀疏注意力也被捡了回来。扩散语言模型当年听着更离谱，现在拿去做投机解码的草稿模型，是当下最好的选择。

他觉得最离谱的是 looped model，把 token 在同样的层里绕几圈，权重不变，训练算力却加上去了。他们实验室当时想，这想法怪，不会有人用，转头发现 OpenAI 和 Anthropic 都已经在用。他那句话挺提气，现在一个好想法做完实验，真的会出现在 GPT-6、GPT-7 里，从论文到上线的时间短得吓人。

省推理的钱大致三条路。模型结构这一条最戏剧性，MoE 只激活一部分专家，稀疏注意力和 MLA 在序列上做压缩，再加上量化和蒸馏，能砍的量级都在这里。第二条是 kernel 和运行时，flash attention 和 paged attention 这一批 kernel，加上从数据库和操作系统搬来的 radix attention。第三条在模型外面，管路由，管投机解码，管上下文压缩。Dan Fu 说他们干脆让 agent 自己去搜 kernel 的写法，跑成一个自我改进的循环。那个项目本来叫 Together Compiler，他后来发现它其实不是编译器，正在改名。

同一个模型，换个服务商就掉七成

Ollama 的 CEO Jeff 讲了一段更让人坐不住的话。大家都爱比开源模型落后闭源多少，真测下来，同一个开源模型，最差的服务商和最好的服务商之间的差距，比开源和闭源的差距还大。2024 年有人测过 31 个 Llama 端点，权重本该一模一样，有的输出离 GPT-3.5 比离另一个 Llama 还近。

原因列出来都是琐碎事。量化做过头，工具调用的 JSON 解析出错，权重版本不对，上下文窗口被偷偷截短，甚至有模型挂错名字，你以为在调 A，其实是 B。放在聊天里看不出来，放进 agent 就要命。单步 10% 的偏差，跑 15 步，一个普通的编码任务最后最高有 79% 的概率是错的。

所以 Moonshot 直接放了个 Kimi K2 的工具调用榜单，谁家解析不准自己上去看，Minimax 跟着做了同样的东西。Together 的办法更土，让模型在循环里一遍遍写 Flappy Bird，量化一旦出问题，鸟就不飞了。他们帮 Minimax 做 M3 的 NVFP4 量化，Minimax 自己的配方追不平 FP8 的质量，Together 的追平了。这一下直接决定那个模型能不能赚钱。

Jeff 还提了个容易被忽略的方向。今天的英伟达卡自带可信执行环境，能给正在跑的权重和推理栈出一份证明，相当于让服务商当场验明正身。他说这很前沿，这条路一旦通了，卖的就是信任。

38 美元一卡时，毛利还有 80%

录制前一天，DeepSeek 开源了自己的推理栈 DeepInfer。配套的说法是每卡每小时 38 美元，YC 那边按放出的数一算，毛利 80%。这个 80% 是从系统里抠出来的。把输入缓存命中做到 96%，把 KV cache 留满 72 小时，再用专家并行把 72 卡机架吃满。代价也很实在，一张卡挂掉，没有兜底，72 卡的算力就一起没了。

开源这一侧的量已经很吓人。Together 说他们一个月跑 400 万亿 token，是 Google 的八分之一，OpenRouter 上过半 token 走开源模型，有一天还超过了 OpenAI。同样质量的模型，价格最多能便宜十倍。Kimi 那个 3 万亿参数的模型，半字节一个参数，光权重就 1.5 TB，一张 B200 只有 280 GB 显存，只能切碎了摊到一堆卡上，怎么切本身就是钱。

回到那个 12 倍。推理的算力真是训练的十二倍，这场竞赛的胜负就主要看谁能把 token 卖得更便宜还不出错，训出更强的模型只是入场券。DeepSeek 把栈开源，把毛利摊在桌面上，等于给全行业定了个价。剩下值得问的是，当推理变成一门 38 美元一卡时的标准生意，按智能收费这件事还能撑多久。

更多硬核播客内容：Podwise