Sherlock Xu 撰写的开源手册 LLM Inference Handbook 由 Modular 托管在 handbook.modular.com,也可在 ChapterPal 阅读,面向在生产中部署、推理、扩容和运维 LLM 的工程师。
手册把推理与服务拆开讲,并给出显存、成本估算和按负载选批处理与部署的取舍依据。
https://x.com/i/article/2123338686544883712
LLM 推理手册:免费在线阅读,交互工具算显存和成本,按负载选择批处理、缓存与部署方式
Sherlock Xu 撰写的开源手册「LLM Inference Handbook」,由 Modular 托管在 handbook.modular.com,也可以在 ChapterPal 上阅读。面向在生产里部署、推理、扩容和运维 LLM 的工程师,既可从头读,也可当查阅手册,并会随这个领域一起更新。
作者的写作出发点:推理知识散落在论文、厂商博客、GitHub issue 和讨论区里,而且常常默认读者已经熟悉半个技术栈。很少有人把这几件事放在一起讲清楚——训练和推理有什么差别,为什么看服务质量时 goodput 比裸吞吐量更有用,以及 prefill 和 decode 拆开部署在实际系统里是怎么做的。
全书大致分成七个部分:基础概念、部署规划、模型准备、模型交互、推理优化、内核优化,以及基础设施与运维。中间还配了二十多个交互工具,用来走一遍请求生命周期、估算显存和成本、比较批处理策略,或观察 GPU 上的执行和显存层次。
先分清计算和服务,再选对指标
手册把推理和对外服务分开来讲。推理是模型的前向计算:token 进去,再经过 prefill 和 decode 循环,得到下一个 token 的分布。这套计算在笔记本里也能跑。服务则是把它变成可靠的生产接口,包括 HTTP 或 gRPC、排队和调度、跨请求批处理、副本间的负载均衡、扩缩容、模型加载和版本管理、健康检查和观测。现在的框架往往两边都做,vLLM、SGLang、MAX、TensorRT LLM 既跑推理,也管请求和接口,所以日常里这两个词常被混用。可一旦开始设计基础设施,这个差别就重要了。
指标部分写得很细。延迟要看首字延迟 TTFT、端到端延迟 E2EL,以及每个后续输出 token 的间隔 TPOT 或 ITL。多请求汇总时,平均 TPOT 按请求等权,平均 ITL 按 token 加权,读评测时得先看清定义。吞吐量有每秒请求数,也有每秒 token 数;后者还要分清是输入、输出,还是合在一起。TPS 容易被读偏:提示变短、批次变大,数字都会变好看,可单用户的等待也可能变长。
他们特别强调 goodput:只有达到延迟目标的请求才算数。比如聊天服务可以把目标定成 95% 的请求 TTFT 低于 200 毫秒。不同负载该盯的指标也不一样。
手册给的体感参考是:聊天可能希望 TTFT 在 500 毫秒以内,代码补全可能要压到 100 毫秒;一份隔天再看的长报告,即使 30 秒也未必成问题。可调的旋钮包括数据并行、张量并行、专家并行、批次大小、精度,以及是否把 prefill 和 decode 拆开。合适的配置,是能满足这套负载的服务质量目标,不必一味追求最高吞吐或最低延迟。
部署是一组连在一起的选择
在动手跑模型之前,手册先让读者做一组相互牵动的决定:用无服务器 API 还是自建,选什么模型,配什么 GPU,显存够不够,用哪套推理框架,以及要不要走 BYOC 或本地机房。
无服务器 API 上手快,硬件和扩容都不用自己管,适合原型和早期验证;用量一大,按 token 计费会线性涨上去,对延迟、隐私和定制的控制也更有限。自建能把数据和调优留在自己的环境里,也可以上前缀缓存、投机解码、prefill 和 decode 拆分这类优化,但要把搭建、观测、传输存储、冗余和冷启动一并算进去。手册的建议是:早期可以用 API 尽快验证,等性能、隐私和差异化变得关键,再把推理层收回到自己手里。中间形态还有 BYOC,也就是把厂商管理的软件跑在自己的云账号里,在托管编排和数据、安全、成本控制之间折中;本地机房则更适合数据敏感、负载比较稳定的场景,代价是硬件投入和专业运维。
显存部分给了一个粗算:Memory (GB) = P × (Q / 8) × (1 + Overhead)。P 是以十亿计的参数量,Q 是位宽。一个 70 亿参数、FP16 的模型,光权重大约要 14 GB,看起来能放进 16 GB 显卡,可上下文一长、并发一上,KV 缓存和临时缓冲就会把余量吃光。百分之十到三十的余量只是快捷估算,长上下文往往要留得更多。还要注意精度和硬件是否匹配:A100 这类 Ampere 显卡能跑 INT8,但没有硬件 FP8,原生 FP8 需要 Hopper、Ada 或更新的架构。
自建成本也不能只看卡费。手册按 2026 年 10 月 AWS 上 8 张 H100 的 p5.48xlarge 容量预留标价举例:美国东部大约每小时 47.76 美元,全天跑的话一台大约每月 3.49 万美元。如果真实流量能稳定跑到每秒 1 万个 token,每小时处理 3600 万个 token,每百万 token 大约 1.33 美元;平均利用率只有三成,就会升到大约 4.42 美元。工程搭建、升级维护、值班和闲置时间,往往决定自建是否真的更便宜。比较时要用接近真实流量的持续吞吐,不要拿峰值跑分去对 API 单价。
优化要按负载来选
优化的前提是:能在演示里跑起来的方案,到了真实流量下,队列一拉长,延迟就会上去,吞吐也可能提前封顶,成本比预想涨得更快。如果用的是无服务器接口,这些取舍仍会反映在价格、限流和响应时间上;如果是自建,就要按自己的负载去调,别直接接受运行时的默认行为。
连续批处理是现在的主流做法。静态批处理要凑满固定数量才开跑,动态批处理按时间窗口收集请求,两者都会让短请求等到最长的那条结束。连续批处理按每次解码迭代调整批次,谁先结束谁就让位给新请求。新来的长提示如果一次做完整个 prefill,又会打断正在输出的请求。于是可以用 chunked prefill,把提示切成小段,和正在解码的 token 放在同一批里跑。注意计算不变,只是调度变了;代价是首字延迟可能变长,尤其是切得比较碎的时候。
PagedAttention 要解决的,是服务层怎么给 KV 缓存分配显存。早期引擎常按最长序列为每个请求预留一整块连续空间,原论文测到真正用来存放 token 状态的,往往只有 20.4% 到 38.2%。它改成按块分配、用查找表管理,块还可以在不同输出之间共享,浪费可以降到接近零。这一层分配做好了,连续批处理、前缀缓存和 KV 缓存卸载也更容易组合到一起。vLLM 先实现了它,后来 MAX 等框架也跟了上来。
前缀缓存是把不同请求里相同的提示前缀对应的 KV 状态留下来复用,和单次请求内部的 KV 缓存不是一回事。系统设计提示时,尽量让可复用的前缀稳定出现在前面,命中率会高很多。投机解码用更快的草稿模型先猜接下来的 token,再由目标模型并行校验,输出可以保持不变,但要盯接受率、额外显存和可能被浪费的计算。prefill 偏计算,decode 偏显存带宽,拆到不同机器上,可以分别优化首字延迟和后续间隔,也能避免一次很长的 prefill 拖住所有正在输出的请求。
手册同时写了限制:他们的测试里,如果负载偏小或硬件没调好,性能反而可能下降 20% 到 30%;前缀缓存命中很高,或提示本身不长时,在 decode 节点本地做 prefill 往往更简单;KV 缓存还得在两类节点之间快速搬运,布局、块大小和数据类型也必须一致。vLLM、SGLang、MAX、Dynamo 和 llm-d 都已支持这种拆分。
再往外,是感知缓存和队列的路由、把暂时不用的 KV 缓存卸到 CPU 内存或磁盘,以及数据、张量、流水线和专家并行。再往下,是 GPU 内核、显存层次、Tensor Core 和 FlashAttention。手册对写自定义内核比较克制:大多数团队应先用框架和厂商库里已有的实现,只有瓶颈足够大、现成工具又覆盖不好时,再考虑编译器、Triton,或手写 CUDA。章节里也会介绍 Modular 的 Mojo 和 MAX,作为另一条同时要内核控制力和硬件可移植性的路径;读的时候把它和 vLLM、SGLang 等并列的框架说明分开看就好。
模型怎么准备,请求怎么进来
模型准备覆盖微调、量化和蒸馏:减小精度或训练更小的学生模型,往往是为了把显存、延迟和并发成本降下来,同时接受一定的精度取舍。交互一侧则从兼容 OpenAI 或 Anthropic 的接口讲起,再到函数调用、结构化输出、Model Context Protocol、提示词和推理参数。
Agent 这一章把关系写成 Agent = Model + Harness。运行框架负责会话状态、工具、执行、反馈、安全和何时停下来。函数调用只是让模型提出要做什么,MCP 则是连接工具和数据源的协议,真正跑循环、把结果送回去、决定继续还是结束的,还是运行框架。缺少这一层时,常见问题是循环停不下来、上下文被日志和工具结果挤满、不该碰到的系统被直接调用,以及没有外部检查就报告完成。模型变强可以少犯一些错,但替代不了控制流、权限和验证。
最后一部分回到生产基础设施:通用云栈很难直接套用,因为推理带着有状态的缓存、不均匀的请求和较慢的启动。内容包括分布式推理、针对 TTFT 和缓存压力的观测、扩缩容和冷启动、多模型流水线、跨云跨区域,以及可重复发布、滚动更新和自动回滚这类 InferenceOps 做法。
来源:meng shao · x.com