英伟达工程师用1.2万行Megakernel优化Kimi K3推理

英伟达CentML工程师Benjamin Chislett用1.2万行CuTe DSL编写Megakernel，优化月之暗面Kimi K3的推理。据vLLM博客报告，batch 1下解码速度超过840 tokens/s，多个配置下解码吞吐提升1.5至2倍；SemiAnalysis测算其在GB300 NVL72上达到423 tok/s/user、提升1.68倍。 报道称，AI写代码的速度已超过人类审查速度。上述性能数字来自vLLM博客与SemiAnalysis的测算，并非独立验证结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。