NVIDIA 公布 DGX Spark 上 MoE 推理三项优化

NVIDIA 发布技术博客，介绍在单台 DGX Spark 上加速 MoE 推理的三种优化方法，并称蚂蚁 inclusionAI 的 Ling-3.0-flash（124B 总参数、5.1B 激活参数）吞吐提升 42.5%。 这些优化针对单台 DGX Spark（GB10、128 GB 统一内存、273 GB/s）且 batch size 为 1 的场景。其中 FP8 LM head 需设置 SGLANG_ENABLE_FP8_LM_HEAD=1 开启，不能与基线 --enable-fp32-lm-head 选项同时使用；FP8 LM head 与 MTP 同时开启时，draft 须共享完整 LM-head 模块。 上述提升幅度为 NVIDIA 博客中的说法，报道未给出独立验证结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。