斯坦福与伯克利发布TokenGate长上下文预填充模块

斯坦福与UC Berkeley研究者发布TokenGate，一种面向长上下文预填充的可学习token剪枝模块。研究称，该模块在Qwen3-1.7B等模型上把首token延迟（TTFT）加快1.4倍至11.3倍，峰值预填充显存降低1.5倍至3.4倍，且不损失精度。 代码与检查点已在GitHub以Apache-2.0发布，运行需Python 3.10+和CUDA PyTorch 2.9+。可选的FlashAttention-2 key-bias内核用于加速稠密Qwen3，调用开销为普通调用的1.0至1.1倍；不启用该内核时，推理回退到FlexAttention。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。