热点事件持续更新

腾讯论文：按神经元剪枝MoE可保留九成性能

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

腾讯发表论文提出 RAMP 方法，按神经元对路由的贡献打分，跨所有专家剪枝，而非直接删掉整个专家。论文称，MoE 模型的数学、编程等技能分散在跨专家的零散神经元中，因此按神经元剪枝能在缩小模型的同时保留大部分能力。在 6 个模型的实验中，剪掉最无用的 25% 神经元后，这些模型保留了 91%-98% 的原始性能；剪掉 50% 神经元时，GPU 显存下降 36%-43%，批量 prefill 吞吐提升 17%-39%。上述结果均为论文实验数据。

AI 根据报道生成 · 9 小时前更新

最新进展11月14日 00:37

腾讯论文：MoE 模型按神经元剪枝可保留 91%-98% 性能

报道时间线

沿着报道，了解事件的不同侧面。

11月14日

00:37
Rohan Paul (X)
腾讯论文：MoE 模型按神经元剪枝可保留 91%-98% 性能
腾讯论文发现 MoE 模型的数学、编程等领域技能分散在跨专家的零散神经元中，因此按神经元而非整个专家剪枝，能在缩小模型的同时保留大部分能力。他们用 RAMP 给每个神经元的路由贡献打分，剪掉最无用的 25% 神经元后，6 个模型仍保留 91%-98% 的原始性能。剪掉 50% 神经元时，GPU 显存下降 36%-43%，批量 prefill 吞吐提升 17%-39%。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1011月14日 01:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。