跳到正文
热点事件观察中

清华北大揭示大模型巨大激活与梯度汇聚机制

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

清华大学与北京大学团队在 NeurIPS 2026 接收的研究中,揭示了 Transformer 中注意力汇聚引发反向传播梯度汇聚的机制。研究指出,巨大激活通过 RMSNorm 衰减局部集中的梯度,起到自适应调节作用。 该团队提出 V-scale 干预方法验证了这一机制,实验结果显示该方法显著缓解了首 Token 的巨大激活现象。

AI 根据报道生成 · 21 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. 机器之心
    清华北大研究揭示大模型巨大激活的梯度调节机制

    清华大学、北京大学团队在 NeurIPS 2026 接收的研究中发现,Transformer 中的注意力汇聚会引发反向传播的梯度汇聚。巨大激活通过 RMSNorm 衰减局部集中的梯度,起到自适应调节作用。研究提出 V-scale 干预验证了该机制,显著缓解了首 Token 的巨大激活现象。

本事件热度走势

可比范围当前
5
可比范围峰值
811月21日 07:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。