复旦创智团队发布混合架构长文力学研究
热点事件观察中
复旦创智团队发布混合架构长文力学研究
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
复旦创智 OpenMOSS 邱锡鹏团队发表《混合架构的长文力学》，在 376M 至 3B 四种规模上比较全注意力（RoPE/NoPE）与滑窗注意力（SWA）、门控线性注意力（GLA/GDN）组成的混合架构。团队称，滑窗混合的长度外推更强，但扩长训练不如线性混合；线性混合则相反。 据此，团队提出滑窗线性注意力 SWLA，称其在 RULER NIAH-SK1 上从 4k 训练外推到 64k 仍保持 100% 准确率。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 12:00
复旦创智 OpenMOSS 团队研究：混合架构该用线性注意力还是滑窗注意力？答案是全都要报道时间线
沿着报道，了解事件的不同侧面。
11月1日
- 机器之心复旦创智 OpenMOSS 团队研究：混合架构该用线性注意力还是滑窗注意力？答案是全都要
复旦创智邱锡鹏团队发表《混合架构的长文力学》，在 376M 至 3B 四种规模上比较 RoPE/NoPE 全注意力与滑窗注意力（SWA）、GLA/GDN 门控线性注意力的混合架构。研究发现滑窗混合长度外推更强但扩长训练不如线性混合，线性混合则相反；团队提出 SWLA 滑窗线性注意力，在 RULER NIAH-SK1 上从 4k 训练外推到 64k 保持 100% 准确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。