研究：深度增长与循环模型如何影响上下文学习

一项研究探讨循环与深度增长语言模型对上下文学习的影响。在 3B 参数规模下，深度增长和循环模型在 GSM8K 各演示数量下均高于同深度稠密模型，并能更准确预测未见形式语言。 受控任务中，这类模型更早习得上下文学习；当上下文与权重记忆标签均可解题时，它们持续依赖上下文。机制体现在注意力头上：复制层增长深度会复制早期归纳头，多数最强最终头源自少数早期祖先，循环模型在共享块多次传递中呈现相同重复模式。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。