清华滴滴提出JANUS框架缓解大模型灾难性遗忘
热点事件持续更新
清华滴滴提出JANUS框架缓解大模型灾难性遗忘
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
清华大学与滴滴自动驾驶联合提出 JANUS 框架,通过训练后矫正技术缓解大语言模型的灾难性遗忘问题。该方案不改动原有微调流程,仅对已完成微调的模型进行后处理,利用参数空间正交条件及雅可比零空间投影恢复旧知识。 针对大模型在持续学习中容易遗忘先前知识的挑战,JANUS 将子空间正交约束改写为 Tr(ΔW·M)=0 的形式,并引入多步自适应矫正机制。这一方法旨在以非侵入式的方式提升模型的知识保留能力。
AI 根据报道生成 · 25 分钟前更新
最新进展11月22日 07:01
清华与滴滴提出 JANUS 框架,用训练后矫正缓解大模型灾难性遗忘报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- 机器之心清华与滴滴提出 JANUS 框架,用训练后矫正缓解大模型灾难性遗忘
清华大学与滴滴自动驾驶联合提出 JANUS 框架,不改动原有微调流程,只对已完成微调的模型做后处理矫正,以缓解灾难性遗忘。该方法把子空间正交约束改写为参数空间正交条件 Tr(ΔW·M)=0,并通过雅可比零空间投影与多步自适应矫正恢复旧知识。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。