跳到正文
meng shao· @shao__meng · X·· 4 天前AI 评分58
AI 导读

Meta AI RAM 团队提出 Self-Improving Memory,让语言模型自己发现记忆使用策略,再把技能蒸馏进权重。

正文 · 原文

Meta AI 提出自我改进记忆:先优化记忆提示,再把技能训进模型

Meta AI RAM 团队提出 Self-Improving Memory,想让语言模型在持续任务中越做越好。关键不是把全部历史塞进上下文,而是学会怎么写记忆、怎么组织,以及何时再读回来。他们用同一套模型 Kimi-K2.6,既当任务 agent,也当改提示的元 agent。

在他们的设定里,每个子任务都从空白上下文开始,能跨任务留下的只有一个持续存在的记忆目录,模型用文件工具读写。通用配套只给简短的 LOAD 和 OFFLOAD 指示:任务前读取相关信息,任务后把学到的内容写回去,具体策略交给模型自己决定。
https://facebookresearch.github.io/RAM/blogs/self_improving_memory/

没有一种手写记忆策略能通吃

他们在 Continual Learning Bench 的 Database、Codebase 和 Spectrum 三项任务上比较了几种常见的手写记忆设计,比如摘要、检索、技能库和假设跟踪。结果显示,没有一种策略在三项任务上都最好。因此,记忆该怎么用,不宜预先写成统一规则,更适合让模型按任务自己发现。

先发现更好的提示,再蒸馏进权重

方法分成两步。第一步是优化运行配套:元 agent 阅读任务轨迹、分数和最终记忆目录,找出记忆使用上的问题,改写 LOAD 和 OFFLOAD 提示;新提示会在留出集上评估,只保留分数更好的版本继续改。搜索从几种人手写的种子提示出发,每轮选出靠前的设计再修订。

第二步是配套蒸馏。用得分最高的提示跑训练子任务,记录模型的回答、推理和工具调用,再把记录里的优化提示换回通用提示,用这些轨迹做微调。损失只落在模型自己的输出上。这样训练完成后,模型在只用通用提示时,也能部分复现那些更好的记忆行为,例如把仓库说明、可复用修复和模式事实分文件存放,并在改代码前先跑测试。

提示上的增益,只有一部分进了权重

在三项任务上,自动优化后的提示平均分为 56.0,比各任务上最好的手写提示高 11.4 分,比通用提示高 19.9 分,Codebase 上提升最大。微调之后,模型只用通用提示,测试均分为 43.1,比在通用轨迹上微调的 37.6 高 5.5 分。也就是说,更好的提示带来的能力,有一部分被写进了权重,但并没有全部留下。

搜索本身也说明,提议还要靠评估来筛选:在已完成的搜索里,44 次修订中有 37 次没能超过此前最好成绩。Codebase 的例子更具体:一开始只做大段摘要,笔记越写越臃肿,分数几乎没有提升;改成复用已记录路径、保留失败规则后,分数明显上升;再加上精简的快速入门、带索引的修复登记表和分开存放的修复文件,效果继续变好。

引用Jason Weston@jaseweston
Introducing: Self-Improving Memory 🧠✨📈 We let the model discover its own memory skills, then train them into its weights: - Meta-optimizes memory from the model's own runs with large gains. - Distilling these gains works too. Blog post: 📝 https://facebookresearch.github.io/RAM/blogs/self_improving_memory 🧵1/6
在 X 查看被引用的帖子

来源:meng shao · x.com