跳到正文
歸藏(guizang.ai)· @op7418 · X·· 2 小时前同事件AI 评分82
AI 导读

歸藏转述 MIT CSAIL 团队的研究:用 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的参数,就在不重新训练、不做后训练和强化学习的情况下把数学能力提升至多 6 倍、指令跟随提升 3 倍。作者认为这提供了像编程一样编写模型权重的新范式,可用于释放模型已有能力、移植控制与对齐策略、重组计算路径,小模型能力有望因此明显提升。

同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

正文 · 原文

昨晚推上 AI 圈最热门的研究:

我们可能可以像编程一样,让 AI 编写 AI 模型的模型权重文件了。

MIT CSAIL 团队团队用 GPT-6 Astra 直接编辑了 Qwen 0.8B 模型的权重,大幅提升了它的数学能力。

他们仅更改了 0.016% 权重的情况下,将数学能力提高了 6 倍,指令跟随能力提高了 3 倍。

没有进行重新训练,也没有进行后训练和强化学习,只是直接更改了它的参数。

这带来了一个非常新的范式,对模型的可解释性有了大幅提升,也就是说我们可能可以不通过训练,直接提高模型能力。

特别大的模型由于参数量太大,可能会比较麻烦,但小模型在未来一段时间内能力会大幅提升。

具体有这么几个方向:

释放它已有的能力,比如实验里改善的千问 0.8B 出现重复推理、频繁触及思考长度上限的问题。

将某种控制策略直接移植到模型里面去。模型的控制和对齐是非常难的事,现在可以直接硬性控制它。

重新组织计算。用更有效的计算路径,替换模型训练出来的低效策略。

相当于给模型训练和控制做了一套编程体系,这个想象力太大了。

引用Rikiya Takehi@rikiyatakehi
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
在 X 查看被引用的帖子

来源:歸藏(guizang.ai) · x.com