Andrew Curran· @AndrewCurran_ · X·· 2 小时前精选AI 评分70
AI 导读
一项名为 Weight-Space Programming 的研究让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力，仅改动 0.016% 的权重，不使用梯度或训练。在 50 次前向传播预算下，MATH-500 从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%，指令跟随基准 IFEval 从 21.0% 升至 62.3%。作者称 Astra 定位到模型重复输出的循环问题，在 layers 15 和 19 的 64 个 MLP 输出列上共改动 131,072 个权重值。
推荐理由
原文给出权重编辑的具体比例与基准提升数据，可了解不依赖梯度训练改模型行为的一条路径。
正文 · 原文
From the blog:
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/在 X 查看被引用的帖子
来源：Andrew Curran · x.com