英伟达 SEED 让浅层写出深层记忆,每 GPU 吞吐最高提升 42%
英伟达研究者提出 SEED 方法,在混合架构大模型上让除最后一个以外的输入 token 只运行前 31 层,再由轻量 emitters 为后续 17 层生成 KV Cache 和循环状态,生成阶段仍走完整网络。
英伟达研究者提出 SEED 方法,在混合架构大模型上让除最后一个以外的输入 token 只运行前 31 层,再由轻量 emitters 为后续 17 层生成 KV Cache 和循环状态,生成阶段仍走完整网络。
New Stanford paper finds that all 8 LLMs tested rank their own medical answers higher than other models rank them, even when answers are anonymous. Medical AI benchmarks often use LLMs to grade other LLMs' answers. If a judge favors its own outputs, the benchmark tilts toward that model. They had 8 models from OpenAI, Anthropic, Google and Qwen answer 620 real clinician questions, then rank all 8 anonymous answers. They compared where each judge placed its own answer with where the other 7 judges placed that same answer. Every judge favored its own answer, by 1.22 rank positions on average and nearly 3 for GPT-5.6 Sol. The bias held without a rubric, and revealing model names cut it by only 0.094 positions. If you use LLM judges, use a panel from several model families and report results per judge instead of 1 pooled score.
UIUC等机构提出Ask-to-Distill框架,通过强化学习优化合成问题生成器,在不依赖标准答案的情况下提升知识蒸馏效率。实验显示该方法在数学推理、代码生成及智能体任务中均取得最优性能,Qwen3-4B学生模型在LiveCodeBench上成绩超越教师参考值。A2D生成的问题使回答长度减少约20%,同时累计学习信号增加约28%。
香港大学团队揭示 GRPO 存在阻碍探索与难度适应的“隐式优势对称性”,并据此提出非对称组相对优势估计算法 A-GRAE。该算法在 Qwen2.5-Math-7B 等基座模型上验证,于 AIME2025 基准将 DAPO+A-GRAE 表现提升至 53.3%,同时显著增强模型探索能力与回答多样性,代码已开源。
伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合发布论文,提出隐空间稀疏注意力 LSA,在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,精度与原模型相近。
推荐理由:论文指出超长上下文下索引器占 prefill 时间 98%,并给出按语义聚类把索引降到 O(T log T) 的路径。
MIT韩松团队公布机器人后训练项目PEAR,基于开源Qwen3.8-27B,不用人类遥操演示和真机数据,只在仿真环境做强化学习,训完直接部署到此前未见过的双臂YAM真机,30次测试成功18次,训练前为0次。
推荐理由:韩松团队用纯仿真强化学习把27B千问模型接到真机机械臂上,并给出扰动基准下的对比数据。
浙江大学一篇论文显示,在 ALFWorld 上单独执行任务成功率仅 42.9% 的决策模型 JEV,作为步骤评分器可把 Qwen2.5-1.5B 策略的成功率从 72.8% 提升到 82.9%。

斯坦福研究团队开源 Memorilla,一个 194M 参数的可训练记忆模块,把整个文档集合压缩成 16 个记忆 token 注入冻结的 Qwen3-8B。在 FactKG 上它取得 84.33% 准确率,高于全上下文方案的 80.43%,文档 token 用量少 108 倍;8 个基准平均分 49.68,为报告中的最高值。
上海科学智能研究院联合上海创智学院、复旦大学开源记忆模块REMORY,仅1.9B可训练参数、两张H800完成完全自监督训练,基模权重冻结。
推荐理由:原文给出记忆模块的训练方式与多项评测对照数据,可据此判断长任务中上下文压缩后的记忆接续思路。
腾讯优图实验室、上海交通大学和厦门大学团队提出并行推测解码方法 DSpine,通过逐层注入紧邻前驱的预测特征补齐因果依赖,在 Qwen3-4B 和 Qwen3-8B 的 28 组接受长度与 40 组 SGLang 服务吞吐评测中全部第一。
苹果研究团队公开名为 HALO 的人形机器人研究,用宇树 G1 作身体、背驮 Mac mini M4 Pro 本地运行千问模型,在 6 个未扫描的真实家庭中完成 360 次测试,平均成功率 91%。

推荐理由:苹果 HALO 用仿真合成替代人力采集 VLA 数据,读者可据此理解具身智能数据瓶颈的一种规模化解法。
阿里巴巴与多所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户变更请求,要求智能体改造现有 Web 应用,并支持图像、音频、视频和文档输入。

无涯智远创始人张牧涵团队针对 MIT CSAIL 博客《Sparks of Weight-Space Programming》中 GPT-6 Astra 改动 Qwen3.5-0.8B 约 0.016% 权重、把 MATH-500 从 7.9% 提到 48.1% 的结果做了对照实验:不改权重、仅关闭思考模式,同一模型准确率即为 48.95%。
Nous Research 对阿里 Qwen3.8-27B 做约 5300 万 token 的监督微调,得到开源权重模型 Arete-27B,其倾向性回答比例从 22% 降到 0.9%,事实准确度从 2.32 升到 2.98。

推荐理由:Nous 用 5300 万 token 监督微调把 Qwen3.8-27B 的倾向性回答比例从 22% 降到 0.9%,并公开权重与测试数据。
苹果研究团队在 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露人形机器人自主控制系统 HALO,并公开数据生成、模型训练和部署代码。

研究团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取和生成模型权重,无需常规训练。在 Qwen3.5-0.8B 上 Astra 只改动 0.016% 的权重,MATH-500 准确率从 7.9% 升至 48.1%,指令遵循从 21% 升至 62%。
MIT CSAIL 提出 Weight-Space Programming,让 GPT-6 Astra 读取 Qwen3.5-0.8B 的内部权重,定位导致重复推理的参数方向并直接修改。

同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》
MIT CSAIL 研究人员公布八项实验,测试 GPT-6 Astra 直接读写神经网络权重的能力,并将该方法称为权重空间编程。


We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》
Simon Willison 实测发现,本地笔记本运行的 Qwen 3.8 27B 能仅凭原始权重数值判断神经网络训练的是哪款游戏,无需代码执行或工具。在 Breakout、Pong、Pac-Man 三个提示上分别耗时 52m 25s、1h 4m 54s、46m 12s 给出正确答案,Freeway 提示则失败。
MIT CSAIL 团队提出「权重空间编程」,让 GPT-6 Astra 在不训练、不算梯度的情况下直接读写神经网络权重。Astra 只改动 Qwen3.5-0.8B 约 0.016% 的权重,就把 MATH-500 准确率从 7.9% 提升到 48.1%,GSM8K 从 13.8% 升到 67.1%,IFEval 从 21.0% 升到 62.3%。
MIT 研究人员发布研究,显示 OpenAI 的 GPT-6 Astra 能通过直接改写模型权重来改进部分 AI 模型,而无需再训练。阿里的小型 Qwen 模型数学成绩原为 7.9%,Astra 只改动 0.016% 的权重抑制重复输出后升至 48.1%;同样方法对缺乏单一缺陷的 Gemma 3 几乎没有效果。作者称该能力未来或可用于让 AI 升级自身、按需增删其他模型技能或检查隐藏问题。

推荐理由:材料给出了权重改写前后的具体分数对比,可据此理解免训练模型改进的边界与局限。
MIT CSAIL 研究团队展示「权重空间编程」,让 GPT-6 Astra 直接读取并修改神经网络权重,仅改动 Qwen3.5-0.8B 的 131072 个参数(约 0.016%),使其 MATH-500 成绩从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。

同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》

Qwen3.5-0.8B often spent 32K tokens on a math problem without reaching an answer. In an MIT study, GPT-6 Astra traced the loops to two layers and edited 0.016% of Qwen’s weights. With sampling held fixed, its MATH-500 score rose from 7.9% to 48.1%. https://latent.space/p/ainews-llms-can-read-write-neural-network-weights-weight-space-programming-cuts-autoresearch-out-of/

We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
京东零售视觉多模态与 AIGC 团队联合南京大学提出 Road MOPD,让多位教师共同评价学生的同一份回答,通过跨教师反馈增强共识信号、削减冲突梯度分量。在 Qwen3-4B 上,数学+医学、代码+医学两组高冲突设置相较 Vanilla MOPD 实现双域共同提升,医学均分最高提高 8.78 个百分点。数学+代码组合也分别提升 1.61 和 1.83 个百分点。
MIT CSAIL 团队让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重,在未重新训练的情况下把 MATH-500 成绩从 7.9% 提升到 48.1%。

MIT 的实验让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重、不使用梯度和训练,MATH-500 得分从 7.9% 升到 48.1%,指令执行能力也提高 3 倍。

推荐理由:实验展示了前沿模型直接读写小模型权重的新路径,读者可据此理解免梯度修改模型行为的思路与边界。
MIT CSAIL 研究人员提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数(131072 个),就把 MATH-500 成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%,全程未使用梯度下降或传统训练循环。

同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
MIT CSAIL 研究者提出「Weight-Space Programming(权重空间编程)」,让 GPT-6 Astra 不靠梯度、不写训练循环,直接读取或修改神经网络权重。

We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
MIT CSAIL 团队公布早期实验,让 GPT-6 Astra 通过自然语言直接读取和修改神经网络权重,并将这种方式称为 Weight-Space Programming(权重空间编程)。
推荐理由:MIT CSAIL 的实验显示大模型可直接读写神经网络权重,为机制可解释性和模型优化提供了一条不依赖梯度的路径。
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/
开发者 Vixhal 在 GitHub 以 MIT 协议发布实验性模型 qwenGPU,把 4 通道 SIMT GPU 编译成 45 个未训练层,接在 Qwen3.5-2B 自身 24 层之前,总层数 69。