跳到正文
11月19日周四
11月18日周三
  1. Turing Post (Ksenia Se)68

    斯坦福一项论文让 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型回答 620 个真实临床问题,再匿名互评,发现每个评委都偏好自己的答案,平均排名高出 1.22 位,GPT-5.6 Sol 接近 3 位。作者指出,医疗 AI 基准常用 LLM 给 LLM 打分,评委偏好自身输出会让基准偏向该模型;即使去掉评分细则,这种偏好依然存在,公开模型名称也只让偏差缩小 0.094 位。作者建议使用跨模型家族的评委小组,并按评委分别报告结果。

    引用Rohan Paul@rohanpaul_ai

    New Stanford paper finds that all 8 LLMs tested rank their own medical answers higher than other models rank them, even when answers are anonymous. Medical AI benchmarks often use LLMs to grade other LLMs' answers. If a judge favors its own outputs, the benchmark tilts toward that model. They had 8 models from OpenAI, Anthropic, Google and Qwen answer 620 real clinician questions, then rank all 8 anonymous answers. They compared where each judge placed its own answer with where the other 7 judges placed that same answer. Every judge favored its own answer, by 1.22 rank positions on average and nearly 3 for GPT-5.6 Sol. The bias held without a rubric, and revealing model names cut it by only 0.094 positions. If you use LLM judges, use a panel from several model families and report results per judge instead of 1 pooled score.

  2. 机器之心38

    UIUC等提出Ask to Distill,让大模型学会向老师提问

    UIUC等机构提出Ask-to-Distill框架,通过强化学习优化合成问题生成器,在不依赖标准答案的情况下提升知识蒸馏效率。实验显示该方法在数学推理、代码生成及智能体任务中均取得最优性能,Qwen3-4B学生模型在LiveCodeBench上成绩超越教师参考值。A2D生成的问题使回答长度减少约20%,同时累计学习信号增加约28%。

  3. 机器之心48

    港大提出 A-GRAE 打破 GRPO 隐式优势对称性,提升模型探索与准确率

    香港大学团队揭示 GRPO 存在阻碍探索与难度适应的“隐式优势对称性”,并据此提出非对称组相对优势估计算法 A-GRAE。该算法在 Qwen2.5-Math-7B 等基座模型上验证,于 AIME2025 基准将 DAPO+A-GRAE 表现提升至 53.3%,同时显著增强模型探索能力与回答多样性,代码已开源。

11月17日周二
  1. 机器之心78

    Prefrontal AI 与 ETH Zurich 提出 LSA:10M token 下比 DeepSeek 式稀疏注意力再快 22.7 倍

    伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合发布论文,提出隐空间稀疏注意力 LSA,在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,精度与原模型相近。

    推荐理由:论文指出超长上下文下索引器占 prefill 时间 98%,并给出按语义聚类把索引降到 O(T log T) 的路径。

11月15日周日
  1. 机器之心78

    MIT韩松团队开源PEAR:Qwen3.8-27B纯仿真训练后可操控真机机械臂

    MIT韩松团队公布机器人后训练项目PEAR,基于开源Qwen3.8-27B,不用人类遥操演示和真机数据,只在仿真环境做强化学习,训完直接部署到此前未见过的双臂YAM真机,30次测试成功18次,训练前为0次。

    推荐理由:韩松团队用纯仿真强化学习把27B千问模型接到真机机械臂上,并给出扰动基准下的对比数据。

11月14日周六
11月11日周三
11月10日周二
11月9日周一
  1. 爱范儿74

    苹果公开 HALO 人形机器人研究:宇树 G1 背着 Mac mini 跑千问

    苹果研究团队公开名为 HALO 的人形机器人研究,用宇树 G1 作身体、背驮 Mac mini M4 Pro 本地运行千问模型,在 6 个未扫描的真实家庭中完成 360 次测试,平均成功率 91%。

    推荐理由:苹果 HALO 用仿真合成替代人力采集 VLA 数据,读者可据此理解具身智能数据瓶颈的一种规模化解法。

11月8日周日
11月7日周六
  1. The Decoder73

    Nous Research 微调 Qwen3.8-27B 发布 Arete-27B,倾向性回答比例从 22% 降至 0.9%

    Nous Research 对阿里 Qwen3.8-27B 做约 5300 万 token 的监督微调,得到开源权重模型 Arete-27B,其倾向性回答比例从 22% 降到 0.9%,事实准确度从 2.32 升到 2.98。

    推荐理由:Nous 用 5300 万 token 监督微调把 Qwen3.8-27B 的倾向性回答比例从 22% 降到 0.9%,并公开权重与测试数据。

11月5日周四
  1. The Decoder88

    GPT-6 Astra 通过权重直接改写其他模型

    研究团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取和生成模型权重,无需常规训练。在 Qwen3.5-0.8B 上 Astra 只改动 0.016% 的权重,MATH-500 准确率从 7.9% 升至 48.1%,指令遵循从 21% 升至 62%。

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

11月4日周三
  1. Sebastian Raschka65

    Sebastian Raschka 转发了一项称 GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重以提升数学能力的工作,该工作称仅改动 0.016% 的权重,无需梯度或训练,数学能力最高提升 6 倍、指令遵循提升 3 倍,并将其称为 Weight-Space Programming。Raschka 本人只配了一句 What could possibly go wrong? 和一张漫画,漫画把 Transformer 第 13 层前馈模块中单个已训练权重画成支撑全部现代数字基础设施的支柱。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》

11月3日周二
  1. 新智元85

    MIT CSAIL 提出权重空间编程,GPT-6 Astra 改写 Qwen3.5-0.8B 权重使 MATH-500 提升 6 倍

    MIT CSAIL 团队提出「权重空间编程」,让 GPT-6 Astra 在不训练、不算梯度的情况下直接读写神经网络权重。Astra 只改动 Qwen3.5-0.8B 约 0.016% 的权重,就把 MATH-500 准确率从 7.9% 提升到 48.1%,GSM8K 从 13.8% 升到 67.1%,IFEval 从 21.0% 升到 62.3%。

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

  2. The Rundown AI71

    MIT 研究显示 GPT-6 Astra 可直接改写模型权重提升数学成绩

    MIT 研究人员发布研究,显示 OpenAI 的 GPT-6 Astra 能通过直接改写模型权重来改进部分 AI 模型,而无需再训练。阿里的小型 Qwen 模型数学成绩原为 7.9%,Astra 只改动 0.016% 的权重抑制重复输出后升至 48.1%;同样方法对缺乏单一缺陷的 Gemma 3 几乎没有效果。作者称该能力未来或可用于让 AI 升级自身、按需增删其他模型技能或检查隐藏问题。

    推荐理由:材料给出了权重改写前后的具体分数对比,可据此理解免训练模型改进的边界与局限。

  3. 爱范儿74

    MIT CSAIL 研究让 GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,数学成绩从 7.9% 升至 48.1%

    MIT CSAIL 研究团队展示「权重空间编程」,让 GPT-6 Astra 直接读取并修改神经网络权重,仅改动 Qwen3.5-0.8B 的 131072 个参数(约 0.016%),使其 MATH-500 成绩从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。

    同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》

  4. swyx58

    swyx 引用 @latentspacepod 关于权重空间编程的内容,称我们如今处在特德·姜《呼吸》的第 2 段。被引内容提到,MIT 一项研究中 GPT-6 Astra 将 Qwen3.5-0.8B 的推理循环定位到两层并编辑其 0.016% 的权重,在采样固定的情况下 MATH-500 得分从 7.9% 升至 48.1%。配图为《呼吸》短篇小说的维基百科页面。

    引用Latent.Space: AI News & Views@latentspacepod

    Qwen3.5-0.8B often spent 32K tokens on a math problem without reaching an answer. In an MIT study, GPT-6 Astra traced the loops to two layers and edited 0.016% of Qwen’s weights. With sampling held fixed, its MATH-500 score rose from 7.9% to 48.1%. https://latent.space/p/ainews-llms-can-read-write-neural-network-weights-weight-space-programming-cuts-autoresearch-out-of/

  5. 歸藏(guizang.ai)82

    歸藏转述 MIT CSAIL 团队的研究:用 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的参数,就在不重新训练、不做后训练和强化学习的情况下把数学能力提升至多 6 倍、指令跟随提升 3 倍。作者认为这提供了像编程一样编写模型权重的新范式,可用于释放模型已有能力、移植控制与对齐策略、重组计算路径,小模型能力有望因此明显提升。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

  6. 机器之心38

    京东零售×南大提出 Road MOPD:缓解多教师蒸馏中的风格与跨领域学习干扰

    京东零售视觉多模态与 AIGC 团队联合南京大学提出 Road MOPD,让多位教师共同评价学生的同一份回答,通过跨教师反馈增强共识信号、削减冲突梯度分量。在 Qwen3-4B 上,数学+医学、代码+医学两组高冲突设置相较 Vanilla MOPD 实现双域共同提升,医学均分最高提高 8.78 个百分点。数学+代码组合也分别提升 1.61 和 1.83 个百分点。

  7. 量子位88

    MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍

    MIT 的实验让 GPT-6 Astra 直接读取并编辑 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重、不使用梯度和训练,MATH-500 得分从 7.9% 升到 48.1%,指令执行能力也提高 3 倍。

    推荐理由:实验展示了前沿模型直接读写小模型权重的新路径,读者可据此理解免梯度修改模型行为的思路与边界。

  8. IT之家74

    MIT CSAIL 提出权重空间编程:GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 提升至 6 倍

    MIT CSAIL 研究人员提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数(131072 个),就把 MATH-500 成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%,全程未使用梯度下降或传统训练循环。

    同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》

  9. Aran Komatsuzaki58

    MIT CSAIL 的 Rikiya Takehi 等人提出 Weight-Space Programming,称前沿 LLM 能原生读写神经网络权重。研究称 GPT-6 Astra 仅直接改动 Qwen3.5-0.8B 的 0.016% 权重,无需梯度或训练,就修复了其推理循环,MATH-500 从 7.9% 升至 48.1%,指令遵循的 IFEval 提升 3 倍。Aran Komatsuzaki 表示即将采访论文作者并征集提问。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

  10. meng shao78

    MIT CSAIL 研究者提出「Weight-Space Programming(权重空间编程)」,让 GPT-6 Astra 不靠梯度、不写训练循环,直接读取或修改神经网络权重。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》

  11. 宝玉80

    MIT CSAIL 四位研究者发布博客,提出“权重空间编程”,让前沿大模型直接读懂和修改神经网络权重,无需梯度或训练。实验中 GPT-6 Astra 只改动 Qwen3.5-0.8B 0.016% 的权重,MATH-500 正确率从 7.9% 升到 48.1%,但需允许拿练习题试跑 50 次,且对很少循环的 Gemma 3 270M 无提升。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

  12. Orange AI68

    MIT CSAIL 的 Rikiya Takehi 等人提出 Weight-Space Programming,称 GPT-6 Astra 无需梯度或训练,仅改动 Qwen3.5-0.8B 约 0.016% 的权重,就修复了其推理循环问题。该改动使 MATH-500 成绩从 7.9% 升至 48.1%,指令遵循的 IFEval 提升 3 倍。Orange AI 转发该研究并称 RSI 初现端倪,认为连模型训练都不需要了。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

  13. 机器之心78

    MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重

    MIT CSAIL 团队公布早期实验,让 GPT-6 Astra 通过自然语言直接读取和修改神经网络权重,并将这种方式称为 Weight-Space Programming(权重空间编程)。

    推荐理由:MIT CSAIL 的实验显示大模型可直接读写神经网络权重,为机制可解释性和模型优化提供了一条不依赖梯度的路径。

  14. Rohan Paul88

    MIT CSAIL 研究者提出 Weight-Space Programming,让 GPT-6 Astra 在 Python notebook 中直接改写 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重就把 MATH-500 成绩从 7.9% 提升到 48.1%,全程没有梯度或训练。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

  15. Vaibhav (VB) Srivastav65

    MIT CSAIL 团队提出 Weight-Space Programming,发现前沿 LLM 能原生读写神经网络权重。仅修改 Qwen3.5-0.8B 的 0.016% 权重,就在无梯度、无训练的情况下修复其推理循环,MATH-500 从 7.9% 升至 48.1%,指令遵循提升 3 倍。GPT-6 Astra 还能仅凭原始权重判断模型训练目标,并从零写出小型游戏网络。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT CSAIL 提出权重空间编程:GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重》

  16. elvis65

    elvis 转发 MIT CSAIL 团队的研究,该研究发现前沿 LLM 在原生读写神经网络权重上表现远超预期。研究让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重,仅改动 0.016% 的权重就修复了推理循环,数学成绩最高提升 6 倍、指令遵循提升 3 倍,全程无需梯度或训练,团队称之为 Weight-Space Programming。elvis 认为这对递归自我改进(RSI)意义重大,现有 RSI 流程主要靠写代码启动训练任务,而这一能力提供了直接通过权重递归自我改进模型的原生路径。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

  17. Ethan Mollick58

    Ethan Mollick 转发一项待复现的研究,称 GPT-6 Astra 直接修改 Qwen3.5-0.8B 仅 0.016% 的权重,修复其推理循环并把数学能力最高提升 6 倍、指令遵循提升 3 倍,全程不用梯度或训练。研究团队把这一做法称为 Weight-Space Programming,并称前沿 LLM 已能原生读写神经网络权重。Mollick 表示自己仍在等待复现,但认为这是件大事。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

  18. Andrew Curran70

    一项名为 Weight-Space Programming 的研究让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力,仅改动 0.016% 的权重,不使用梯度或训练。在 50 次前向传播预算下,MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,指令跟随基准 IFEval 从 21.0% 升至 62.3%。作者称 Astra 定位到模型重复输出的循环问题,在 layers 15 和 19 的 64 个 MLP 输出列上共改动 131,072 个权重值。

    引用Rikiya Takehi@rikiyatakehi

    We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/

    同一件事,精选收录的是《MIT 实验:GPT-6 Astra 直接改写 Qwen3.5 权重,数学能力提升约 6 倍》

11月2日周一