Rohan Paul 解读 EAGLE-4 投机解码提速原理
Rohan Paul 解读 EAGLE-4 投机解码为何能提升推理速度,指出它已成为在选定模型上提高每秒 token 数的可靠手段。EAGLE-4 保留草稿加校验的循环,把改进放在草稿侧,采用自适应草稿结构和更廉价的草稿 LM head;小模型先猜若干 token,目标模型一次前向全部校验,保留匹配项并替换首个不匹配项。
Rohan Paul 解读 EAGLE-4 投机解码为何能提升推理速度,指出它已成为在选定模型上提高每秒 token 数的可靠手段。EAGLE-4 保留草稿加校验的循环,把改进放在草稿侧,采用自适应草稿结构和更廉价的草稿 LM head;小模型先猜若干 token,目标模型一次前向全部校验,保留匹配项并替换首个不匹配项。
OXR 把解析失败纳入训练流程,在后训练阶段由 VLM 评估自身输出,用 rollout 分歧标记不确定样本,再由独立聚类模型归因,指导下一轮定向数据生成。该 1.3B 开源模型在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上排名第一,在单张 RTX PRO 6000 上的吞吐为 GLM-OCR 的 3.05 倍,是速度对比中最快的开源结果。
VAST 开源 Project Eden 系列中的实时生成式渲染器 EdenLive,并同步开放 5B、14B 模型权重、实时流式推理代码、EdenGolem v0.1 与前端工作台。
推荐理由:VAST 开源实时世界模型 EdenLive,读者可了解其状态与渲染分工架构及 5B 模型在单卡上的实时表现。
记忆张量开源发布 MemT 1.0 系列记忆原生模型,包含 36B 参数、激活 3B 的 MemT-1.0-Nano(基座 Qwen3.6-35B-A3B)和 288B 参数、激活 17B 的 MemT-1.0-Flash(基座 DeepSeek-V4-Flash),在选定 Transformer 模块中增加与注意力并行的记忆分支。
记忆张量发布并开源记忆原生大模型 MemT 1.0,把记忆从外挂模块内化进底层架构,由模型自行学习读写、更新和调用记忆。团队用 340 亿 token 分两阶段训练,并引入 Mixture-of-Storage(MoS)架构管理固定体积的记忆状态。
Thinking Machines 发布 Inkling-Small,官方称其在四分之一体量下达到与 Inkling 相当的性能。该模型总参数 276B、激活参数 12B,完整权重已开放,可在 Tinker 上微调,并在 Tinker Playground 中体验文本、图像和音频交互。Mira Murati 转发了这一发布消息。
推荐理由:Inkling-Small 以四分之一体量达到与 Inkling 相当的性能,并开放完整权重,读者可据此判断小模型的部署与微调空间。