Rohan Paul 解读 EAGLE-4 投机解码提速原理
Rohan Paul 解读 EAGLE-4 投机解码为何能提升推理速度,指出它已成为在选定模型上提高每秒 token 数的可靠手段。EAGLE-4 保留草稿加校验的循环,把改进放在草稿侧,采用自适应草稿结构和更廉价的草稿 LM head;小模型先猜若干 token,目标模型一次前向全部校验,保留匹配项并替换首个不匹配项。
Rohan Paul 解读 EAGLE-4 投机解码为何能提升推理速度,指出它已成为在选定模型上提高每秒 token 数的可靠手段。EAGLE-4 保留草稿加校验的循环,把改进放在草稿侧,采用自适应草稿结构和更廉价的草稿 LM head;小模型先猜若干 token,目标模型一次前向全部校验,保留匹配项并替换首个不匹配项。
OXR 把解析失败纳入训练流程,在后训练阶段由 VLM 评估自身输出,用 rollout 分歧标记不确定样本,再由独立聚类模型归因,指导下一轮定向数据生成。该 1.3B 开源模型在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上排名第一,在单张 RTX PRO 6000 上的吞吐为 GLM-OCR 的 3.05 倍,是速度对比中最快的开源结果。
VAST 开源 Project Eden 系列中的实时生成式渲染器 EdenLive,并同步开放 5B、14B 模型权重、实时流式推理代码、EdenGolem v0.1 与前端工作台。
推荐理由:VAST 开源实时世界模型 EdenLive,读者可了解其状态与渲染分工架构及 5B 模型在单卡上的实时表现。
Cloudflare 发布 AI 模型 Clairic,称其从文档中抽取数据比大语言模型更快、成本更低,现已在 Workers AI 上提供预览,开放权重稍后跟进。
祝贺 @lightseekorg 取得令人印象深刻的 TokenSpeed 成果!🚀 很高兴看到 Qwen3.8-Flash-Next 在 Nvida GPU 上达到每用户 685 output tokens/s。期待社区进一步释放 Qwen 的推理潜力!