跳到正文
今天10月21日周三2 条
  1. Rohan Paul (X)58

    Rohan Paul 解读 EAGLE-4 投机解码提速原理

    Rohan Paul 解读 EAGLE-4 投机解码为何能提升推理速度,指出它已成为在选定模型上提高每秒 token 数的可靠手段。EAGLE-4 保留草稿加校验的循环,把改进放在草稿侧,采用自适应草稿结构和更廉价的草稿 LM head;小模型先猜若干 token,目标模型一次前向全部校验,保留匹配项并替换首个不匹配项。

  2. Rohan Paul (X)58

    OXR 将解析失败纳入训练流程,1.3B 开源文档解析模型登顶三项基准

    OXR 把解析失败纳入训练流程,在后训练阶段由 VLM 评估自身输出,用 rollout 分歧标记不确定样本,再由独立聚类模型归因,指导下一轮定向数据生成。该 1.3B 开源模型在 olmOCR-Bench、OmniDocBench 和 DocParsingBench 上排名第一,在单张 RTX PRO 6000 上的吞吐为 GLM-OCR 的 3.05 倍,是速度对比中最快的开源结果。

10月20日周二
7月31日周五
  1. Mira Murati (X)78

    Thinking Machines 发布 Inkling-Small 模型并开放权重

    Thinking Machines 发布 Inkling-Small,官方称其在四分之一体量下达到与 Inkling 相当的性能。该模型总参数 276B、激活参数 12B,完整权重已开放,可在 Tinker 上微调,并在 Tinker Playground 中体验文本、图像和音频交互。Mira Murati 转发了这一发布消息。

    推荐理由:Inkling-Small 以四分之一体量达到与 Inkling 相当的性能,并开放完整权重,读者可据此判断小模型的部署与微调空间。