跳到正文
MarkTechPost· Asif Razzaq·· 8 小时前同事件AI 评分78

Thinking Machines 发布 Inkling 2 Mini:26.4B 循环 MoE 可在 32GB Mac 运行

Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac

AI 导读

Thinking Machines Lab 发布开源权重模型 Inkling 2 Mini,总参数 26.4B、激活 3.4B,通过将中间层循环 3 次把 checkpoint 控制在约 20GB,可在 32GB Mac 或单台 NVIDIA DGX Spark 上运行。

同一件事,精选收录的是《Thinking Machines Lab 开源 Inkling 2 Mini:26B 循环 Transformer 模型可在笔记本运行》

正文 · AI 翻译

Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个拥有 264 亿总参数的开源循环 Transformer 模型。该模型每个 token 重复使用其中间层 3 次,而不是增加更多权重。这使得模型检查点保持在约 20GB,足够小到可以在配备 32GB 内存的 Mac 或 1 块 NVIDIA DGX Spark 上运行。对于开发者而言,Inkling 2 Mini 是用于代理式编码、工具使用和文档处理的本地选项。它通过 Hugging Face 上的 Apache 2.0 许可证 发布,并在 Tinker 上提供托管推理和微调服务。

TL;DR

  • 规模: 总计 264 亿参数,活跃参数 34 亿(通过循环,每 token 有效参数为 54 亿),上下文长度最高可达 100 万 token。
  • 运行环境: 支持配备 32GB+ 内存的 Apple Silicon、1 块 NVIDIA DGX Spark,或配备 32GB+ VRAM 的 GPU。可通过 Unsloth 和 llama.cpp 构建 GGUF 格式。
  • 性能: 在 Artificial Analysis Index 上得分为 20.1,与 Qwen3.8-27B 持平(自我报告)。
  • 最佳表现: 在 SWE-bench Verified(仅限 bash)上达到 79.2%。
  • 最差表现: 在 HLE-Diamond 上为 15.2%,在 MultiChallenge 上为 50.0%。
  • 总结: 最佳:来自 20GB 检查点的强大代理式编码能力。最差:知识回忆和多轮指令遵循能力较弱。

什么是 Inkling 2 Mini?

Inkling 2 Mini 是 Thinking Machines 推出的一种稀疏混合专家(MoE)模型,其特点是循环使用中中间层。它接受文本和图像输入,仅返回文本输出。

它紧随 11 月 5 日发布的 5940 亿参数模型 Inkling 2 Small 之后。

循环 Transformer 是如何工作的?

该模型存储了 24 个层,分为 4 个每组 6 层的块。第一个和最后一个块各运行一次。两个中间块共享权重运行 3 次。这使得从 24 层权重中,每个 token 获得 48 次层应用。

第一次之后的每次传递都会接收来自前一次传递的“消息”。Thinking Machines 通过 注意力残差(Attention Residuals) 和一个可学习的门控机制来传递该消息。前馈层使用 128 个专家,每个 token 路由选择 8 个。

循环中间层带来了 1.51 倍到 1.91 倍的计算等效增益。循环最后层仅带来 1.24 倍到 1.36 倍的增益。中间循环变体在 28 项评估中的 27 项获胜。

循环增加了训练计算成本,但节省了推理成本。一个无循环基线模型使用了少 7.5% 的训练计算量。但在 512k token 的代理轨迹上匹配循环模型的损失时,它需要多 140% 的推理计算量。

Inkling 2 Mini 是如何训练的?

训练开始时每层有 384 个专家,每个 token 激活 8 个。在训练中期的剪枝阶段,团队剪掉了三分之二的专家,保留了使用频率最高的 128 个专家。随后,从一个更大的内部 Inkling 模型进行 1T token 的蒸馏运行,以修复被剪枝的模型。后训练阶段使用了监督微调(SFT),然后在 2.2T token 和 2,000 步上进行强化学习(RL),加上在线策略蒸馏。

专家层以 NVFP4 格式进行训练和部署。最后 4 层使用 MXFP8。Thinking Machines 表示这消除了量化转换损失。一个研究变体 TML-d24-varloop-research 使用 1 到 5 次传递进行训练。

Inkling 2 Mini 在基准测试中的表现如何?

以下所有 Inkling 分数均由 Thinking Machines 自我报告。编码是其最强领域。Inkling 2 Mini 在 SWE-bench Verified(仅限 bash)上得分 79.2%,在 SWE-bench Pro v2 (Hard) 上得分 77.9%。它在 DeepSWE v1.1 上达到 48.2%,而 Qwen 自己的卡片 显示 Qwen3.8-27B 在该基准上为 42.2%。在 Terminal Bench v2.1 上,它得分为 71.6%,低于 Qwen3.8-27B 的 73.0%。

代理式搜索同样表现稳健:在 BrowseComp 上,配合压缩技术得分 79.0%,在 MCP Atlas 上得分 82.7%。针对文档和视觉任务,它在 OmniDocBench v1.6 上取得 92.8% 的得分,在 MMMU Pro 上得分为 74.9%。在推理方面,它在 GPQA Diamond 上得分 86.6%,在 ARC-AGI-2 上得分为 49.3%。

效率是主要卖点。在斯坦福大学的“每瓦特智能”(Intelligence per Watt)指标上,Thinking Machines 报告称其在 DGX Spark 上的得分为 0.703。其列出的 Qwen3.6-35B-A3B 得分为 0.430,Gemma-4-26B-A4B 得分为 0.159。

Inkling 2 Mini 与 Qwen 和 Gemma 相比如何?

特性Inkling 2 Mini (卡片)Qwen3.8-27B (卡片)Qwen3.6-35B-A3B (卡片)Gemma 4 26B A4B (卡片)
架构循环 MoE密集型MoEMoE
总参数量264亿270亿350亿252亿
激活参数量34亿(等效 54亿)270亿(密集型)30亿38亿
上下文窗口最高 100万原生 262,144,最高 100万原生 262,144,最高 1,010,000256K
许可证Apache 2.0Apache 2.0Apache 2.0Apache 2.0
输入类型文本、图像文本、图像、视频文本、图像文本、图像
硬件要求~20GB;32GB Mac 或 DGX Spark未披露未披露未披露
GPQA Diamond86.6%89.286.082.3%
Terminal Bench 2.171.6%73.0未报告未报告
SWE-bench Verified79.2%(仅限 bash)未报告73.4未报告
DeepSWE 1.148.2%42.2未报告未报告
托管访问TinkerQwen Cloud未披露未披露

每列数据均基于供应商自身的模型卡片。由于测试框架和设置不同,跨供应商的差异仅具方向性参考意义。

运行 Inkling 2 Mini 需要什么硬件?

检查点文件约为 20GB(Safetensors 格式)。Thinking Machines 列出了三种支持的配置:1 块 NVIDIA DGX Spark、配备 32GB+ 内存的 Apple Silicon,以及配备 32GB+ VRAM 的其他 GPU。Unsloth 和 llama.cpp 提供量化后的 GGUF 版本。

服务支持涵盖 Transformers、vLLM、SGLang、Ollama、NVIDIA Dynamo 和 TokenSpeed。Mini 版本的 Tinker 定价在发布材料中未披露。

使用 vLLM 快速启动只需一条命令:vllm serve "thinkingmachines/Inkling-2-Mini"。

Inkling 2 Mini 的不足之处在哪里?

知识能力主要取决于总参数量,而循环机制并未帮助提升知识类基准测试的表现。Inkling 2 Mini 在 AA-Omniscience 上得分为 -8.6,非幻觉率为 63.4%。

它并非多轮对话或约束密集型提示的最佳小型模型。它在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上得分为 33.4%。在 HLE-Diamond(15.2%)和 CritPt v2 上,它也落后于更大的模型。

关键要点

  • Inkling 2 Mini 将 24 个存储层循环为每个 token 的 48 次层传递。
  • 总参数量 264亿,激活参数量 34亿,约 20GB,Apache 2.0 许可证,上下文窗口最高 100万。
  • 可通过 Ollama、vLLM 或 llama.cpp 在 32GB Mac 或 1 台 DGX Spark 上运行。
  • 在 SWE-bench Verified 上得分 79.2%,并在 AA Index 上与 Qwen3.8-27B 并列 20.1 分。
  • 弱点:知识回忆、多轮对话和约束密集型提示。

查看 技术博客、模型卡片、模型权重 以及 Tinker Playground。您可以通过我们的 GPULeaderboard.com Chrome 扩展程序 在此处查看部署选项和规格。

此外,欢迎在 Twitter 上关注我们,并别忘了加入我们的 拥有 15 万+成员的 ML SubReddit 以及订阅 我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等? 联系我们

文章 认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 在 32GB Mac 上运行 首发于 MarkTechPost。

来源:MarkTechPost · marktechpost.com