跳到正文
The Decoder· Matthias Bastian·· 9 小时前同事件AI 评分78

Thinking Machines 发布开源模型 Inkling 2 Mini,循环复用 12 层并可在笔记本运行

New open model Inkling 2 Mini thinks in loops to solve problems with fewer words and still runs on a laptop

AI 导读

Thinking Machines 发布开源模型 Inkling 2 Mini,采用循环 Transformer 结构,24 层中有 12 层连续运行三次,让模型在内部推理更久而不必生成更多文本。

同一件事,精选收录的是《Thinking Machines Lab 开源 Inkling 2 Mini:26B 循环 Transformer 模型可在笔记本运行》

正文 · AI 翻译

Thinking Machines 发布了 Inkling 2 Mini,这是一种所谓的循环式 Transformer。循环式 Transformer 会对每个 token 多次运行某些层。Inkling 2 Mini 将其 24 层中的 12 层连续运行三次。这使得模型能够在不生成更多文本的情况下进行更长时间的内部推理,从而以更少的 token 找到正确答案,据 Thinking Machines 称。该公司表示,这一开源混合专家(MoE)模型拥有 264 亿参数,由于循环机制,每个 token 有 54 亿个活跃参数。它支持处理文本和图像,拥有 100 万 token 的上下文窗口,并采用 Apache 2.0 许可证。

Inkling 2 Mini 在低于 1000 亿参数的开源模型中,于代理编码测试中表现最佳,在 DeepSWE v1.1 上得分 48.2%,在 Vals Index v2.2 上得分 46.5%。Artificial Analysis 在其智能指数中为其评分 20 分,与 Qwen3.8 27B 持平,但成本约为其六分之一,速度约为其四倍。

Inkling 2 Mini 在 Artificial Analysis 的智能指数中得分为 20,与 Qwen3.8 27B (xhigh) 和 Nanbeige4.3-33B 持平。凭借远少数的活跃参数,该模型直接位于帕累托前沿。| 图片:Artificial Analysis

Inkling 2 Mini 可在至少配备 32 GB 内存的 Mac 以及 Nvidia DGX Spark 上本地运行。您可以从 Hugging Face 下载权重和研究版可变循环版本。它也可在 Tinker Playground 中试用。

来源:The Decoder · the-decoder.com