导语:Thinking Machines Lab(TML)11 月 20 日发布 Inkling 2 Mini——一个开放权重的“循环 Transformer”(looped transformer):模型的中层对每个 token 运行三次,从而在不写出更多推理文本的前提下增加串行计算深度。它总参数 26.4B,每 token 激活 3.4B 参数、5.4B 权重激活,整体显存占用约 20GB,可以在消费级笔记本上离线运行。

架构:24 层、四段、中间两段各跑三次

Inkling 2 Mini 是一个 MoE 模型,共 24 层,分成四个 6 层的块:中间两块各运行三次,首尾两块各运行一次。TML 给出的直觉是,中间层承载更抽象的推理,而首尾层更多用于在嵌入与内部表示之间做转换;这也是对 Universal Transformers(Dehghani 等,2018)一类工作的延续。

他们做了对照实验:循环中间 12 层与循环最后 12 层相比,在 28 项评测中的 27 项上中间循环收益更大。训练到第 2000 步时,无循环基线需要 1.51–1.91 倍的算力才能追平“中间循环”的 loss,而“最后层循环”只需 1.24–1.36 倍。模型还采用了 Kimi 团队提出的 attention residuals:每一层不是把前层输出简单累加,而是学习自己对这些输出的混合权重,让信息在多次循环之间传递得更充分。

剪枝与“愈合”:从 384 个专家到 128 个

模型来自 TML 主线的 predictive scaling ladder,起点稀疏度为 48(从 384 个专家中选 8 个)。在训练的中间阶段,他们一次性剪掉三分之二的专家,每层只保留最常用的 128 个,目的是压低总参数量、让模型能在本地硬件上跑得更快;随后用 1T token 从更大的内部 Inkling 模型蒸馏,让留下的专家“接手”被删专家的工作,把剪枝前的性能补回来。之后是 SFT(数据配比与 Inkling 2 Small 类似)加上 2000 步、总计 2.2T token 的强化学习,并包含与 Inkling 2 Small 相同的 on-policy distillation 对齐步骤。

量化方面,大部分权重原生以 NVFP4 训练并部署,最后四层使用 MXFP8。据 Artificial Analysis 的评测,该模型以 Apache 2.0 许可发布,支持文本与图像输入,上下文窗口 1M token。

性能:厂商口径与第三方口径

在 TML 自己的表格里,Inkling 2 Mini 在 DeepSWE v1.1 得 48.2%、Vals Index v2.2 得 46.5%,并称在“总参数 100B 以下的所有开放权重模型”中领先;SWE-bench Verified 79.2%、SWE-bench Pro v2 (Hard) 77.9%、SWE-bench Multilingual 73.7%、BrowseComp 79.0%、DeepSearchQA 85.3%、MCP Atlas 82.7%。在 PMPP-Hard 这个内核优化基准上,它接近体量大得多的 Inkling 2 Small。

第三方的 Artificial Analysis 给出的结论更克制也更有信息量:Inkling 2 Mini 的 Intelligence Index 得分为 20,与 Qwen3.8 27B(xhigh)持平,但激活参数少约 5 倍;在“智能 vs 激活参数”上处于帕累托前沿。代价是输出更长——同分数下比 Qwen3.8 27B 多约 38% 的输出 token;但因为参数少,按“激活参数×token”的算力代理指标,算力仅约为 Qwen3.8 27B 的 1/2.8。AA 称每个 Intelligence Index 任务成本 0.59 美元、耗时 9.0 分钟,而 Qwen3.8 27B 是 3.53 美元、38.2 分钟(按 TML 第一方定价 0.15/0.50/0.015 美元每百万输入/输出/缓存命中 token 计)。反过来看,AA 也指出 GPT-6 Luna (max) 用 0.15 美元就能拿到 28 分——说明这条成本曲线在“小模型卷性价比”之外还有另一条竞争者。

局限:循环加深推理,但不增加知识

TML 自己列出的短板包括:多轮对话与多约束指令不是强项——MultiChallenge 得 50.0%、ComplexConstraints v1.1 得 33.4%,两项都落后 Qwen3.8-27B;在 CritPt v2、HLE-Diamond 这类推理密集基准上也落后于更大的模型。

更值得注意的是机制层面的边界:循环能提升推理,但不能让权重“装下更多事实”——知识量主要由总参数量决定。Inkling 2 Mini 在 AA-Omniscience(事实性)上的分数与同尺寸模型相当;对可变循环版本的研究显示,GraphWalks BFS、MRCR v2 这类长上下文基准会随循环次数提升,而 AA-Omniscience、SimpleQA Verified、SimpleVQA、WorldVQA 等知识密集基准不会。模型的应对办法是更有效地使用搜索与工具:在 BrowseComp、DeepSearchQA、MCP Atlas 上,它领先同尺寸开放权重模型。

为什么把“可监控性”当作发布理由

TML 明确写到,发布 Inkling 2 Mini 的部分目的,是让社区能研究循环 Transformer。原因在于 CoT 监控的可解释性假设:标准非循环架构中,每个 token 只穿过固定层数一次,超过这个步数的推理必须写进生成文本,才能被读到;而循环提高了串行深度上限,模型可以在“心里”多算几步再说话,不进入 CoT 的推理就无法被 CoT 监控捕捉。

为此他们同时训练了一个可变循环的研究版本 TML-d24-varloop-research(在 1 到 5 次循环上训练),用来做不同循环深度的干净对照。结果包括:无 CoT 时间视野从 1 次循环的 16 秒提升到 3 次的 37 秒,之后大致走平;在评估串行推理的 N-Hop Lookup 上,到 10 次循环仍在提升,尽管模型最多只用 5 次循环训练过;CoT 随循环变短但全程保持可读;在 agentic sabotage 测试上没有随循环次数上升的趋势。

另一个细节更像宣传但确实说明部署形态:研究人员把模型带上飞机,在 M5 Pro、48GB 的 MacBook Pro 上以飞行模式离线运行,几分钟内做出了一个可玩的飞行模拟器。

观察

Inkling 2 Mini 的意义恐怕不在榜单,而在两点方法论:其一,用“中间层循环”在不增加参数的前提下买串行深度,这是对“小模型只能靠蒸馏接近前沿”这条路线的一次结构性替代;其二,TML 把可监控性隐忧写进发布说明,并把研究版本一起放出来,等于把“循环模型是否更难监督”这个安全议题交给社区做实验。真正需要观察的,是后续是否有团队复现其“中间循环优于末段循环”的结论,以及在真实 agent 工作流里,多 38% 输出 token 带来的时延与成本是否仍划算。

来源:Thinking Machines Lab 发布博客《Introducing Inkling 2 Mini》(2026-11-20),Techmeme 收录(261120/p33);第三方评测见 Artificial Analysis《Thinking Machines has released Inkling 2 Mini》(261120/p37)。原文为英文,本文为中文编译与整理,观察部分为编者所加;榜单分数均为发布方或评测方自报口径,未独立复现。