Inkling 2 Mini 是什么
Inkling 2 Mini 出自 Thinking Machines Lab,2026 年 11 月 20 日发布,权重在 Hugging Face 上,采用 Apache 2.0 许可。Thinking Machines 列出的预期用途有:agent 和工具调用系统、编程助手、聊天机器人和检索增强生成,以及研究、微调和第三方产品。
它是一个“循环”(looped)transformer。模型存储 24 个解码器层,分成四个块,每块六层。第一块和最后一块只运行一次。中间的 12 层(第 2、3 块)用同样的权重连续运行三次。所以每个 token 要经过 48 次层运算,而磁盘上只存了 24 层。模型在不变大的前提下,每个 token 获得了更多计算量。
前馈层是稀疏混合专家(MoE):每个 token 在每层从 128 个专家中用 8 个。Thinking Machines 训练时用了 384 个专家,之后裁掉了其中三分之二。26.4B 参数里每个 token 激活 3.4B;循环中每多过一遍,约增加 1.0B 的有效激活参数,所以三遍下来,每个 token 有效激活 5.4B。
- 权重大部分是 4 位:20 层用 NVFP4,最后 4 层用 MXFP8,合在一个约 20 GB 的文件里。
- 注意力混合了局部层和全局层。图像经过视觉 transformer;Thinking Machines 建议图像每条边为 40 到 4096 像素。
- Inkling 2 Small 是它在同一个 Hugging Face 合集里的大号兄弟,参数 594B。
Inkling 2 Mini 规格
| Inkling 2 Mini | |
|---|---|
| 开发方 | Thinking Machines Lab, Inc. |
| 发布日期 | 2026 年 11 月 20 日 |
| 许可证 | Apache 2.0 |
| Hugging Face 仓库 | thinkingmachines/Inkling-2-Mini |
| 参数 | 总计 26.4B,激活 3.4B,三遍循环下每个 token 有效激活 5.4B |
| 层数 | 存储 24 层,每个 token 运算 48 层(中间 12 层运行三次) |
| 专家 | 每层每个 token 用 128 个中的 8 个 |
| 精度 | NVFP4(20 层)和 MXFP8(最后 4 层) |
| 检查点大小 | 约 20 GB(主 safetensors 文件 19.5 GB,外加 0.64 GB 的多 token 预测文件) |
| 上下文窗口 | 最长 1M token |
| 输入 / 输出 | 输入文本和图像,输出文本 |
| 默认采样 | generation_config.json 里 temperature 为 1.0;模型卡没有给出其他设置 |
| 训练数据截止时间 | 未说明 |
如何运行 Inkling 2 Mini
下面的命令于 2026 年 11 月 21 日从各来源页面复制而来。我们没有亲自运行过。
Ollama
Ollama 库页面列出了
inkling-2-mini:latest、inkling-2-mini:26b-a5b和inkling-2-mini:26b-a5b-nvfp4(MLX),每个 20GB,上下文 1M,支持文本和图像输入。页面说需要 Ollama 的预发布版(链接的是预览版下载,没有版本号)和内存 32GB 以上的 Mac,也能在 DGX Spark 上运行。见 Ollama 的页面。# 来自 Ollama 库页面(需要 Ollama 预发布版;内存 32GB 以上的 Mac) ollama run inkling-2-miniHugging Face
权重在 thinkingmachines/Inkling-2-Mini。模型卡本身没有代码;它列出 SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth、llama.cpp(用于 GGUF)、Llama App、Ollama 和 Exo Labs 为支持的运行时,并链接了 SGLang 和 vLLM 的配方页面。下面几行是 Hugging Face 为 vLLM 自动生成的代码片段。
# Hugging Face 自动生成的“Use this model”代码片段,不是 Thinking Machines 写的 pip install vllm vllm serve "thinkingmachines/Inkling-2-Mini"Unsloth GGUF:获取 Unsloth 的 llama.cpp 构建
Unsloth 的指南使用 Unsloth 的 llama.cpp 分支的发布版本。这是它的 Apple silicon 构建;指南里还有 NVIDIA CUDA 12、AMD ROCm、Windows CUDA 12 和 DGX Spark 的构建。
# Unsloth 指南:Unsloth 分支的 llama.cpp 构建,Apple silicon curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz mkdir -p llama.cpp tar -xzf llama.tar.gz -C llama.cpp --strip-components=1 ./llama.cpp/llama-server --version下载推荐的量化版
这会从
unsloth/Inkling-2-Mini-GGUF下载 UD-Q4_K_XL(17.6 GB)、视觉投影器mmproj-F16.gguf(再加 639 MB)和一个 0.4 GB、用于推测解码的草稿模型。pip install -U huggingface_hub hf download unsloth/Inkling-2-Mini-GGUF \ Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \ --local-dir Inkling-2-Mini-GGUF启动 llama-server
Unsloth 针对 macOS、Linux 和 WSL 的命令。它设置了 32K 上下文;内存不够就调低
--ctx-size。./llama.cpp/llama-server \ --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \ --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \ --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \ --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \ --jinja --ctx-size 32768 --n-gpu-layers 99 --parallel 1 \ --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \ --host 127.0.0.1 --port 8080或者用 Unsloth CLI
同一份指南里的一条命令。
unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \ --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0
Inkling 2 Mini 的 Unsloth GGUF 量化版
大小来自 Unsloth 的指南。Unsloth 推荐 UD-Q4_K_XL。以 UD-Q8_K_XL 为参照,它测得 UD-Q4_K_XL 的平均 KL 散度为 0.0107,98.0% 的时候选出同一个最高概率 token;UD-Q3_K_XL 为 0.0174 / 96.3%;UD-Q2_K_XL 为 0.0595 / 91.6%;UD-IQ1_S 为 0.0911 / 89.4%。
| 量化版 | 文件大小 | 备注 |
|---|---|---|
| UD-IQ1_S | 7.76 GB | - |
| UD-IQ1_M | 8.02 GB | - |
| UD-IQ2_XXS | 8.49 GB | - |
| UD-Q2_K_XL | 9.14 GB | - |
| UD-IQ3_XXS | 11.66 GB | - |
| UD-Q3_K_XL | 13.63 GB | - |
| UD-IQ4_XS | 15.73 GB | - |
| UD-Q4_K_M | 16.61 GB | - |
| UD-Q4_K_XL | 17.63 GB | Unsloth 推荐 |
| UD-Q8_K_XL | 22.87 GB | KLD 数值的参照 |
推荐设置
- 采样:Unsloth 的指南用 temperature 1.0、top-p 1.0、top-k 0 和 min-p 0.0。Thinking Machines 的
generation_config.json只设置了 temperature 1.0。 - 上下文:Unsloth 从 32K(
--ctx-size 32768)起步,并说内存紧张时就调低。模型本身支持最长 1M token。 - 推理:模型卡说,把推理强度设到最低并不能完全关闭推理。
- 限制:模型卡说模型有时会陷入很长的推理循环,尤其是在调试代码时,并建议限制输出 token 数和 agent 轮数。
Inkling 2 Mini 硬件要求
各来源怎么说。图像、更长的上下文和机器上的其他应用会占用更多内存。模型卡还指出,本地运行时对循环模型的支持是新的,速度因运行时和硬件而异,而且中间层运行三次,使每个 token 的计算量高于激活参数量所显示的水平。
| 来源 | 说法 |
|---|---|
| Thinking Machines 模型卡 | 检查点约 20 GB。支持:1 台 NVIDIA DGX Spark,或内存 32GB 以上的 Apple silicon(MacBook、Mac mini、Mac Studio)。其他 GPU 和平台也可以,建议 32GB 或更多显存。 |
| Thinking Machines 发布文章 | 通过 Ollama 可在任何至少 32GB 内存的 Mac 上运行。DGX Spark(128GB)原生支持 NVFP4。 |
| Ollama | 内存 32GB 以上的 Mac;也支持 DGX Spark。 |
| Unsloth(GGUF,内存 + 显存或统一内存) | 1 位 9 GB,2 位 10-11 GB,3 位 13-15 GB,4 位 17-18 GB,8 位 24 GB。 |
Inkling 2 Mini 跑分(Thinking Machines 的数据)
这些是 Thinking Machines 在发布文章里公布的自家结果,从中挑选了一部分行。它们是自报的,不是独立测试。
| 基准测试 | Inkling 2 Mini | Qwen3.8-27B | Gemma 4 31B | Nemotron 3.5 Super VL |
|---|---|---|---|---|
| DeepSWE v1.1 | 48.2% | 42.2% | 0.3% | 24.7% |
| SWE-bench Pro v2 (Hard) | 77.9% | 73.8% | 14.2% | 44.1% |
| SWE-bench Verified (bash only) | 79.2% | 77.8% | 46.1% | 71.1% |
| Terminal Bench v2.1 | 71.6% | 73.0% | 43.4% | 60.7% |
| Vals Index v2.2 | 46.5% | - | - | 29.8% |
| AA Index v5.0 | 20.1 | 20.1 | 4.4 | 13.6 |
| BrowseComp (with compaction) | 79.0% | 61.6% | 37.0% | 78.9% |
| MCP Atlas (Public) | 82.7% | 77.3% | 54.2% | 67.7% |
| HLE-Diamond | 15.2% | 15.3% | 7.2% | 8.8% |
| ARC-AGI v1 / v2 | 84.5% / 49.3% | 87.5% / 42.4% | - | 22.7% / 1.5% |
| MMMU Pro Standard 10 | 74.9% | 76.3% | 73.4% | 72.3% |
| AA-Omniscience non-hallucination rate | 63.4% | 71.4% | 14.5% | 69.5% |
Thinking Machines 自己说的不足之处
- MultiChallenge 50.0% 和 ComplexConstraints v1.1 33.4%,都落后于 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 上也落后于更大的模型。
- 效率:在 DGX Spark 上按斯坦福的每瓦智能指标,文章给出 0.703,对比 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 和 Qwen3.5-27B 的 0.036。
- 模型卡里的局限:它比更大的模型更容易自信地给出错误信息,可能不经询问就删除或覆盖文件,英语以外的输出质量更低。
Artificial Analysis 上的 Inkling 2 Mini(第三方)
Artificial Analysis(AA)是一个独立的基准测试网站。以下数据来自它的 Inkling 2 Mini 页面,核对于 2026 年 11 月 21 日;该页面没有显示最后更新日期。
- Intelligence Index v5.0.1:20。
- 输出速度:每秒 280 个 token。
- 价格:每百万输入 token $0.15,每百万输出 token $0.50。
- 跑完 Intelligence Index 的成本:$0.59,按 AA 的显示。
- 上下文窗口:1M token。
Inkling 2 Mini 与 Qwen 3.8 27B 对比
规格来自两个模型各自的 Hugging Face 模型卡,AA 各行来自 AA 的两个模型页面(两个页面都没有提到对方;并排对比是我们做的),跑分各行来自 Thinking Machines 的表格。有一点要注意:Thinking Machines 给出的 Qwen 数字不一定是 Qwen 自己报告的那个版本。它的 73.8% 是在 SWE-bench Pro v2 (Hard) 上,15.3% 是在 HLE-Diamond 上;Qwen 自己的模型卡给出的是 SWE-bench Pro 61.7 和 HLE 30.8。不要把两者混着用。两边在 Terminal Bench 2.1 上都报告 73.0。
| Inkling 2 Mini | Qwen3.8-27B | |
|---|---|---|
| 发布日期 | 2026 年 11 月 20 日 | 2026 年 8 月 14 日(据 AA) |
| 许可证 | Apache 2.0 | Apache 2.0 |
| 架构 | 循环 MoE:总计 26.4B,激活 3.4B(有效 5.4B) | 稠密 27B,全部参数激活,64 层 |
| 权重 | 约 20 GB,NVFP4 和 MXFP8 | BF16 |
| 原生上下文 | 1M token | 262,144 token,用 YaRN 最长到 1M |
| 输入 | 文本、图像 | 文本、图像、视频 |
| AA Intelligence Index | 20 | 20(xhigh);medium 17,low 16,非推理 10 |
| AA 输出速度 | 280 tok/s | 53 tok/s(xhigh) |
| AA 每 1M 输入 / 输出价格 | $0.15 / $0.50 | $0.50 / $3.00(Alibaba API) |
| SWE-bench Verified,仅 bash(TML) | 79.2% | 77.8% |
| SWE-bench Pro v2 Hard(TML) | 77.9% | 73.8% |
| Terminal Bench v2.1(TML) | 71.6% | 73.0% |
| MCP Atlas(TML) | 82.7% | 77.3% |
| BrowseComp(TML) | 79.0% | 61.6% |
这个对比说明了什么
- AA Intelligence Index 相同(20),但 AA 测得 Inkling 2 Mini 的输出速度约为五倍,标价的每 token 价格也更低。
- 在 Thinking Machines 的表格里,Inkling 在 SWE 类基准、BrowseComp、MCP Atlas 和 ARC-AGI v2 上领先,在 Terminal Bench、ARC-AGI v1、MMMU Pro、HLE-Diamond(差 0.1)、AA-Omniscience、MultiChallenge 和 ComplexConstraints 上落后。
- Qwen3.8-27B 支持视频输入,默认开启思考,推理强度有
xhigh、medium和low。Inkling 2 Mini 的原生上下文更长,下载体积更小。
Inkling 2 Mini 对编程 agent 意味着什么
- Thinking Machines 把编程助手和 agent、工具调用系统列为预期用途,约 20 GB 的体积也小到可以在 32 GB 的 Mac 上本地运行,放在 agent harness 后面,用 Unsloth 的
llama-server命令把它服务在127.0.0.1:8080。 - 模型卡对风险说得很直接:使用工具时,它在遵循详细指令和项目约定方面不如更大的模型可靠,可能不经确认就执行破坏性操作,也可能不能准确报告自己工作的结果。
- 它给部署者的建议:在沙箱里运行 agent 工作负载,限制输出 token 数和 agent 轮数,高风险的输出保留人工审核。
可玩的演示:PlaneBench 飞行模拟器
据 vibegamer.io 称,Thinking Machines 随发布一起公布了一个飞行模拟器,发布文章称之为 PlaneBench 飞行模拟器演示。Inkling 2 Mini 在一次航班上、在 MacBook Pro 上离线用几分钟做出了它:你从跑道起飞,飞越程序生成的丘陵、山脉和海洋。可以在 vibegamer.io 上玩。
其他人用 Inkling 2 Mini 做的游戏,见 vibegamer.io 的 Inkling 2 Mini 游戏。
新模型只是一半,另一半是一份工作。
模型越来越好、越来越便宜,但围绕它们的 agent 仍在等下一条提示词。Crewmark 把编程 agent 会话变成 AI 员工:有角色、有用数字表示的目标、有工作时间、有心跳(heartbeat),所以它们会自己从看板上接下一个议题。Claude Code 和 Codex 员工以原生方式运行;其他 agent,比如 OpenCode、DeepSeek Harness 和 Gemini,通过 ACP(acpx)连接。员工用的是它的 agent 所运行的任何模型。
选一个角色
把工作放到看板上
分配议题,让常规工作定期重复,再让心跳唤醒员工去接下一个。
看看它能做什么
每个 agent 的工作、设置和规则见 Claude Code 用例和 Codex 用例。
常见问题
Inkling 2 Mini 是什么?
Thinking Machines Lab 于 2026 年 11 月 20 日发布的开源权重、Apache 2.0 许可的模型。它是循环混合专家 transformer,总参数 26.4B,激活 3.4B(有效 5.4B),输入文本和图像,输出文本,支持最长 1M token 的上下文。检查点约 20 GB。
Inkling 2 Mini 在 Hugging Face 的哪里?
在 thinkingmachines/Inkling-2-Mini,属于 Thinking Machines 的 Inkling 2 合集。Unsloth 的 GGUF 量化版在 unsloth/Inkling-2-Mini-GGUF。
怎么用 Ollama 运行 Inkling 2 Mini?
安装 Ollama 的预发布版,然后运行 ollama run inkling-2-mini。Ollama 的页面说需要内存 32GB 以上的 Mac,也能在 DGX Spark 上运行。每个标签都是 20GB。
Inkling 2 Mini 是谁做的?
Thinking Machines Lab。它是 Inkling 2 合集里较小的模型;较大的是 Inkling 2 Small,参数 594B。Thinking Machines 也通过它的 Tinker 平台提供这个模型。
Inkling 2 Mini 好用吗?
在 Thinking Machines 自己的表格里,它在 SWE-bench Verified(仅 bash)上得 79.2%,Terminal Bench v2.1 上 71.6%,MCP Atlas 上 82.7%。它的模型卡警告说,它可能自信地给出错误事实、陷入推理循环、不经确认就执行破坏性操作,所以请在沙箱里运行,并限制轮数和输出。
Artificial Analysis 怎么评价 Inkling 2 Mini?
2026 年 11 月 21 日,Artificial Analysis 给它的 Intelligence Index v5.0.1 是 20,输出速度每秒 280 个 token,每百万输入和输出 token 的价格为 $0.15 / $0.50。
Inkling 2 Mini 对比 Qwen 3.8 27B:哪个更好?
Artificial Analysis 给两者的 Intelligence Index 都是 20;它测得 Inkling 2 Mini 约快五倍,每 token 标价也更便宜。在 Thinking Machines 的表格里,Inkling 在 SWE-bench 和 MCP Atlas 上领先,在 Terminal Bench 和 MMMU Pro 上落后。Qwen3.8-27B 是稠密模型,支持视频输入,原生上下文 262K,而 Inkling 是 1M。
Inkling 2 Mini 需要多少内存?
Thinking Machines 支持内存 32GB 以上的 Apple silicon 或一台 DGX Spark,并建议其他 GPU 有 32GB 或更多显存。Unsloth 的 GGUF 量化版从 1 位的约 9 GB 到 8 位的 24 GB,推荐的 4 位 UD-Q4_K_XL 需要 17-18 GB。
已于 2026 年 11 月 21 日对照 Thinking Machines 的发布文章和模型卡、Hugging Face 模型页面、Ollama 库页面、Unsloth 指南和 Artificial Analysis 核对。我们没有运行这些命令。