博客 · AI 模型

Inkling 2 Mini:规格、跑分,以及如何用 Ollama 和 Hugging Face 运行

Inkling 2 Mini 是 Thinking Machines Lab 于 2026 年 11 月 20 日发布的开源权重、Apache 2.0 许可的循环(looped)混合专家模型:总参数 26.4B,激活参数 3.4B,单个检查点约 20 GB,可在 32 GB 内存的 Mac 或一台 NVIDIA DGX Spark 上运行。它输入文本和图像,输出文本,上下文窗口最长 1M token。这篇指南讲“循环”是什么意思、规格、如何用 Ollama、Hugging Face 和 Unsloth 的 GGUF 量化版运行、所需硬件、Thinking Machines 和 Artificial Analysis 的跑分,以及它与 Qwen3.8-27B 的对比。更新于 2026 年 11 月 21 日。

Inkling 2 Mini 是什么

Inkling 2 Mini 出自 Thinking Machines Lab,2026 年 11 月 20 日发布,权重在 Hugging Face 上,采用 Apache 2.0 许可。Thinking Machines 列出的预期用途有:agent 和工具调用系统、编程助手、聊天机器人和检索增强生成,以及研究、微调和第三方产品。

它是一个“循环”(looped)transformer。模型存储 24 个解码器层,分成四个块,每块六层。第一块和最后一块只运行一次。中间的 12 层(第 2、3 块)用同样的权重连续运行三次。所以每个 token 要经过 48 次层运算,而磁盘上只存了 24 层。模型在不变大的前提下,每个 token 获得了更多计算量。

前馈层是稀疏混合专家(MoE):每个 token 在每层从 128 个专家中用 8 个。Thinking Machines 训练时用了 384 个专家,之后裁掉了其中三分之二。26.4B 参数里每个 token 激活 3.4B;循环中每多过一遍,约增加 1.0B 的有效激活参数,所以三遍下来,每个 token 有效激活 5.4B。

  • 权重大部分是 4 位:20 层用 NVFP4,最后 4 层用 MXFP8,合在一个约 20 GB 的文件里。
  • 注意力混合了局部层和全局层。图像经过视觉 transformer;Thinking Machines 建议图像每条边为 40 到 4096 像素。
  • Inkling 2 Small 是它在同一个 Hugging Face 合集里的大号兄弟,参数 594B。

Inkling 2 Mini 规格

Inkling 2 Mini
开发方Thinking Machines Lab, Inc.
发布日期2026 年 11 月 20 日
许可证Apache 2.0
Hugging Face 仓库thinkingmachines/Inkling-2-Mini
参数总计 26.4B,激活 3.4B,三遍循环下每个 token 有效激活 5.4B
层数存储 24 层,每个 token 运算 48 层(中间 12 层运行三次)
专家每层每个 token 用 128 个中的 8 个
精度NVFP4(20 层)和 MXFP8(最后 4 层)
检查点大小约 20 GB(主 safetensors 文件 19.5 GB,外加 0.64 GB 的多 token 预测文件)
上下文窗口最长 1M token
输入 / 输出输入文本和图像,输出文本
默认采样generation_config.json 里 temperature 为 1.0;模型卡没有给出其他设置
训练数据截止时间未说明

如何运行 Inkling 2 Mini

下面的命令于 2026 年 11 月 21 日从各来源页面复制而来。我们没有亲自运行过。

  1. Ollama

    Ollama 库页面列出了 inkling-2-mini:latest、inkling-2-mini:26b-a5b 和 inkling-2-mini:26b-a5b-nvfp4(MLX),每个 20GB,上下文 1M,支持文本和图像输入。页面说需要 Ollama 的预发布版(链接的是预览版下载,没有版本号)和内存 32GB 以上的 Mac,也能在 DGX Spark 上运行。见 Ollama 的页面。

    # 来自 Ollama 库页面(需要 Ollama 预发布版;内存 32GB 以上的 Mac)
    ollama run inkling-2-mini
  2. Hugging Face

    权重在 thinkingmachines/Inkling-2-Mini。模型卡本身没有代码;它列出 SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth、llama.cpp(用于 GGUF)、Llama App、Ollama 和 Exo Labs 为支持的运行时,并链接了 SGLang 和 vLLM 的配方页面。下面几行是 Hugging Face 为 vLLM 自动生成的代码片段。

    # Hugging Face 自动生成的“Use this model”代码片段,不是 Thinking Machines 写的
    pip install vllm
    vllm serve "thinkingmachines/Inkling-2-Mini"
  3. Unsloth GGUF:获取 Unsloth 的 llama.cpp 构建

    Unsloth 的指南使用 Unsloth 的 llama.cpp 分支的发布版本。这是它的 Apple silicon 构建;指南里还有 NVIDIA CUDA 12、AMD ROCm、Windows CUDA 12 和 DGX Spark 的构建。

    # Unsloth 指南:Unsloth 分支的 llama.cpp 构建,Apple silicon
    curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz
    mkdir -p llama.cpp
    tar -xzf llama.tar.gz -C llama.cpp --strip-components=1
    ./llama.cpp/llama-server --version
  4. 下载推荐的量化版

    这会从 unsloth/Inkling-2-Mini-GGUF 下载 UD-Q4_K_XL(17.6 GB)、视觉投影器 mmproj-F16.gguf(再加 639 MB)和一个 0.4 GB、用于推测解码的草稿模型。

    pip install -U huggingface_hub
    hf download unsloth/Inkling-2-Mini-GGUF \
        Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \
        --local-dir Inkling-2-Mini-GGUF
  5. 启动 llama-server

    Unsloth 针对 macOS、Linux 和 WSL 的命令。它设置了 32K 上下文;内存不够就调低 --ctx-size。

    ./llama.cpp/llama-server \
        --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \
        --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \
        --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \
        --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \
        --jinja --ctx-size 32768 --n-gpu-layers 99 --parallel 1 \
        --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \
        --host 127.0.0.1 --port 8080
  6. 或者用 Unsloth CLI

    同一份指南里的一条命令。

    unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \
        --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0

来源:Ollama、Hugging Face、Unsloth

Inkling 2 Mini 的 Unsloth GGUF 量化版

大小来自 Unsloth 的指南。Unsloth 推荐 UD-Q4_K_XL。以 UD-Q8_K_XL 为参照,它测得 UD-Q4_K_XL 的平均 KL 散度为 0.0107,98.0% 的时候选出同一个最高概率 token;UD-Q3_K_XL 为 0.0174 / 96.3%;UD-Q2_K_XL 为 0.0595 / 91.6%;UD-IQ1_S 为 0.0911 / 89.4%。

量化版文件大小备注
UD-IQ1_S7.76 GB-
UD-IQ1_M8.02 GB-
UD-IQ2_XXS8.49 GB-
UD-Q2_K_XL9.14 GB-
UD-IQ3_XXS11.66 GB-
UD-Q3_K_XL13.63 GB-
UD-IQ4_XS15.73 GB-
UD-Q4_K_M16.61 GB-
UD-Q4_K_XL17.63 GBUnsloth 推荐
UD-Q8_K_XL22.87 GBKLD 数值的参照

推荐设置

  • 采样:Unsloth 的指南用 temperature 1.0、top-p 1.0、top-k 0 和 min-p 0.0。Thinking Machines 的 generation_config.json 只设置了 temperature 1.0。
  • 上下文:Unsloth 从 32K(--ctx-size 32768)起步,并说内存紧张时就调低。模型本身支持最长 1M token。
  • 推理:模型卡说,把推理强度设到最低并不能完全关闭推理。
  • 限制:模型卡说模型有时会陷入很长的推理循环,尤其是在调试代码时,并建议限制输出 token 数和 agent 轮数。

Inkling 2 Mini 硬件要求

各来源怎么说。图像、更长的上下文和机器上的其他应用会占用更多内存。模型卡还指出,本地运行时对循环模型的支持是新的,速度因运行时和硬件而异,而且中间层运行三次,使每个 token 的计算量高于激活参数量所显示的水平。

来源说法
Thinking Machines 模型卡检查点约 20 GB。支持:1 台 NVIDIA DGX Spark,或内存 32GB 以上的 Apple silicon(MacBook、Mac mini、Mac Studio)。其他 GPU 和平台也可以,建议 32GB 或更多显存。
Thinking Machines 发布文章通过 Ollama 可在任何至少 32GB 内存的 Mac 上运行。DGX Spark(128GB)原生支持 NVFP4。
Ollama内存 32GB 以上的 Mac;也支持 DGX Spark。
Unsloth(GGUF,内存 + 显存或统一内存)1 位 9 GB,2 位 10-11 GB,3 位 13-15 GB,4 位 17-18 GB,8 位 24 GB。

Inkling 2 Mini 跑分(Thinking Machines 的数据)

这些是 Thinking Machines 在发布文章里公布的自家结果,从中挑选了一部分行。它们是自报的,不是独立测试。

基准测试Inkling 2 MiniQwen3.8-27BGemma 4 31BNemotron 3.5 Super VL
DeepSWE v1.148.2%42.2%0.3%24.7%
SWE-bench Pro v2 (Hard)77.9%73.8%14.2%44.1%
SWE-bench Verified (bash only)79.2%77.8%46.1%71.1%
Terminal Bench v2.171.6%73.0%43.4%60.7%
Vals Index v2.246.5%--29.8%
AA Index v5.020.120.14.413.6
BrowseComp (with compaction)79.0%61.6%37.0%78.9%
MCP Atlas (Public)82.7%77.3%54.2%67.7%
HLE-Diamond15.2%15.3%7.2%8.8%
ARC-AGI v1 / v284.5% / 49.3%87.5% / 42.4%-22.7% / 1.5%
MMMU Pro Standard 1074.9%76.3%73.4%72.3%
AA-Omniscience non-hallucination rate63.4%71.4%14.5%69.5%

Thinking Machines 自己说的不足之处

  • MultiChallenge 50.0% 和 ComplexConstraints v1.1 33.4%,都落后于 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 上也落后于更大的模型。
  • 效率:在 DGX Spark 上按斯坦福的每瓦智能指标,文章给出 0.703,对比 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 和 Qwen3.5-27B 的 0.036。
  • 模型卡里的局限:它比更大的模型更容易自信地给出错误信息,可能不经询问就删除或覆盖文件,英语以外的输出质量更低。

Artificial Analysis 上的 Inkling 2 Mini(第三方)

Artificial Analysis(AA)是一个独立的基准测试网站。以下数据来自它的 Inkling 2 Mini 页面,核对于 2026 年 11 月 21 日;该页面没有显示最后更新日期。

  • Intelligence Index v5.0.1:20。
  • 输出速度:每秒 280 个 token。
  • 价格:每百万输入 token $0.15,每百万输出 token $0.50。
  • 跑完 Intelligence Index 的成本:$0.59,按 AA 的显示。
  • 上下文窗口:1M token。

Inkling 2 Mini 与 Qwen 3.8 27B 对比

规格来自两个模型各自的 Hugging Face 模型卡,AA 各行来自 AA 的两个模型页面(两个页面都没有提到对方;并排对比是我们做的),跑分各行来自 Thinking Machines 的表格。有一点要注意:Thinking Machines 给出的 Qwen 数字不一定是 Qwen 自己报告的那个版本。它的 73.8% 是在 SWE-bench Pro v2 (Hard) 上,15.3% 是在 HLE-Diamond 上;Qwen 自己的模型卡给出的是 SWE-bench Pro 61.7 和 HLE 30.8。不要把两者混着用。两边在 Terminal Bench 2.1 上都报告 73.0。

Inkling 2 MiniQwen3.8-27B
发布日期2026 年 11 月 20 日2026 年 8 月 14 日(据 AA)
许可证Apache 2.0Apache 2.0
架构循环 MoE:总计 26.4B,激活 3.4B(有效 5.4B)稠密 27B,全部参数激活,64 层
权重约 20 GB,NVFP4 和 MXFP8BF16
原生上下文1M token262,144 token,用 YaRN 最长到 1M
输入文本、图像文本、图像、视频
AA Intelligence Index2020(xhigh);medium 17,low 16,非推理 10
AA 输出速度280 tok/s53 tok/s(xhigh)
AA 每 1M 输入 / 输出价格$0.15 / $0.50$0.50 / $3.00(Alibaba API)
SWE-bench Verified,仅 bash(TML)79.2%77.8%
SWE-bench Pro v2 Hard(TML)77.9%73.8%
Terminal Bench v2.1(TML)71.6%73.0%
MCP Atlas(TML)82.7%77.3%
BrowseComp(TML)79.0%61.6%

这个对比说明了什么

  • AA Intelligence Index 相同(20),但 AA 测得 Inkling 2 Mini 的输出速度约为五倍,标价的每 token 价格也更低。
  • 在 Thinking Machines 的表格里,Inkling 在 SWE 类基准、BrowseComp、MCP Atlas 和 ARC-AGI v2 上领先,在 Terminal Bench、ARC-AGI v1、MMMU Pro、HLE-Diamond(差 0.1)、AA-Omniscience、MultiChallenge 和 ComplexConstraints 上落后。
  • Qwen3.8-27B 支持视频输入,默认开启思考,推理强度有 xhigh、medium 和 low。Inkling 2 Mini 的原生上下文更长,下载体积更小。

Inkling 2 Mini 对编程 agent 意味着什么

  • Thinking Machines 把编程助手和 agent、工具调用系统列为预期用途,约 20 GB 的体积也小到可以在 32 GB 的 Mac 上本地运行,放在 agent harness 后面,用 Unsloth 的 llama-server 命令把它服务在 127.0.0.1:8080。
  • 模型卡对风险说得很直接:使用工具时,它在遵循详细指令和项目约定方面不如更大的模型可靠,可能不经确认就执行破坏性操作,也可能不能准确报告自己工作的结果。
  • 它给部署者的建议:在沙箱里运行 agent 工作负载,限制输出 token 数和 agent 轮数,高风险的输出保留人工审核。

可玩的演示:PlaneBench 飞行模拟器

据 vibegamer.io 称,Thinking Machines 随发布一起公布了一个飞行模拟器,发布文章称之为 PlaneBench 飞行模拟器演示。Inkling 2 Mini 在一次航班上、在 MacBook Pro 上离线用几分钟做出了它:你从跑道起飞,飞越程序生成的丘陵、山脉和海洋。可以在 vibegamer.io 上玩。

其他人用 Inkling 2 Mini 做的游戏,见 vibegamer.io 的 Inkling 2 Mini 游戏。

搭配 Crewmark

新模型只是一半,另一半是一份工作。

模型越来越好、越来越便宜,但围绕它们的 agent 仍在等下一条提示词。Crewmark 把编程 agent 会话变成 AI 员工:有角色、有用数字表示的目标、有工作时间、有心跳(heartbeat),所以它们会自己从看板上接下一个议题。Claude Code 和 Codex 员工以原生方式运行;其他 agent,比如 OpenCode、DeepSeek Harness 和 Gemini,通过 ACP(acpx)连接。员工用的是它的 agent 所运行的任何模型。

  1. 选一个角色

    从 AI 员工角色里选,比如 AI 软件工程师。

  2. 把工作放到看板上

    分配议题,让常规工作定期重复,再让心跳唤醒员工去接下一个。

  3. 看看它能做什么

    每个 agent 的工作、设置和规则见 Claude Code 用例和 Codex 用例。

常见问题

Inkling 2 Mini 是什么?

Thinking Machines Lab 于 2026 年 11 月 20 日发布的开源权重、Apache 2.0 许可的模型。它是循环混合专家 transformer,总参数 26.4B,激活 3.4B(有效 5.4B),输入文本和图像,输出文本,支持最长 1M token 的上下文。检查点约 20 GB。

Inkling 2 Mini 在 Hugging Face 的哪里?

在 thinkingmachines/Inkling-2-Mini,属于 Thinking Machines 的 Inkling 2 合集。Unsloth 的 GGUF 量化版在 unsloth/Inkling-2-Mini-GGUF。

怎么用 Ollama 运行 Inkling 2 Mini?

安装 Ollama 的预发布版,然后运行 ollama run inkling-2-mini。Ollama 的页面说需要内存 32GB 以上的 Mac,也能在 DGX Spark 上运行。每个标签都是 20GB。

Inkling 2 Mini 是谁做的?

Thinking Machines Lab。它是 Inkling 2 合集里较小的模型;较大的是 Inkling 2 Small,参数 594B。Thinking Machines 也通过它的 Tinker 平台提供这个模型。

Inkling 2 Mini 好用吗?

在 Thinking Machines 自己的表格里,它在 SWE-bench Verified(仅 bash)上得 79.2%,Terminal Bench v2.1 上 71.6%,MCP Atlas 上 82.7%。它的模型卡警告说,它可能自信地给出错误事实、陷入推理循环、不经确认就执行破坏性操作,所以请在沙箱里运行,并限制轮数和输出。

Artificial Analysis 怎么评价 Inkling 2 Mini?

2026 年 11 月 21 日,Artificial Analysis 给它的 Intelligence Index v5.0.1 是 20,输出速度每秒 280 个 token,每百万输入和输出 token 的价格为 $0.15 / $0.50。

Inkling 2 Mini 对比 Qwen 3.8 27B:哪个更好?

Artificial Analysis 给两者的 Intelligence Index 都是 20;它测得 Inkling 2 Mini 约快五倍,每 token 标价也更便宜。在 Thinking Machines 的表格里,Inkling 在 SWE-bench 和 MCP Atlas 上领先,在 Terminal Bench 和 MMMU Pro 上落后。Qwen3.8-27B 是稠密模型,支持视频输入,原生上下文 262K,而 Inkling 是 1M。

Inkling 2 Mini 需要多少内存?

Thinking Machines 支持内存 32GB 以上的 Apple silicon 或一台 DGX Spark,并建议其他 GPU 有 32GB 或更多显存。Unsloth 的 GGUF 量化版从 1 位的约 9 GB 到 8 位的 24 GB,推荐的 4 位 UD-Q4_K_XL 需要 17-18 GB。

已于 2026 年 11 月 21 日对照 Thinking Machines 的发布文章和模型卡、Hugging Face 模型页面、Ollama 库页面、Unsloth 指南和 Artificial Analysis 核对。我们没有运行这些命令。

让最新的模型接上一份长期的工作。

Crewmark 把编程 agent 会话变成 AI 员工,有角色、目标、工作时间和心跳。

Crewmark 是开源的:去 GitHub 点个 Star