部落格 · AI 模型

Inkling 2 Mini:規格、跑分,以及如何用 Ollama 和 Hugging Face 執行

Inkling 2 Mini 是 Thinking Machines Lab 於 2026 年 11 月 20 日發布的開放權重、Apache 2.0 授權的迴圈式(looped)混合專家模型:總參數 26.4B,啟用參數 3.4B,單一檢查點約 20 GB,可在 32 GB 記憶體的 Mac 或一台 NVIDIA DGX Spark 上執行。它輸入文字和圖片,輸出文字,上下文視窗最長 1M token。這篇指南說明「迴圈」是什麼意思、規格、如何用 Ollama、Hugging Face 和 Unsloth 的 GGUF 量化版執行、所需硬體、Thinking Machines 和 Artificial Analysis 的跑分,以及它與 Qwen3.8-27B 的比較。更新於 2026 年 11 月 21 日。

Inkling 2 Mini 是什麼

Inkling 2 Mini 出自 Thinking Machines Lab,2026 年 11 月 20 日發布,權重放在 Hugging Face,採用 Apache 2.0 授權。Thinking Machines 列出的預期用途有:agent 和工具呼叫系統、程式設計助理、聊天機器人和檢索增強生成,以及研究、微調和第三方產品。

它是一個「迴圈式」(looped)transformer。模型儲存 24 個解碼器層,分成四個區塊,每塊六層。第一塊和最後一塊只執行一次。中間的 12 層(第 2、3 塊)用相同的權重連續執行三次。所以每個 token 要經過 48 次層運算,而磁碟上只存了 24 層。模型在不變大的前提下,每個 token 獲得了更多運算量。

前饋層是稀疏混合專家(MoE):每個 token 在每一層從 128 個專家中使用 8 個。Thinking Machines 訓練時用了 384 個專家,之後裁掉了其中三分之二。26.4B 參數中每個 token 啟用 3.4B;迴圈中每多跑一遍,約增加 1.0B 的有效啟用參數,所以三遍下來,每個 token 有效啟用 5.4B。

  • 權重大部分是 4 位元:20 層用 NVFP4,最後 4 層用 MXFP8,合在一個約 20 GB 的檔案裡。
  • 注意力混合了區域層和全域層。圖片經過視覺 transformer;Thinking Machines 建議圖片每條邊為 40 到 4096 像素。
  • Inkling 2 Small 是它在同一個 Hugging Face 合集中的大型兄弟,參數 594B。

Inkling 2 Mini 規格

Inkling 2 Mini
開發者Thinking Machines Lab, Inc.
發布日期2026 年 11 月 20 日
授權Apache 2.0
Hugging Face 儲存庫thinkingmachines/Inkling-2-Mini
參數總計 26.4B,啟用 3.4B,三遍迴圈下每個 token 有效啟用 5.4B
層數儲存 24 層,每個 token 運算 48 層(中間 12 層執行三次)
專家每層每個 token 用 128 個中的 8 個
精度NVFP4(20 層)和 MXFP8(最後 4 層)
檢查點大小約 20 GB(主 safetensors 檔案 19.5 GB,外加 0.64 GB 的多 token 預測檔案)
上下文視窗最長 1M token
輸入 / 輸出輸入文字和圖片,輸出文字
預設取樣generation_config.json 中 temperature 為 1.0;模型卡沒有給出其他設定
訓練資料截止時間未說明

如何執行 Inkling 2 Mini

下面的指令於 2026 年 11 月 21 日從各來源頁面複製而來。我們沒有親自執行過。

  1. Ollama

    Ollama 的模型庫頁面列出了 inkling-2-mini:latest、inkling-2-mini:26b-a5b 和 inkling-2-mini:26b-a5b-nvfp4(MLX),每個 20GB,上下文 1M,支援文字和圖片輸入。頁面說需要 Ollama 的預先發行版(連結的是預覽版下載,沒有版本號)和記憶體 32GB 以上的 Mac,也能在 DGX Spark 上執行。見 Ollama 的頁面。

    # 來自 Ollama 的模型庫頁面(需要 Ollama 預先發行版;記憶體 32GB 以上的 Mac)
    ollama run inkling-2-mini
  2. Hugging Face

    權重在 thinkingmachines/Inkling-2-Mini。模型卡本身沒有程式碼;它列出 SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth、llama.cpp(用於 GGUF)、Llama App、Ollama 和 Exo Labs 為支援的執行環境,並連結了 SGLang 和 vLLM 的食譜頁面。下面幾行是 Hugging Face 為 vLLM 自動產生的程式碼片段。

    # Hugging Face 自動產生的「Use this model」程式碼片段,不是 Thinking Machines 寫的
    pip install vllm
    vllm serve "thinkingmachines/Inkling-2-Mini"
  3. Unsloth GGUF:取得 Unsloth 的 llama.cpp 建置版本

    Unsloth 的指南使用 Unsloth 的 llama.cpp 分支所發布的版本。這是它的 Apple silicon 建置版本;指南裡還有 NVIDIA CUDA 12、AMD ROCm、Windows CUDA 12 和 DGX Spark 的版本。

    # Unsloth 指南:Unsloth 分支的 llama.cpp 建置版本,Apple silicon
    curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz
    mkdir -p llama.cpp
    tar -xzf llama.tar.gz -C llama.cpp --strip-components=1
    ./llama.cpp/llama-server --version
  4. 下載建議的量化版

    這會從 unsloth/Inkling-2-Mini-GGUF 下載 UD-Q4_K_XL(17.6 GB)、視覺投影器 mmproj-F16.gguf(再加 639 MB)和一個 0.4 GB、用於推測解碼的草稿模型。

    pip install -U huggingface_hub
    hf download unsloth/Inkling-2-Mini-GGUF \
        Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \
        --local-dir Inkling-2-Mini-GGUF
  5. 啟動 llama-server

    Unsloth 針對 macOS、Linux 和 WSL 的指令。它設定了 32K 上下文;記憶體不夠就調低 --ctx-size。

    ./llama.cpp/llama-server \
        --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \
        --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \
        --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \
        --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \
        --jinja --ctx-size 32768 --n-gpu-layers 99 --parallel 1 \
        --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \
        --host 127.0.0.1 --port 8080
  6. 或者使用 Unsloth CLI

    同一份指南裡的一行指令。

    unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \
        --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0

來源:Ollama、Hugging Face、Unsloth

Inkling 2 Mini 的 Unsloth GGUF 量化版

大小來自 Unsloth 的指南。Unsloth 建議使用 UD-Q4_K_XL。以 UD-Q8_K_XL 為參照,它測得 UD-Q4_K_XL 的平均 KL 散度為 0.0107,98.0% 的時候選出同一個最高機率 token;UD-Q3_K_XL 為 0.0174 / 96.3%;UD-Q2_K_XL 為 0.0595 / 91.6%;UD-IQ1_S 為 0.0911 / 89.4%。

量化版檔案大小備註
UD-IQ1_S7.76 GB-
UD-IQ1_M8.02 GB-
UD-IQ2_XXS8.49 GB-
UD-Q2_K_XL9.14 GB-
UD-IQ3_XXS11.66 GB-
UD-Q3_K_XL13.63 GB-
UD-IQ4_XS15.73 GB-
UD-Q4_K_M16.61 GB-
UD-Q4_K_XL17.63 GBUnsloth 建議
UD-Q8_K_XL22.87 GBKLD 數值的參照

建議設定

  • 取樣:Unsloth 的指南用 temperature 1.0、top-p 1.0、top-k 0 和 min-p 0.0。Thinking Machines 的 generation_config.json 只設定了 temperature 1.0。
  • 上下文:Unsloth 從 32K(--ctx-size 32768)起步,並說記憶體吃緊時就調低。模型本身支援最長 1M token。
  • 推理:模型卡說,把推理強度設到最低並不能完全關閉推理。
  • 限制:模型卡說模型有時會陷入很長的推理迴圈,尤其是在除錯程式碼時,並建議限制輸出 token 數和 agent 輪數。

Inkling 2 Mini 硬體需求

各來源怎麼說。圖片、更長的上下文和機器上的其他應用程式會佔用更多記憶體。模型卡還指出,本機執行環境對迴圈式模型的支援是新的,速度因執行環境和硬體而異,而且中間層執行三次,使每個 token 的運算量高於啟用參數量所顯示的水準。

來源說法
Thinking Machines 模型卡檢查點約 20 GB。支援:1 台 NVIDIA DGX Spark,或記憶體 32GB 以上的 Apple silicon(MacBook、Mac mini、Mac Studio)。其他 GPU 和平台也可以,建議 32GB 或更多 VRAM。
Thinking Machines 發布文章透過 Ollama 可在任何至少 32GB 記憶體的 Mac 上執行。DGX Spark(128GB)原生支援 NVFP4。
Ollama記憶體 32GB 以上的 Mac;也支援 DGX Spark。
Unsloth(GGUF,RAM + VRAM 或統一記憶體)1 位元 9 GB,2 位元 10-11 GB,3 位元 13-15 GB,4 位元 17-18 GB,8 位元 24 GB。

Inkling 2 Mini 跑分(Thinking Machines 的數據)

這些是 Thinking Machines 在發布文章中公布的自家結果,從中挑選了一部分列。它們是自行回報的,不是獨立測試。

基準測試Inkling 2 MiniQwen3.8-27BGemma 4 31BNemotron 3.5 Super VL
DeepSWE v1.148.2%42.2%0.3%24.7%
SWE-bench Pro v2 (Hard)77.9%73.8%14.2%44.1%
SWE-bench Verified (bash only)79.2%77.8%46.1%71.1%
Terminal Bench v2.171.6%73.0%43.4%60.7%
Vals Index v2.246.5%--29.8%
AA Index v5.020.120.14.413.6
BrowseComp (with compaction)79.0%61.6%37.0%78.9%
MCP Atlas (Public)82.7%77.3%54.2%67.7%
HLE-Diamond15.2%15.3%7.2%8.8%
ARC-AGI v1 / v284.5% / 49.3%87.5% / 42.4%-22.7% / 1.5%
MMMU Pro Standard 1074.9%76.3%73.4%72.3%
AA-Omniscience non-hallucination rate63.4%71.4%14.5%69.5%

Thinking Machines 自己說的不足之處

  • MultiChallenge 50.0% 和 ComplexConstraints v1.1 33.4%,都落後於 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 上也落後於更大的模型。
  • 效率:在 DGX Spark 上依史丹佛的每瓦智慧指標,文章給出 0.703,對比 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 和 Qwen3.5-27B 的 0.036。
  • 模型卡中的限制:它比更大的模型更容易自信地給出錯誤資訊,可能不經詢問就刪除或覆寫檔案,英語以外的輸出品質較低。

Artificial Analysis 上的 Inkling 2 Mini(第三方)

Artificial Analysis(AA)是一個獨立的基準測試網站。以下數據來自它的 Inkling 2 Mini 頁面,查核於 2026 年 11 月 21 日;該頁面沒有顯示最後更新日期。

  • Intelligence Index v5.0.1:20。
  • 輸出速度:每秒 280 個 token。
  • 價格:每百萬輸入 token $0.15,每百萬輸出 token $0.50。
  • 跑完 Intelligence Index 的成本:$0.59,依 AA 的顯示。
  • 上下文視窗:1M token。

Inkling 2 Mini 與 Qwen 3.8 27B 比較

規格來自兩個模型各自的 Hugging Face 模型卡,AA 各列來自 AA 的兩個模型頁面(兩個頁面都沒有提到對方;並排比較是我們做的),跑分各列來自 Thinking Machines 的表格。有一點要注意:Thinking Machines 給出的 Qwen 數字不一定是 Qwen 自己回報的那個版本。它的 73.8% 是在 SWE-bench Pro v2 (Hard) 上,15.3% 是在 HLE-Diamond 上;Qwen 自己的模型卡給出的是 SWE-bench Pro 61.7 和 HLE 30.8。不要把兩者混著用。兩邊在 Terminal Bench 2.1 上都回報 73.0。

Inkling 2 MiniQwen3.8-27B
發布日期2026 年 11 月 20 日2026 年 8 月 14 日(據 AA)
授權Apache 2.0Apache 2.0
架構迴圈式 MoE:總計 26.4B,啟用 3.4B(有效 5.4B)稠密 27B,全部參數啟用,64 層
權重約 20 GB,NVFP4 和 MXFP8BF16
原生上下文1M token262,144 token,用 YaRN 最長到 1M
輸入文字、圖片文字、圖片、影片
AA Intelligence Index2020(xhigh);medium 17,low 16,非推理 10
AA 輸出速度280 tok/s53 tok/s(xhigh)
AA 每 1M 輸入 / 輸出價格$0.15 / $0.50$0.50 / $3.00(Alibaba API)
SWE-bench Verified,僅 bash(TML)79.2%77.8%
SWE-bench Pro v2 Hard(TML)77.9%73.8%
Terminal Bench v2.1(TML)71.6%73.0%
MCP Atlas(TML)82.7%77.3%
BrowseComp(TML)79.0%61.6%

這個比較說明了什麼

  • AA Intelligence Index 相同(20),但 AA 測得 Inkling 2 Mini 的輸出速度約為五倍,標價的每 token 價格也較低。
  • 在 Thinking Machines 的表格裡,Inkling 在 SWE 類基準、BrowseComp、MCP Atlas 和 ARC-AGI v2 上領先,在 Terminal Bench、ARC-AGI v1、MMMU Pro、HLE-Diamond(差 0.1)、AA-Omniscience、MultiChallenge 和 ComplexConstraints 上落後。
  • Qwen3.8-27B 支援影片輸入,預設開啟思考,推理強度有 xhigh、medium 和 low。Inkling 2 Mini 的原生上下文較長,下載體積較小。

Inkling 2 Mini 對程式設計 agent 意味著什麼

  • Thinking Machines 把程式設計助理和 agent、工具呼叫系統列為預期用途,約 20 GB 的大小也小到可以在 32 GB 的 Mac 上於本機執行,放在 agent harness 後面,用 Unsloth 的 llama-server 指令把它服務在 127.0.0.1:8080。
  • 模型卡對風險說得很直接:使用工具時,它在遵循詳細指示和專案慣例方面不如更大的模型可靠,可能不經確認就執行破壞性操作,也可能無法準確回報自己工作的結果。
  • 它給部署者的建議:在沙箱中執行 agent 工作負載,限制輸出 token 數和 agent 輪數,高風險的輸出保留人工審查。

可玩的示範:PlaneBench 飛行模擬器

據 vibegamer.io 表示,Thinking Machines 隨發布一起公布了一個飛行模擬器,發布文章稱之為 PlaneBench 飛行模擬器示範。Inkling 2 Mini 在一趟航程中、在 MacBook Pro 上離線用幾分鐘做出了它:你從跑道起飛,飛越程序生成的丘陵、山脈和海洋。可以在 vibegamer.io 上玩。

其他人用 Inkling 2 Mini 做的遊戲,見 vibegamer.io 的 Inkling 2 Mini 遊戲。

搭配 Crewmark

新模型只是一半,另一半是一份工作。

模型越來越好、越來越便宜,但圍繞它們的 agent 仍在等下一則提示詞。Crewmark 把程式設計 agent 工作階段變成 AI 員工:有角色、有用數字表示的目標、有工作時間、有 heartbeat,所以它們會自己從看板上接下一個議題。Claude Code 和 Codex 員工以原生方式執行;其他 agent,例如 OpenCode、DeepSeek Harness 和 Gemini,則透過 ACP(acpx)連接。員工使用的是它的 agent 所執行的任何模型。

  1. 選一個角色

    從 AI 員工角色中挑選,例如 AI 軟體工程師。

  2. 把工作放到看板上

    指派議題,讓例行工作定期重複,再讓 heartbeat 喚醒員工去接下一個。

  3. 看看它能做什麼

    每個 agent 的工作、設定和規則見 Claude Code 使用案例和 Codex 使用案例。

常見問題

Inkling 2 Mini 是什麼?

Thinking Machines Lab 於 2026 年 11 月 20 日發布的開放權重、Apache 2.0 授權的模型。它是迴圈式混合專家 transformer,總參數 26.4B,啟用 3.4B(有效 5.4B),輸入文字和圖片,輸出文字,支援最長 1M token 的上下文。檢查點約 20 GB。

Inkling 2 Mini 在 Hugging Face 的哪裡?

在 thinkingmachines/Inkling-2-Mini,屬於 Thinking Machines 的 Inkling 2 合集。Unsloth 的 GGUF 量化版在 unsloth/Inkling-2-Mini-GGUF。

怎麼用 Ollama 執行 Inkling 2 Mini?

安裝 Ollama 的預先發行版,然後執行 ollama run inkling-2-mini。Ollama 的頁面說需要記憶體 32GB 以上的 Mac,也能在 DGX Spark 上執行。每個標籤都是 20GB。

Inkling 2 Mini 是誰做的?

Thinking Machines Lab。它是 Inkling 2 合集裡較小的模型;較大的是 Inkling 2 Small,參數 594B。Thinking Machines 也透過它的 Tinker 平台提供這個模型。

Inkling 2 Mini 好用嗎?

在 Thinking Machines 自己的表格裡,它在 SWE-bench Verified(僅 bash)上得 79.2%,Terminal Bench v2.1 上 71.6%,MCP Atlas 上 82.7%。它的模型卡警告說,它可能自信地給出錯誤事實、陷入推理迴圈、不經確認就執行破壞性操作,所以請在沙箱中執行,並限制輪數和輸出。

Artificial Analysis 怎麼評價 Inkling 2 Mini?

2026 年 11 月 21 日,Artificial Analysis 給它的 Intelligence Index v5.0.1 是 20,輸出速度每秒 280 個 token,每百萬輸入和輸出 token 的價格為 $0.15 / $0.50。

Inkling 2 Mini 對比 Qwen 3.8 27B:哪個比較好?

Artificial Analysis 給兩者的 Intelligence Index 都是 20;它測得 Inkling 2 Mini 約快五倍,每 token 標價也較便宜。在 Thinking Machines 的表格裡,Inkling 在 SWE-bench 和 MCP Atlas 上領先,在 Terminal Bench 和 MMMU Pro 上落後。Qwen3.8-27B 是稠密模型,支援影片輸入,原生上下文 262K,而 Inkling 是 1M。

Inkling 2 Mini 需要多少記憶體?

Thinking Machines 支援記憶體 32GB 以上的 Apple silicon 或一台 DGX Spark,並建議其他 GPU 有 32GB 或更多 VRAM。Unsloth 的 GGUF 量化版從 1 位元的約 9 GB 到 8 位元的 24 GB,建議的 4 位元 UD-Q4_K_XL 需要 17-18 GB。

已於 2026 年 11 月 21 日對照 Thinking Machines 的發布文章和模型卡、Hugging Face 模型頁面、Ollama 的模型庫頁面、Unsloth 指南和 Artificial Analysis 查核。我們沒有執行這些指令。

讓最新的模型接上一份長期的工作。

Crewmark 把程式設計 agent 工作階段變成 AI 員工,有角色、目標、工作時間和 heartbeat。

Crewmark 是開源的:到 GitHub 給個 Star