Inkling 2 Mini 是什麼
Inkling 2 Mini 出自 Thinking Machines Lab,2026 年 11 月 20 日發布,權重放在 Hugging Face,採用 Apache 2.0 授權。Thinking Machines 列出的預期用途有:agent 和工具呼叫系統、程式設計助理、聊天機器人和檢索增強生成,以及研究、微調和第三方產品。
它是一個「迴圈式」(looped)transformer。模型儲存 24 個解碼器層,分成四個區塊,每塊六層。第一塊和最後一塊只執行一次。中間的 12 層(第 2、3 塊)用相同的權重連續執行三次。所以每個 token 要經過 48 次層運算,而磁碟上只存了 24 層。模型在不變大的前提下,每個 token 獲得了更多運算量。
前饋層是稀疏混合專家(MoE):每個 token 在每一層從 128 個專家中使用 8 個。Thinking Machines 訓練時用了 384 個專家,之後裁掉了其中三分之二。26.4B 參數中每個 token 啟用 3.4B;迴圈中每多跑一遍,約增加 1.0B 的有效啟用參數,所以三遍下來,每個 token 有效啟用 5.4B。
- 權重大部分是 4 位元:20 層用 NVFP4,最後 4 層用 MXFP8,合在一個約 20 GB 的檔案裡。
- 注意力混合了區域層和全域層。圖片經過視覺 transformer;Thinking Machines 建議圖片每條邊為 40 到 4096 像素。
- Inkling 2 Small 是它在同一個 Hugging Face 合集中的大型兄弟,參數 594B。
Inkling 2 Mini 規格
| Inkling 2 Mini | |
|---|---|
| 開發者 | Thinking Machines Lab, Inc. |
| 發布日期 | 2026 年 11 月 20 日 |
| 授權 | Apache 2.0 |
| Hugging Face 儲存庫 | thinkingmachines/Inkling-2-Mini |
| 參數 | 總計 26.4B,啟用 3.4B,三遍迴圈下每個 token 有效啟用 5.4B |
| 層數 | 儲存 24 層,每個 token 運算 48 層(中間 12 層執行三次) |
| 專家 | 每層每個 token 用 128 個中的 8 個 |
| 精度 | NVFP4(20 層)和 MXFP8(最後 4 層) |
| 檢查點大小 | 約 20 GB(主 safetensors 檔案 19.5 GB,外加 0.64 GB 的多 token 預測檔案) |
| 上下文視窗 | 最長 1M token |
| 輸入 / 輸出 | 輸入文字和圖片,輸出文字 |
| 預設取樣 | generation_config.json 中 temperature 為 1.0;模型卡沒有給出其他設定 |
| 訓練資料截止時間 | 未說明 |
如何執行 Inkling 2 Mini
下面的指令於 2026 年 11 月 21 日從各來源頁面複製而來。我們沒有親自執行過。
Ollama
Ollama 的模型庫頁面列出了
inkling-2-mini:latest、inkling-2-mini:26b-a5b和inkling-2-mini:26b-a5b-nvfp4(MLX),每個 20GB,上下文 1M,支援文字和圖片輸入。頁面說需要 Ollama 的預先發行版(連結的是預覽版下載,沒有版本號)和記憶體 32GB 以上的 Mac,也能在 DGX Spark 上執行。見 Ollama 的頁面。# 來自 Ollama 的模型庫頁面(需要 Ollama 預先發行版;記憶體 32GB 以上的 Mac) ollama run inkling-2-miniHugging Face
權重在 thinkingmachines/Inkling-2-Mini。模型卡本身沒有程式碼;它列出 SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth、llama.cpp(用於 GGUF)、Llama App、Ollama 和 Exo Labs 為支援的執行環境,並連結了 SGLang 和 vLLM 的食譜頁面。下面幾行是 Hugging Face 為 vLLM 自動產生的程式碼片段。
# Hugging Face 自動產生的「Use this model」程式碼片段,不是 Thinking Machines 寫的 pip install vllm vllm serve "thinkingmachines/Inkling-2-Mini"Unsloth GGUF:取得 Unsloth 的 llama.cpp 建置版本
Unsloth 的指南使用 Unsloth 的 llama.cpp 分支所發布的版本。這是它的 Apple silicon 建置版本;指南裡還有 NVIDIA CUDA 12、AMD ROCm、Windows CUDA 12 和 DGX Spark 的版本。
# Unsloth 指南:Unsloth 分支的 llama.cpp 建置版本,Apple silicon curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz mkdir -p llama.cpp tar -xzf llama.tar.gz -C llama.cpp --strip-components=1 ./llama.cpp/llama-server --version下載建議的量化版
這會從
unsloth/Inkling-2-Mini-GGUF下載 UD-Q4_K_XL(17.6 GB)、視覺投影器mmproj-F16.gguf(再加 639 MB)和一個 0.4 GB、用於推測解碼的草稿模型。pip install -U huggingface_hub hf download unsloth/Inkling-2-Mini-GGUF \ Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \ --local-dir Inkling-2-Mini-GGUF啟動 llama-server
Unsloth 針對 macOS、Linux 和 WSL 的指令。它設定了 32K 上下文;記憶體不夠就調低
--ctx-size。./llama.cpp/llama-server \ --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \ --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \ --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \ --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \ --jinja --ctx-size 32768 --n-gpu-layers 99 --parallel 1 \ --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \ --host 127.0.0.1 --port 8080或者使用 Unsloth CLI
同一份指南裡的一行指令。
unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \ --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0
Inkling 2 Mini 的 Unsloth GGUF 量化版
大小來自 Unsloth 的指南。Unsloth 建議使用 UD-Q4_K_XL。以 UD-Q8_K_XL 為參照,它測得 UD-Q4_K_XL 的平均 KL 散度為 0.0107,98.0% 的時候選出同一個最高機率 token;UD-Q3_K_XL 為 0.0174 / 96.3%;UD-Q2_K_XL 為 0.0595 / 91.6%;UD-IQ1_S 為 0.0911 / 89.4%。
| 量化版 | 檔案大小 | 備註 |
|---|---|---|
| UD-IQ1_S | 7.76 GB | - |
| UD-IQ1_M | 8.02 GB | - |
| UD-IQ2_XXS | 8.49 GB | - |
| UD-Q2_K_XL | 9.14 GB | - |
| UD-IQ3_XXS | 11.66 GB | - |
| UD-Q3_K_XL | 13.63 GB | - |
| UD-IQ4_XS | 15.73 GB | - |
| UD-Q4_K_M | 16.61 GB | - |
| UD-Q4_K_XL | 17.63 GB | Unsloth 建議 |
| UD-Q8_K_XL | 22.87 GB | KLD 數值的參照 |
建議設定
- 取樣:Unsloth 的指南用 temperature 1.0、top-p 1.0、top-k 0 和 min-p 0.0。Thinking Machines 的
generation_config.json只設定了 temperature 1.0。 - 上下文:Unsloth 從 32K(
--ctx-size 32768)起步,並說記憶體吃緊時就調低。模型本身支援最長 1M token。 - 推理:模型卡說,把推理強度設到最低並不能完全關閉推理。
- 限制:模型卡說模型有時會陷入很長的推理迴圈,尤其是在除錯程式碼時,並建議限制輸出 token 數和 agent 輪數。
Inkling 2 Mini 硬體需求
各來源怎麼說。圖片、更長的上下文和機器上的其他應用程式會佔用更多記憶體。模型卡還指出,本機執行環境對迴圈式模型的支援是新的,速度因執行環境和硬體而異,而且中間層執行三次,使每個 token 的運算量高於啟用參數量所顯示的水準。
| 來源 | 說法 |
|---|---|
| Thinking Machines 模型卡 | 檢查點約 20 GB。支援:1 台 NVIDIA DGX Spark,或記憶體 32GB 以上的 Apple silicon(MacBook、Mac mini、Mac Studio)。其他 GPU 和平台也可以,建議 32GB 或更多 VRAM。 |
| Thinking Machines 發布文章 | 透過 Ollama 可在任何至少 32GB 記憶體的 Mac 上執行。DGX Spark(128GB)原生支援 NVFP4。 |
| Ollama | 記憶體 32GB 以上的 Mac;也支援 DGX Spark。 |
| Unsloth(GGUF,RAM + VRAM 或統一記憶體) | 1 位元 9 GB,2 位元 10-11 GB,3 位元 13-15 GB,4 位元 17-18 GB,8 位元 24 GB。 |
Inkling 2 Mini 跑分(Thinking Machines 的數據)
這些是 Thinking Machines 在發布文章中公布的自家結果,從中挑選了一部分列。它們是自行回報的,不是獨立測試。
| 基準測試 | Inkling 2 Mini | Qwen3.8-27B | Gemma 4 31B | Nemotron 3.5 Super VL |
|---|---|---|---|---|
| DeepSWE v1.1 | 48.2% | 42.2% | 0.3% | 24.7% |
| SWE-bench Pro v2 (Hard) | 77.9% | 73.8% | 14.2% | 44.1% |
| SWE-bench Verified (bash only) | 79.2% | 77.8% | 46.1% | 71.1% |
| Terminal Bench v2.1 | 71.6% | 73.0% | 43.4% | 60.7% |
| Vals Index v2.2 | 46.5% | - | - | 29.8% |
| AA Index v5.0 | 20.1 | 20.1 | 4.4 | 13.6 |
| BrowseComp (with compaction) | 79.0% | 61.6% | 37.0% | 78.9% |
| MCP Atlas (Public) | 82.7% | 77.3% | 54.2% | 67.7% |
| HLE-Diamond | 15.2% | 15.3% | 7.2% | 8.8% |
| ARC-AGI v1 / v2 | 84.5% / 49.3% | 87.5% / 42.4% | - | 22.7% / 1.5% |
| MMMU Pro Standard 10 | 74.9% | 76.3% | 73.4% | 72.3% |
| AA-Omniscience non-hallucination rate | 63.4% | 71.4% | 14.5% | 69.5% |
Thinking Machines 自己說的不足之處
- MultiChallenge 50.0% 和 ComplexConstraints v1.1 33.4%,都落後於 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 上也落後於更大的模型。
- 效率:在 DGX Spark 上依史丹佛的每瓦智慧指標,文章給出 0.703,對比 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 和 Qwen3.5-27B 的 0.036。
- 模型卡中的限制:它比更大的模型更容易自信地給出錯誤資訊,可能不經詢問就刪除或覆寫檔案,英語以外的輸出品質較低。
Artificial Analysis 上的 Inkling 2 Mini(第三方)
Artificial Analysis(AA)是一個獨立的基準測試網站。以下數據來自它的 Inkling 2 Mini 頁面,查核於 2026 年 11 月 21 日;該頁面沒有顯示最後更新日期。
- Intelligence Index v5.0.1:20。
- 輸出速度:每秒 280 個 token。
- 價格:每百萬輸入 token $0.15,每百萬輸出 token $0.50。
- 跑完 Intelligence Index 的成本:$0.59,依 AA 的顯示。
- 上下文視窗:1M token。
Inkling 2 Mini 與 Qwen 3.8 27B 比較
規格來自兩個模型各自的 Hugging Face 模型卡,AA 各列來自 AA 的兩個模型頁面(兩個頁面都沒有提到對方;並排比較是我們做的),跑分各列來自 Thinking Machines 的表格。有一點要注意:Thinking Machines 給出的 Qwen 數字不一定是 Qwen 自己回報的那個版本。它的 73.8% 是在 SWE-bench Pro v2 (Hard) 上,15.3% 是在 HLE-Diamond 上;Qwen 自己的模型卡給出的是 SWE-bench Pro 61.7 和 HLE 30.8。不要把兩者混著用。兩邊在 Terminal Bench 2.1 上都回報 73.0。
| Inkling 2 Mini | Qwen3.8-27B | |
|---|---|---|
| 發布日期 | 2026 年 11 月 20 日 | 2026 年 8 月 14 日(據 AA) |
| 授權 | Apache 2.0 | Apache 2.0 |
| 架構 | 迴圈式 MoE:總計 26.4B,啟用 3.4B(有效 5.4B) | 稠密 27B,全部參數啟用,64 層 |
| 權重 | 約 20 GB,NVFP4 和 MXFP8 | BF16 |
| 原生上下文 | 1M token | 262,144 token,用 YaRN 最長到 1M |
| 輸入 | 文字、圖片 | 文字、圖片、影片 |
| AA Intelligence Index | 20 | 20(xhigh);medium 17,low 16,非推理 10 |
| AA 輸出速度 | 280 tok/s | 53 tok/s(xhigh) |
| AA 每 1M 輸入 / 輸出價格 | $0.15 / $0.50 | $0.50 / $3.00(Alibaba API) |
| SWE-bench Verified,僅 bash(TML) | 79.2% | 77.8% |
| SWE-bench Pro v2 Hard(TML) | 77.9% | 73.8% |
| Terminal Bench v2.1(TML) | 71.6% | 73.0% |
| MCP Atlas(TML) | 82.7% | 77.3% |
| BrowseComp(TML) | 79.0% | 61.6% |
這個比較說明了什麼
- AA Intelligence Index 相同(20),但 AA 測得 Inkling 2 Mini 的輸出速度約為五倍,標價的每 token 價格也較低。
- 在 Thinking Machines 的表格裡,Inkling 在 SWE 類基準、BrowseComp、MCP Atlas 和 ARC-AGI v2 上領先,在 Terminal Bench、ARC-AGI v1、MMMU Pro、HLE-Diamond(差 0.1)、AA-Omniscience、MultiChallenge 和 ComplexConstraints 上落後。
- Qwen3.8-27B 支援影片輸入,預設開啟思考,推理強度有
xhigh、medium和low。Inkling 2 Mini 的原生上下文較長,下載體積較小。
Inkling 2 Mini 對程式設計 agent 意味著什麼
- Thinking Machines 把程式設計助理和 agent、工具呼叫系統列為預期用途,約 20 GB 的大小也小到可以在 32 GB 的 Mac 上於本機執行,放在 agent harness 後面,用 Unsloth 的
llama-server指令把它服務在127.0.0.1:8080。 - 模型卡對風險說得很直接:使用工具時,它在遵循詳細指示和專案慣例方面不如更大的模型可靠,可能不經確認就執行破壞性操作,也可能無法準確回報自己工作的結果。
- 它給部署者的建議:在沙箱中執行 agent 工作負載,限制輸出 token 數和 agent 輪數,高風險的輸出保留人工審查。
可玩的示範:PlaneBench 飛行模擬器
據 vibegamer.io 表示,Thinking Machines 隨發布一起公布了一個飛行模擬器,發布文章稱之為 PlaneBench 飛行模擬器示範。Inkling 2 Mini 在一趟航程中、在 MacBook Pro 上離線用幾分鐘做出了它:你從跑道起飛,飛越程序生成的丘陵、山脈和海洋。可以在 vibegamer.io 上玩。
其他人用 Inkling 2 Mini 做的遊戲,見 vibegamer.io 的 Inkling 2 Mini 遊戲。
新模型只是一半,另一半是一份工作。
模型越來越好、越來越便宜,但圍繞它們的 agent 仍在等下一則提示詞。Crewmark 把程式設計 agent 工作階段變成 AI 員工:有角色、有用數字表示的目標、有工作時間、有 heartbeat,所以它們會自己從看板上接下一個議題。Claude Code 和 Codex 員工以原生方式執行;其他 agent,例如 OpenCode、DeepSeek Harness 和 Gemini,則透過 ACP(acpx)連接。員工使用的是它的 agent 所執行的任何模型。
選一個角色
把工作放到看板上
指派議題,讓例行工作定期重複,再讓 heartbeat 喚醒員工去接下一個。
看看它能做什麼
每個 agent 的工作、設定和規則見 Claude Code 使用案例和 Codex 使用案例。
常見問題
Inkling 2 Mini 是什麼?
Thinking Machines Lab 於 2026 年 11 月 20 日發布的開放權重、Apache 2.0 授權的模型。它是迴圈式混合專家 transformer,總參數 26.4B,啟用 3.4B(有效 5.4B),輸入文字和圖片,輸出文字,支援最長 1M token 的上下文。檢查點約 20 GB。
Inkling 2 Mini 在 Hugging Face 的哪裡?
在 thinkingmachines/Inkling-2-Mini,屬於 Thinking Machines 的 Inkling 2 合集。Unsloth 的 GGUF 量化版在 unsloth/Inkling-2-Mini-GGUF。
怎麼用 Ollama 執行 Inkling 2 Mini?
安裝 Ollama 的預先發行版,然後執行 ollama run inkling-2-mini。Ollama 的頁面說需要記憶體 32GB 以上的 Mac,也能在 DGX Spark 上執行。每個標籤都是 20GB。
Inkling 2 Mini 是誰做的?
Thinking Machines Lab。它是 Inkling 2 合集裡較小的模型;較大的是 Inkling 2 Small,參數 594B。Thinking Machines 也透過它的 Tinker 平台提供這個模型。
Inkling 2 Mini 好用嗎?
在 Thinking Machines 自己的表格裡,它在 SWE-bench Verified(僅 bash)上得 79.2%,Terminal Bench v2.1 上 71.6%,MCP Atlas 上 82.7%。它的模型卡警告說,它可能自信地給出錯誤事實、陷入推理迴圈、不經確認就執行破壞性操作,所以請在沙箱中執行,並限制輪數和輸出。
Artificial Analysis 怎麼評價 Inkling 2 Mini?
2026 年 11 月 21 日,Artificial Analysis 給它的 Intelligence Index v5.0.1 是 20,輸出速度每秒 280 個 token,每百萬輸入和輸出 token 的價格為 $0.15 / $0.50。
Inkling 2 Mini 對比 Qwen 3.8 27B:哪個比較好?
Artificial Analysis 給兩者的 Intelligence Index 都是 20;它測得 Inkling 2 Mini 約快五倍,每 token 標價也較便宜。在 Thinking Machines 的表格裡,Inkling 在 SWE-bench 和 MCP Atlas 上領先,在 Terminal Bench 和 MMMU Pro 上落後。Qwen3.8-27B 是稠密模型,支援影片輸入,原生上下文 262K,而 Inkling 是 1M。
Inkling 2 Mini 需要多少記憶體?
Thinking Machines 支援記憶體 32GB 以上的 Apple silicon 或一台 DGX Spark,並建議其他 GPU 有 32GB 或更多 VRAM。Unsloth 的 GGUF 量化版從 1 位元的約 9 GB 到 8 位元的 24 GB,建議的 4 位元 UD-Q4_K_XL 需要 17-18 GB。
已於 2026 年 11 月 21 日對照 Thinking Machines 的發布文章和模型卡、Hugging Face 模型頁面、Ollama 的模型庫頁面、Unsloth 指南和 Artificial Analysis 查核。我們沒有執行這些指令。