Blog · KI-Modelle

Inkling 2 Mini: Specs, Benchmarks und Betrieb mit Ollama und Hugging Face

Inkling 2 Mini ist das Open-Weight-Looped-Mixture-of-Experts-Modell von Thinking Machines Lab unter Apache 2.0, erschienen am 20. November 2026: 26,4B Parameter gesamt und 3,4B aktiv in einem einzigen Checkpoint von etwa 20 GB, der auf einem Mac mit 32 GB Speicher oder auf einem einzelnen NVIDIA DGX Spark läuft. Es nimmt Text und Bilder entgegen, schreibt Text und hat ein Kontextfenster von bis zu 1M Tokens. Dieser Leitfaden erklärt, was „looped“ bedeutet, nennt die Specs, zeigt den Betrieb mit Ollama, Hugging Face und Unsloths GGUF-Quants, die nötige Hardware, die Benchmarks von Thinking Machines und Artificial Analysis und den Vergleich mit Qwen3.8-27B. Aktualisiert am 21. November 2026.

Was Inkling 2 Mini ist

Inkling 2 Mini stammt von Thinking Machines Lab und erschien am 20. November 2026, mit Gewichten auf Hugging Face unter Apache 2.0. Als vorgesehene Einsatzzwecke nennt Thinking Machines agentische und Tool-Use-Systeme, Coding-Assistenten, Chatbots und Retrieval-Augmented Generation sowie Forschung, Fine-Tuning und Produkte von Drittanbietern.

Es ist ein „Looped“-Transformer. Das Modell speichert 24 Decoder-Schichten, gruppiert in vier Blöcke zu je sechs. Der erste und der letzte Block laufen einmal. Die mittleren 12 Schichten (Blöcke 2 und 3) laufen dreimal hintereinander mit denselben Gewichten. Jeder Token durchläuft also 48 Schichtanwendungen, obwohl nur 24 Schichten auf der Platte liegen. Das Modell bekommt mehr Rechenaufwand pro Token, ohne größer zu werden.

Die Feed-Forward-Schichten sind ein sparsames Mixture of Experts: Jeder Token nutzt pro Schicht 8 von 128 Experten. Thinking Machines hat mit 384 Experten trainiert und zwei Drittel davon beschnitten. Von 26,4B Parametern sind 3,4B pro Token aktiv; jeder zusätzliche Durchlauf durch die Schleife fügt etwa 1,0B effektiv aktive Parameter hinzu, bei drei Durchläufen sind es also 5,4B effektiv aktiv pro Token.

  • Die Gewichte sind überwiegend 4-Bit: NVFP4 für 20 Schichten und MXFP8 für die letzten 4, in einer Datei von etwa 20 GB.
  • Die Attention mischt lokale und globale Schichten. Bilder laufen durch einen Vision Transformer; Thinking Machines empfiehlt für jede Bildseite 40 bis 4096 Pixel.
  • Inkling 2 Small ist das größere Geschwistermodell in derselben Hugging-Face-Collection, mit 594B Parametern.

Specs von Inkling 2 Mini

Inkling 2 Mini
HerstellerThinking Machines Lab, Inc.
Veröffentlicht20. November 2026
LizenzApache 2.0
Hugging-Face-Repothinkingmachines/Inkling-2-Mini
Parameter26,4B gesamt, 3,4B aktiv, 5,4B effektiv aktiv pro Token bei drei Schleifendurchläufen
Schichten24 gespeichert, 48 pro Token angewendet (die mittleren 12 laufen dreimal)
Experten8 von 128 pro Token und Schicht
PräzisionNVFP4 (20 Schichten) und MXFP8 (letzte 4)
Checkpoint-GrößeEtwa 20 GB (Haupt-Safetensors-Datei 19,5 GB, plus eine Multi-Token-Prediction-Datei mit 0,64 GB)
KontextfensterBis zu 1M Tokens
Ein- / AusgabeText und Bild rein, Text raus
Standard-Samplingtemperature 1.0 in generation_config.json; die Model Card nennt keine weiteren Einstellungen
Stichtag der TrainingsdatenNicht angegeben

So führst du Inkling 2 Mini aus

Die folgenden Befehle wurden am 21. November 2026 von der jeweiligen Quellseite kopiert. Wir haben sie nicht selbst ausgeführt.

  1. Ollama

    Ollamas Bibliotheksseite listet inkling-2-mini:latest, inkling-2-mini:26b-a5b und inkling-2-mini:26b-a5b-nvfp4 (MLX), jeweils 20GB mit 1M Kontext und Text- und Bildeingabe. Laut Seite braucht es Ollamas Pre-Release (sie verlinkt einen Vorschau-Download, ohne Versionsnummer) und einen Mac mit 32GB+ Speicher; außerdem läuft es auf einem DGX Spark. Siehe Ollamas Seite.

    # Von Ollamas Bibliotheksseite (benötigt Ollamas Pre-Release; Mac mit 32 GB Speicher oder mehr)
    ollama run inkling-2-mini
  2. Hugging Face

    Die Gewichte liegen unter thinkingmachines/Inkling-2-Mini. Die Model Card enthält keinen eigenen Code; sie nennt SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth, llama.cpp (für GGUF), Llama App, Ollama und Exo Labs als unterstützt und verlinkt Rezeptseiten für SGLang und vLLM. Die Zeilen unten sind Hugging Faces automatisch erzeugter Snippet für vLLM.

    # Automatisch erzeugter „Use this model“-Snippet von Hugging Face, nicht von Thinking Machines geschrieben
    pip install vllm
    vllm serve "thinkingmachines/Inkling-2-Mini"
  3. Unsloth GGUF: Unsloths llama.cpp-Build besorgen

    Unsloths Anleitung nutzt Releases aus Unsloths llama.cpp-Fork. Das ist der Build für Apple Silicon; die Anleitung enthält auch Builds für NVIDIA CUDA 12, AMD ROCm, Windows CUDA 12 und DGX Spark.

    # Unsloths Anleitung: llama.cpp-Build aus Unsloths Fork, Apple Silicon
    curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz
    mkdir -p llama.cpp
    tar -xzf llama.tar.gz -C llama.cpp --strip-components=1
    ./llama.cpp/llama-server --version
  4. Den empfohlenen Quant herunterladen

    Das lädt UD-Q4_K_XL (17,6 GB), den Vision-Projektor mmproj-F16.gguf (zusätzlich 639 MB) und ein 0,4 GB großes Draft-Modell für Speculative Decoding von unsloth/Inkling-2-Mini-GGUF.

    pip install -U huggingface_hub
    hf download unsloth/Inkling-2-Mini-GGUF \
        Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \
        --local-dir Inkling-2-Mini-GGUF
  5. llama-server starten

    Unsloths Befehl für macOS, Linux und WSL. Er setzt einen Kontext von 32K; verkleinere --ctx-size, wenn der Speicher knapp wird.

    ./llama.cpp/llama-server \
        --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \
        --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \
        --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \
        --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \
        --jinja --ctx-size 32768 --n-gpu-layers 99 --parallel 1 \
        --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \
        --host 127.0.0.1 --port 8080
  6. Oder die Unsloth-CLI nutzen

    Ein Befehl aus derselben Anleitung.

    unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \
        --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0

Quellen: Ollama, Hugging Face, Unsloth

Unsloth-GGUF-Quants für Inkling 2 Mini

Größen aus Unsloths Anleitung. Unsloth empfiehlt UD-Q4_K_XL. Gegenüber UD-Q8_K_XL misst Unsloth für UD-Q4_K_XL eine mittlere KL-Divergenz von 0,0107 bei in 98,0 % der Fälle gleichem Top-Token; UD-Q3_K_XL 0,0174 / 96,3 %; UD-Q2_K_XL 0,0595 / 91,6 %; UD-IQ1_S 0,0911 / 89,4 %.

QuantDateigrößeHinweis
UD-IQ1_S7,76 GB-
UD-IQ1_M8,02 GB-
UD-IQ2_XXS8,49 GB-
UD-Q2_K_XL9,14 GB-
UD-IQ3_XXS11,66 GB-
UD-Q3_K_XL13,63 GB-
UD-IQ4_XS15,73 GB-
UD-Q4_K_M16,61 GB-
UD-Q4_K_XL17,63 GBVon Unsloth empfohlen
UD-Q8_K_XL22,87 GBReferenz für die KLD-Werte

Empfohlene Einstellungen

  • Sampling: Unsloths Anleitung nutzt temperature 1.0, top-p 1.0, top-k 0 und min-p 0.0. Die generation_config.json von Thinking Machines setzt nur temperature 1.0.
  • Kontext: Unsloth startet mit 32K (--ctx-size 32768) und rät, ihn bei knappem Speicher zu verkleinern. Das Modell selbst unterstützt bis zu 1M Tokens.
  • Reasoning: Laut Model Card schaltet das Setzen des Reasoning-Aufwands auf das Minimum das Reasoning nicht vollständig ab.
  • Grenzen: Die Card sagt, das Modell bleibt manchmal in langen Reasoning-Schleifen hängen, besonders beim Debuggen von Code, und empfiehlt Limits für Ausgabe-Tokens und Agent-Züge.

Hardwareanforderungen von Inkling 2 Mini

Was jede Quelle sagt. Bilder, längerer Kontext und andere Apps auf dem Rechner brauchen mehr Speicher. Die Card weist außerdem darauf hin, dass die Unterstützung für Looped-Modelle in lokalen Runtimes neu ist und die Geschwindigkeit je nach Runtime und Hardware schwankt, und dass der dreifache Durchlauf der mittleren Schichten den Rechenaufwand pro Token höher macht, als die Zahl aktiver Parameter vermuten lässt.

QuelleWas sie sagt
Model Card von Thinking MachinesCheckpoint von etwa 20 GB. Unterstützt: 1x NVIDIA DGX Spark oder Apple Silicon mit 32GB+ Speicher (MacBooks, Mac minis, Studios). Andere GPUs und Plattformen sind möglich, empfohlen werden 32GB oder mehr VRAM.
Launch-Beitrag von Thinking MachinesLäuft über Ollama auf jedem Mac mit mindestens 32GB RAM. DGX Spark (128GB) unterstützt NVFP4 nativ.
OllamaMac mit 32GB+ Speicher; auch DGX Spark.
Unsloth (GGUF, RAM + VRAM oder Unified Memory)1-Bit 9 GB, 2-Bit 10-11 GB, 3-Bit 13-15 GB, 4-Bit 17-18 GB, 8-Bit 24 GB.

Benchmarks von Inkling 2 Mini (Zahlen von Thinking Machines)

Das sind Thinking Machines' eigene Ergebnisse aus dem Launch-Beitrag, eine Auswahl seiner Zeilen. Sie sind selbst berichtet, keine unabhängigen Läufe.

BenchmarkInkling 2 MiniQwen3.8-27BGemma 4 31BNemotron 3.5 Super VL
DeepSWE v1.148.2%42.2%0.3%24.7%
SWE-bench Pro v2 (Hard)77.9%73.8%14.2%44.1%
SWE-bench Verified (bash only)79.2%77.8%46.1%71.1%
Terminal Bench v2.171.6%73.0%43.4%60.7%
Vals Index v2.246.5%--29.8%
AA Index v5.020.120.14.413.6
BrowseComp (with compaction)79.0%61.6%37.0%78.9%
MCP Atlas (Public)82.7%77.3%54.2%67.7%
HLE-Diamond15.2%15.3%7.2%8.8%
ARC-AGI v1 / v284.5% / 49.3%87.5% / 42.4%-22.7% / 1.5%
MMMU Pro Standard 1074.9%76.3%73.4%72.3%
AA-Omniscience non-hallucination rate63.4%71.4%14.5%69.5%

Wo Thinking Machines Schwächen einräumt

  • MultiChallenge 50.0% und ComplexConstraints v1.1 33.4%, beide hinter Qwen3.8-27B. Auch bei CritPt v2 und HLE-Diamond liegt es hinter größeren Modellen.
  • Effizienz: Beim Stanford-Maß für Intelligenz pro Watt auf einem DGX Spark nennt der Beitrag 0.703, gegenüber 0.430 für Qwen3.6-35B-A3B, 0.159 für Gemma-4-26B-A4B und 0.036 für Qwen3.5-27B.
  • Einschränkungen laut Model Card: Es gibt falsche Informationen mit größerer Wahrscheinlichkeit selbstbewusst als Fakten aus als größere Modelle, es kann Dateien ohne Rückfrage löschen oder überschreiben, und die Ausgabequalität ist außerhalb des Englischen geringer.

Inkling 2 Mini bei Artificial Analysis (Drittanbieter)

Artificial Analysis (AA) ist eine unabhängige Benchmark-Seite. Diese Zahlen stammen von ihrer Inkling-2-Mini-Seite, geprüft am 21. November 2026; die Seite zeigt kein Datum der letzten Aktualisierung.

  • Intelligence Index v5.0.1: 20.
  • Ausgabegeschwindigkeit: 280 Tokens pro Sekunde.
  • Preis: 0,15 $ pro Million Eingabe-Tokens und 0,50 $ pro Million Ausgabe-Tokens.
  • Kosten für den Lauf des Intelligence Index: 0,59 $, wie AA es zeigt.
  • Kontextfenster: 1M Tokens.

Inkling 2 Mini vs Qwen 3.8 27B

Die Specs stammen von der Hugging-Face-Card des jeweiligen Modells, die AA-Zeilen von AAs zwei Modellseiten (keine der Seiten erwähnt das andere Modell; die Gegenüberstellung ist unsere), die Benchmark-Zeilen aus der Tabelle von Thinking Machines. Ein Vorbehalt: Die Qwen-Zahlen von Thinking Machines sind nicht immer die Variante, die Qwen selbst angibt. Die 73.8% beziehen sich auf SWE-bench Pro v2 (Hard) und die 15.3% auf HLE-Diamond; Qwens eigene Card nennt 61.7 bei SWE-bench Pro und 30.8 bei HLE. Mische die beiden nicht. Beide geben 73.0 bei Terminal Bench 2.1 an.

Inkling 2 MiniQwen3.8-27B
Veröffentlicht20. November 202614. August 2026 (laut AA)
LizenzApache 2.0Apache 2.0
ArchitekturLooped MoE: 26,4B gesamt, 3,4B aktiv (5,4B effektiv)Dense 27B, alle Parameter aktiv, 64 Schichten
GewichteEtwa 20 GB, NVFP4 und MXFP8BF16
Nativer Kontext1M Tokens262.144 Tokens, bis 1M mit YaRN
EingabeText, BildText, Bild, Video
AA Intelligence Index2020 (xhigh); 17 medium, 16 low, 10 ohne Reasoning
AA-Ausgabegeschwindigkeit280 tok/s53 tok/s (xhigh)
AA-Preis Ein- / Ausgabe pro 1M0,15 $ / 0,50 $0,50 $ / 3,00 $ (Alibaba API)
SWE-bench Verified, bash only (TML)79.2%77.8%
SWE-bench Pro v2 Hard (TML)77.9%73.8%
Terminal Bench v2.1 (TML)71.6%73.0%
MCP Atlas (TML)82.7%77.3%
BrowseComp (TML)79.0%61.6%

Was dieser Vergleich zeigt

  • Gleicher AA Intelligence Index (20), aber AA misst bei Inkling 2 Mini etwa die fünffache Ausgabegeschwindigkeit und führt niedrigere Preise pro Token auf.
  • In der Tabelle von Thinking Machines liegt Inkling vorn bei den SWE-artigen Benchmarks, BrowseComp, MCP Atlas und ARC-AGI v2 und liegt zurück bei Terminal Bench, ARC-AGI v1, MMMU Pro, HLE-Diamond (um 0,1), AA-Omniscience, MultiChallenge und ComplexConstraints.
  • Qwen3.8-27B nimmt Videoeingabe an und hat Thinking standardmäßig an, mit den Reasoning-Stufen xhigh, medium und low. Inkling 2 Mini hat den längeren nativen Kontext und den kleineren Download.

Was Inkling 2 Mini für Coding-Agenten bedeutet

  • Thinking Machines nennt Coding-Assistenten und agentische Tool-Use-Systeme unter den vorgesehenen Einsatzzwecken, und mit etwa 20 GB ist es klein genug, um lokal auf einem 32-GB-Mac hinter einem Agent-Harness zu laufen, wobei Unsloths llama-server-Befehl es auf 127.0.0.1:8080 bereitstellt.
  • Die Card ist bei den Risiken direkt: Bei der Nutzung von Tools befolgt es detaillierte Anweisungen und Projektkonventionen weniger zuverlässig als größere Modelle, es kann ohne Rückfrage destruktive Aktionen ausführen, und es berichtet über das Ergebnis seiner Arbeit womöglich nicht korrekt.
  • Ihr Rat an Betreiber: agentische Workloads in einer Sandbox ausführen, Ausgabe-Tokens und Agent-Züge begrenzen und bei folgenreichen Ausgaben eine menschliche Prüfung behalten.

Die spielbare Demo: PlaneBench-Flugsimulator

Laut vibegamer.io hat Thinking Machines zum Launch einen Flugsimulator veröffentlicht, den der Beitrag die PlaneBench-Flugsimulator-Demo nennt. Inkling 2 Mini hat ihn offline auf einem MacBook Pro während eines Flugs in wenigen Minuten gebaut: Du startest von einer Landebahn und fliegst über prozedural erzeugte Hügel, Berge und Meer. Spiel ihn auf vibegamer.io.

Weitere Spiele, die mit Inkling 2 Mini gebaut wurden, findest du unter Inkling-2-Mini-Spiele auf vibegamer.io.

Mit Crewmark

Ein neues Modell ist nur die halbe Miete. Die andere Hälfte ist ein Job.

Modelle werden immer besser und billiger, und die Agenten drumherum warten weiter auf den nächsten Prompt. Crewmark macht aus Coding-Agent-Sessions KI-Mitarbeiter mit einer Rolle, einem Ziel in Zahlen, Arbeitszeiten und einem Heartbeat, sodass sie sich das nächste Issue selbst von einem Board holen. Claude-Code- und Codex-Mitarbeiter laufen nativ; andere Agenten, etwa OpenCode, DeepSeek Harness und Gemini, binden sich über ACP (acpx) an. Ein Mitarbeiter nutzt das Modell, das sein Agent ausführt.

  1. Eine Rolle wählen

    Aus den KI-Mitarbeiter-Rollen, etwa einem KI-Softwareentwickler.

  2. Die Arbeit auf ein Board legen

    Weise Issues zu, lass regelmäßige Aufgaben wiederkehren und den Heartbeat den Mitarbeiter wecken, damit er das nächste übernimmt.

  3. Sehen, was er kann

    Aufgaben mit Einrichtung und Regeln für jeden Agenten stehen in den Claude-Code-Anwendungsfällen und den Codex-Anwendungsfällen.

FAQ

Was ist Inkling 2 Mini?

Ein Open-Weight-Modell von Thinking Machines Lab unter Apache 2.0, erschienen am 20. November 2026. Es ist ein Looped-Mixture-of-Experts-Transformer mit 26,4B Parametern gesamt und 3,4B aktiv (5,4B effektiv), nimmt Text und Bilder entgegen, schreibt Text und unterstützt bis zu 1M Tokens Kontext. Der Checkpoint ist etwa 20 GB groß.

Wo liegt Inkling 2 Mini auf Hugging Face?

Unter thinkingmachines/Inkling-2-Mini, in der Inkling-2-Collection von Thinking Machines. Unsloths GGUF-Quants liegen unter unsloth/Inkling-2-Mini-GGUF.

Wie führe ich Inkling 2 Mini mit Ollama aus?

Installiere Ollamas Pre-Release und führe dann ollama run inkling-2-mini aus. Laut Ollamas Seite braucht es einen Mac mit 32GB+ Speicher und läuft auch auf einem DGX Spark. Die Tags sind jeweils 20GB groß.

Wer hat Inkling 2 Mini gemacht?

Thinking Machines Lab. Es ist das kleinere Modell der Inkling-2-Collection; Inkling 2 Small ist das größere, mit 594B Parametern. Thinking Machines bietet es außerdem über seine Plattform Tinker an.

Ist Inkling 2 Mini gut?

In der eigenen Tabelle von Thinking Machines erreicht es 79.2% bei SWE-bench Verified (bash only), 71.6% bei Terminal Bench v2.1 und 82.7% bei MCP Atlas. Seine Model Card warnt, dass es falsche Fakten selbstbewusst behaupten, in Reasoning-Schleifen hängen bleiben und ohne Rückfrage destruktive Aktionen ausführen kann; führe es also in einer Sandbox mit Limits für Züge und Ausgabe aus.

Was sagt Artificial Analysis zu Inkling 2 Mini?

Am 21. November 2026 führte Artificial Analysis es mit 20 auf seinem Intelligence Index v5.0.1, mit 280 Ausgabe-Tokens pro Sekunde und 0,15 $ / 0,50 $ pro Million Eingabe- und Ausgabe-Tokens.

Inkling 2 Mini vs Qwen 3.8 27B: Was ist besser?

Artificial Analysis gibt beiden 20 auf seinem Intelligence Index; es misst Inkling 2 Mini etwa fünfmal schneller und führt es pro Token günstiger. In der Tabelle von Thinking Machines liegt Inkling bei SWE-bench und MCP Atlas vorn und bei Terminal Bench und MMMU Pro zurück. Qwen3.8-27B ist dense, nimmt Videoeingabe an und hat 262K nativen Kontext gegenüber 1M bei Inkling.

Wie viel Speicher braucht Inkling 2 Mini?

Thinking Machines unterstützt Apple Silicon mit 32GB+ Speicher oder einen DGX Spark und empfiehlt auf anderen GPUs 32GB oder mehr VRAM. Unsloths GGUF-Quants brauchen etwa 9 GB bei 1-Bit bis 24 GB bei 8-Bit und 17-18 GB für den empfohlenen 4-Bit-Quant UD-Q4_K_XL.

Am 21. November 2026 mit dem Launch-Beitrag und der Model Card von Thinking Machines, den Hugging-Face-Modellseiten, Ollamas Bibliotheksseite, Unsloths Anleitung und Artificial Analysis abgeglichen. Wir haben die Befehle nicht ausgeführt.

Gib den neuesten Modellen einen Dauerjob.

Crewmark macht aus Coding-Agent-Sessions KI-Mitarbeiter mit Rollen, Zielen, Arbeitszeiten und einem Heartbeat.

Crewmark ist Open Source: gib uns einen Stern auf GitHub