Inkling 2 Mini란
Inkling 2 Mini는 Thinking Machines Lab의 모델로, 2026년 11월 20일에 Apache 2.0 라이선스의 가중치가 Hugging Face에 공개됐어요. Thinking Machines가 꼽는 용도는 에이전트형·도구 사용 시스템, 코딩 어시스턴트, 챗봇, 검색 증강 생성(RAG)이고, 연구, 파인튜닝, 서드파티 제품도 들어가요.
"루프형" 트랜스포머예요. 모델이 저장하는 디코더 층은 24개이고, 6개씩 네 블록으로 묶여 있어요. 첫 블록과 마지막 블록은 한 번만 실행돼요. 가운데 12개 층(블록 2와 3)은 같은 가중치로 세 번 연달아 실행돼요. 그래서 토큰 하나가 거치는 층은 48번 적용되지만, 디스크에 저장된 층은 24개뿐이에요. 모델을 키우지 않고도 토큰당 연산을 늘린 거예요.
피드포워드 층은 희소 Mixture of Experts예요. 각 토큰은 층마다 128개 전문가 중 8개를 써요. Thinking Machines는 전문가 384개로 학습한 뒤 3분의 2를 쳐냈어요. 26.4B 파라미터 중 토큰당 활성은 3.4B이고, 루프를 한 번 더 돌 때마다 실효 활성 파라미터가 약 1.0B씩 늘어서, 세 번 돌면 토큰당 실효 활성이 5.4B예요.
- 가중치는 대부분 4비트예요. 20개 층은 NVFP4, 마지막 4개 층은 MXFP8이고, 파일 하나에 약 20 GB예요.
- 어텐션은 로컬 층과 글로벌 층을 섞어요. 이미지는 vision transformer를 거치고, Thinking Machines는 이미지 한 변을 40~4096픽셀로 하라고 권해요.
- Inkling 2 Small은 같은 Hugging Face 컬렉션에 있는 더 큰 형제 모델로, 594B 파라미터예요.
Inkling 2 Mini 스펙
| Inkling 2 Mini | |
|---|---|
| 개발사 | Thinking Machines Lab, Inc. |
| 공개일 | 2026년 11월 20일 |
| 라이선스 | Apache 2.0 |
| Hugging Face 저장소 | thinkingmachines/Inkling-2-Mini |
| 파라미터 | 전체 26.4B, 활성 3.4B, 루프 3회 시 토큰당 실효 활성 5.4B |
| 층 | 저장 24개, 토큰당 48번 적용(가운데 12개가 세 번 실행) |
| 전문가 | 층마다 토큰당 128개 중 8개 |
| 정밀도 | NVFP4(20개 층)와 MXFP8(마지막 4개 층) |
| 체크포인트 크기 | 약 20 GB(메인 safetensors 파일 19.5 GB, 멀티 토큰 예측 파일 0.64 GB 별도) |
| 컨텍스트 윈도우 | 최대 1M 토큰 |
| 입력 / 출력 | 텍스트와 이미지 입력, 텍스트 출력 |
| 기본 샘플링 | generation_config.json에서 temperature 1.0. 모델 카드에는 다른 설정이 없음 |
| 학습 데이터 기준일 | 명시되지 않음 |
Inkling 2 Mini 실행하는 법
아래 명령은 2026년 11월 21일에 각 출처 페이지에서 복사한 거예요. 직접 실행해 보지는 않았어요.
Ollama
Ollama 라이브러리 페이지에는
inkling-2-mini:latest,inkling-2-mini:26b-a5b,inkling-2-mini:26b-a5b-nvfp4(MLX)가 올라와 있고, 모두 20GB에 컨텍스트 1M, 텍스트와 이미지 입력을 지원해요. 페이지에는 Ollama 프리릴리스(프리뷰 다운로드 링크가 있고 버전 번호는 없음)와 메모리 32GB 이상의 Mac이 필요하며 DGX Spark에서도 돌아간다고 적혀 있어요. Ollama 페이지를 보세요.# Ollama 라이브러리 페이지 기준 (Ollama 프리릴리스와 메모리 32GB 이상의 Mac 필요) ollama run inkling-2-miniHugging Face
가중치는 thinkingmachines/Inkling-2-Mini에 있어요. 모델 카드에는 자체 코드가 없고, 지원 런타임으로 SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth, llama.cpp(GGUF용), Llama App, Ollama, Exo Labs를 나열하며 SGLang과 vLLM 레시피 페이지로 연결돼요. 아래 줄은 Hugging Face가 vLLM용으로 자동 생성한 스니펫이에요.
# Hugging Face의 "Use this model"이 자동 생성한 스니펫이며, Thinking Machines가 쓴 것이 아님 pip install vllm vllm serve "thinkingmachines/Inkling-2-Mini"Unsloth GGUF: Unsloth의 llama.cpp 빌드 받기
Unsloth 가이드는 Unsloth의 llama.cpp 포크 릴리스를 써요. 이건 Apple silicon 빌드이고, 가이드에는 NVIDIA CUDA 12, AMD ROCm, Windows CUDA 12, DGX Spark 빌드도 있어요.
# Unsloth 가이드 기준: Unsloth 포크의 llama.cpp 빌드, Apple silicon용 curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz mkdir -p llama.cpp tar -xzf llama.tar.gz -C llama.cpp --strip-components=1 ./llama.cpp/llama-server --version권장 양자화 내려받기
unsloth/Inkling-2-Mini-GGUF에서 UD-Q4_K_XL(17.6 GB), 비전 프로젝터mmproj-F16.gguf(639 MB 추가), 추측 디코딩용 0.4 GB 드래프트 모델을 가져와요.pip install -U huggingface_hub hf download unsloth/Inkling-2-Mini-GGUF \ Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \ --local-dir Inkling-2-Mini-GGUFllama-server 시작하기
macOS, Linux, WSL용 Unsloth 명령이에요. 컨텍스트는 32K로 설정돼 있어요. 메모리가 부족하면
--ctx-size를 줄이세요../llama.cpp/llama-server \ --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \ --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \ --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \ --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \ --jinja --ctx-size 32768 --n-gpu-layers 99 --parallel 1 \ --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \ --host 127.0.0.1 --port 8080또는 Unsloth CLI 쓰기
같은 가이드에 있는 명령 하나예요.
unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \ --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0
Inkling 2 Mini의 Unsloth GGUF 양자화
크기는 Unsloth 가이드 기준이에요. Unsloth는 UD-Q4_K_XL을 권해요. UD-Q8_K_XL과 비교해 UD-Q4_K_XL은 평균 KL 발산 0.0107, 최상위 토큰 일치율 98.0%로 측정됐고, UD-Q3_K_XL은 0.0174 / 96.3%, UD-Q2_K_XL은 0.0595 / 91.6%, UD-IQ1_S는 0.0911 / 89.4%예요.
| 양자화 | 파일 크기 | 비고 |
|---|---|---|
| UD-IQ1_S | 7.76 GB | - |
| UD-IQ1_M | 8.02 GB | - |
| UD-IQ2_XXS | 8.49 GB | - |
| UD-Q2_K_XL | 9.14 GB | - |
| UD-IQ3_XXS | 11.66 GB | - |
| UD-Q3_K_XL | 13.63 GB | - |
| UD-IQ4_XS | 15.73 GB | - |
| UD-Q4_K_M | 16.61 GB | - |
| UD-Q4_K_XL | 17.63 GB | Unsloth 권장 |
| UD-Q8_K_XL | 22.87 GB | KLD 수치의 기준 |
권장 설정
- 샘플링: Unsloth 가이드는 temperature 1.0, top-p 1.0, top-k 0, min-p 0.0을 써요. Thinking Machines의
generation_config.json에는 temperature 1.0만 설정돼 있어요. - 컨텍스트: Unsloth는 32K(
--ctx-size 32768)로 시작하고 메모리가 빠듯하면 줄이라고 해요. 모델 자체는 최대 1M 토큰을 지원해요. - 추론: 모델 카드에 따르면 추론 강도(reasoning effort)를 최소로 해도 추론이 완전히 꺼지지는 않아요.
- 한계: 카드에는 특히 코드를 디버깅할 때 긴 추론 루프에 빠질 때가 있다고 적혀 있고, 출력 토큰과 에이전트 턴에 상한을 두라고 권해요.
Inkling 2 Mini 하드웨어 요구 사항
각 출처가 말하는 내용이에요. 이미지, 더 긴 컨텍스트, 같은 기기에서 도는 다른 앱은 메모리를 더 써요. 카드에는 루프형 모델에 대한 로컬 런타임 지원이 새롭고 속도가 런타임과 하드웨어에 따라 다르다는 점, 그리고 가운데 층이 세 번 실행되기 때문에 토큰당 연산이 활성 파라미터 수로 짐작하는 것보다 많다는 점도 적혀 있어요.
| 출처 | 내용 |
|---|---|
| Thinking Machines 모델 카드 | 체크포인트 약 20 GB. 지원: NVIDIA DGX Spark 1대, 또는 메모리 32GB 이상의 Apple silicon(MacBook, Mac mini, Mac Studio). 다른 GPU와 플랫폼도 가능하며 VRAM 32GB 이상을 권장. |
| Thinking Machines 출시 글 | 메모리 32GB 이상의 Mac이면 Ollama로 실행. DGX Spark(128GB)는 NVFP4를 네이티브로 지원. |
| Ollama | 메모리 32GB 이상의 Mac, DGX Spark에서도 실행. |
| Unsloth(GGUF, RAM + VRAM 또는 통합 메모리) | 1비트 9 GB, 2비트 10~11 GB, 3비트 13~15 GB, 4비트 17~18 GB, 8비트 24 GB. |
Inkling 2 Mini 벤치마크(Thinking Machines의 수치)
Thinking Machines가 출시 글에서 직접 공개한 결과 중 일부 행이에요. 자체 보고한 수치이고, 독립적으로 돌린 결과가 아니에요.
| 벤치마크 | Inkling 2 Mini | Qwen3.8-27B | Gemma 4 31B | Nemotron 3.5 Super VL |
|---|---|---|---|---|
| DeepSWE v1.1 | 48.2% | 42.2% | 0.3% | 24.7% |
| SWE-bench Pro v2 (Hard) | 77.9% | 73.8% | 14.2% | 44.1% |
| SWE-bench Verified (bash only) | 79.2% | 77.8% | 46.1% | 71.1% |
| Terminal Bench v2.1 | 71.6% | 73.0% | 43.4% | 60.7% |
| Vals Index v2.2 | 46.5% | - | - | 29.8% |
| AA Index v5.0 | 20.1 | 20.1 | 4.4 | 13.6 |
| BrowseComp (with compaction) | 79.0% | 61.6% | 37.0% | 78.9% |
| MCP Atlas (Public) | 82.7% | 77.3% | 54.2% | 67.7% |
| HLE-Diamond | 15.2% | 15.3% | 7.2% | 8.8% |
| ARC-AGI v1 / v2 | 84.5% / 49.3% | 87.5% / 42.4% | - | 22.7% / 1.5% |
| MMMU Pro Standard 10 | 74.9% | 76.3% | 73.4% | 72.3% |
| AA-Omniscience non-hallucination rate | 63.4% | 71.4% | 14.5% | 69.5% |
Thinking Machines가 직접 밝힌 약점
- MultiChallenge 50.0%와 ComplexConstraints v1.1 33.4%는 둘 다 Qwen3.8-27B보다 낮아요. CritPt v2와 HLE-Diamond에서는 더 큰 모델에도 뒤져요.
- 효율: DGX Spark에서 Stanford의 intelligence-per-watt 기준으로, 글은 0.703을 보고해요. 비교 대상은 Qwen3.6-35B-A3B 0.430, Gemma-4-26B-A4B 0.159, Qwen3.5-27B 0.036이에요.
- 모델 카드의 한계: 더 큰 모델보다 틀린 정보를 자신 있게 말할 가능성이 높고, 묻지 않고 파일을 지우거나 덮어쓸 수 있으며, 영어 외 언어에서는 출력 품질이 떨어져요.
Artificial Analysis의 Inkling 2 Mini(제3자)
Artificial Analysis(AA)는 독립 벤치마크 사이트예요. 아래 수치는 Inkling 2 Mini 페이지에서 2026년 11월 21일에 확인한 거예요. 페이지에는 마지막 업데이트 날짜가 없어요.
- Intelligence Index v5.0.1: 20.
- 출력 속도: 초당 280토큰.
- 가격: 입력 100만 토큰당 $0.15, 출력 100만 토큰당 $0.50.
- Intelligence Index를 돌리는 비용: AA가 표시한 대로 $0.59.
- 컨텍스트 윈도우: 1M 토큰.
Inkling 2 Mini vs Qwen 3.8 27B
스펙은 각 모델의 Hugging Face 카드, AA 행은 AA의 모델 페이지 두 개(어느 쪽도 상대 모델을 언급하지 않아요. 나란히 놓은 건 저희예요), 벤치마크 행은 Thinking Machines의 표에서 가져왔어요. 한 가지 주의할 점이 있어요. Thinking Machines가 실은 Qwen 수치가 Qwen이 직접 보고하는 변형과 늘 같지는 않아요. 73.8%는 SWE-bench Pro v2 (Hard), 15.3%는 HLE-Diamond 수치이고, Qwen 자체 카드에는 SWE-bench Pro 61.7, HLE 30.8로 나와 있어요. 둘을 섞지 마세요. Terminal Bench 2.1은 양쪽 모두 73.0으로 보고해요.
| Inkling 2 Mini | Qwen3.8-27B | |
|---|---|---|
| 공개일 | 2026년 11월 20일 | 2026년 8월 14일(AA 기준) |
| 라이선스 | Apache 2.0 | Apache 2.0 |
| 아키텍처 | 루프형 MoE: 전체 26.4B, 활성 3.4B(실효 5.4B) | Dense 27B, 모든 파라미터 활성, 64개 층 |
| 가중치 | 약 20 GB, NVFP4와 MXFP8 | BF16 |
| 네이티브 컨텍스트 | 1M 토큰 | 262,144 토큰, YaRN으로 최대 1M |
| 입력 | 텍스트, 이미지 | 텍스트, 이미지, 비디오 |
| AA Intelligence Index | 20 | 20(xhigh), medium 17, low 16, 비추론 10 |
| AA 출력 속도 | 280 tok/s | 53 tok/s(xhigh) |
| AA 가격 입력 / 출력(100만 토큰당) | $0.15 / $0.50 | $0.50 / $3.00(Alibaba API) |
| SWE-bench Verified, bash only(TML) | 79.2% | 77.8% |
| SWE-bench Pro v2 Hard(TML) | 77.9% | 73.8% |
| Terminal Bench v2.1(TML) | 71.6% | 73.0% |
| MCP Atlas(TML) | 82.7% | 77.3% |
| BrowseComp(TML) | 79.0% | 61.6% |
이 비교가 보여 주는 것
- AA Intelligence Index는 20으로 같지만, AA는 Inkling 2 Mini의 출력 속도를 약 5배로 측정했고 토큰당 가격도 더 낮게 올려 뒀어요.
- Thinking Machines의 표에서 Inkling은 SWE 계열 벤치마크, BrowseComp, MCP Atlas, ARC-AGI v2에서 앞서고, Terminal Bench, ARC-AGI v1, MMMU Pro, HLE-Diamond(0.1 차이), AA-Omniscience, MultiChallenge, ComplexConstraints에서는 뒤져요.
- Qwen3.8-27B는 비디오 입력을 받고, thinking이 기본으로 켜져 있으며 reasoning effort로
xhigh,medium,low를 지원해요. Inkling 2 Mini는 네이티브 컨텍스트가 더 길고 다운로드가 더 작아요.
Inkling 2 Mini가 코딩 에이전트에 갖는 의미
- Thinking Machines는 용도로 코딩 어시스턴트와 에이전트형·도구 사용 시스템을 꼽아요. 약 20 GB라서 32 GB Mac에서 에이전트 harness 뒤에 로컬로 돌릴 만한 크기이고, Unsloth의
llama-server명령으로127.0.0.1:8080에서 서빙할 수 있어요. - 카드는 위험을 솔직하게 적어 놨어요. 도구를 쓸 때 상세한 지시와 프로젝트 관례를 따르는 신뢰도가 더 큰 모델보다 낮고, 확인 없이 파괴적인 행동을 할 수 있으며, 작업 결과를 정확하게 보고하지 않을 수 있어요.
- 도입하는 쪽에 주는 조언은 에이전트형 워크로드를 샌드박스에서 돌리고, 출력 토큰과 에이전트 턴에 상한을 두고, 중요한 출력은 사람이 검토하라는 거예요.
직접 해볼 수 있는 데모: PlaneBench 비행 시뮬레이터
vibegamer.io에 따르면 Thinking Machines는 출시와 함께 비행 시뮬레이터를 공개했고, 글에서는 이를 PlaneBench flight simulator demo라고 불러요. Inkling 2 Mini가 비행기 안에서 MacBook Pro로 오프라인에서 몇 분 만에 만들었어요. 활주로에서 이륙해 절차적으로 생성된 언덕, 산, 바다 위를 날아요. vibegamer.io에서 해볼 수 있어요.
Inkling 2 Mini로 만든 다른 게임은 vibegamer.io의 Inkling 2 Mini 게임에서 볼 수 있어요.
새 모델은 절반이에요. 나머지 절반은 일이에요.
모델은 계속 좋아지고 싸지는데, 그 주변의 에이전트는 여전히 다음 프롬프트를 기다려요. Crewmark는 코딩 에이전트 세션을 직무, 숫자로 된 목표, 근무 시간, 하트비트를 가진 AI 직원으로 만들어서, 보드에서 다음 이슈를 스스로 가져가요. Claude Code와 Codex 직원은 네이티브로 돌아가고, OpenCode, DeepSeek Harness, Gemini 같은 다른 에이전트는 ACP(acpx)로 연결해요. 직원은 그 에이전트가 돌리는 모델을 그대로 써요.
직무 고르기
AI 직원 직무에서 골라요. 예를 들어 AI 소프트웨어 엔지니어가 있어요.
일을 보드에 올리기
이슈를 배정하고, 정기적인 일은 반복으로 걸어 두고, 하트비트가 직원을 깨워 다음 이슈를 가져가게 해요.
무엇을 할 수 있는지 보기
에이전트별 설정과 규칙이 있는 작업은 Claude Code 활용 사례와 Codex 활용 사례에 있어요.
FAQ
Inkling 2 Mini가 뭔가요?
Thinking Machines Lab이 2026년 11월 20일에 공개한 오픈 웨이트(Apache 2.0) 모델이에요. 루프형 Mixture-of-Experts 트랜스포머로, 전체 26.4B에 활성 3.4B(실효 5.4B) 파라미터이고, 텍스트와 이미지를 입력받아 텍스트를 쓰며 최대 1M 토큰 컨텍스트를 지원해요. 체크포인트는 약 20 GB예요.
Hugging Face에서 Inkling 2 Mini는 어디에 있나요?
Thinking Machines의 Inkling 2 컬렉션 안 thinkingmachines/Inkling-2-Mini에 있어요. Unsloth의 GGUF 양자화는 unsloth/Inkling-2-Mini-GGUF에 있어요.
Ollama로 Inkling 2 Mini를 어떻게 실행하나요?
Ollama 프리릴리스를 설치한 뒤 ollama run inkling-2-mini를 실행하세요. Ollama 페이지에 따르면 메모리 32GB 이상의 Mac이 필요하고 DGX Spark에서도 돌아가요. 태그는 각각 20GB예요.
Inkling 2 Mini는 누가 만들었나요?
Thinking Machines Lab이에요. Inkling 2 컬렉션의 작은 모델이고, 큰 모델은 594B 파라미터의 Inkling 2 Small이에요. Thinking Machines는 자사 Tinker 플랫폼으로도 제공해요.
Inkling 2 Mini는 성능이 좋은가요?
Thinking Machines 자체 표에서 SWE-bench Verified(bash only) 79.2%, Terminal Bench v2.1 71.6%, MCP Atlas 82.7%예요. 모델 카드는 틀린 사실을 자신 있게 말하고, 추론 루프에 빠지고, 확인 없이 파괴적인 행동을 할 수 있다고 경고하니, 턴과 출력에 상한을 두고 샌드박스에서 돌리세요.
Artificial Analysis는 Inkling 2 Mini를 어떻게 평가하나요?
2026년 11월 21일에 Artificial Analysis는 Intelligence Index v5.0.1에서 20, 출력 속도 초당 280토큰, 입력·출력 100만 토큰당 $0.15 / $0.50으로 올려 뒀어요.
Inkling 2 Mini vs Qwen 3.8 27B: 어느 쪽이 더 나은가요?
Artificial Analysis의 Intelligence Index는 둘 다 20이고, Inkling 2 Mini가 약 5배 빠르게 측정됐으며 토큰당 가격도 더 낮게 올라 있어요. Thinking Machines의 표에서 Inkling은 SWE-bench와 MCP Atlas에서 앞서고 Terminal Bench와 MMMU Pro에서 뒤져요. Qwen3.8-27B는 Dense 모델이고 비디오 입력을 받으며, 네이티브 컨텍스트는 Inkling의 1M에 비해 262K예요.
Inkling 2 Mini에는 메모리가 얼마나 필요한가요?
Thinking Machines가 지원하는 건 메모리 32GB 이상의 Apple silicon 또는 DGX Spark 한 대이고, 다른 GPU에서는 VRAM 32GB 이상을 권해요. Unsloth GGUF 양자화는 1비트 약 9 GB부터 8비트 24 GB까지 필요하고, 권장하는 4비트 UD-Q4_K_XL은 17~18 GB예요.
2026년 11월 21일에 Thinking Machines의 출시 글과 모델 카드, Hugging Face 모델 페이지, Ollama 라이브러리 페이지, Unsloth 가이드, Artificial Analysis와 대조해 확인했습니다. 명령은 직접 실행하지 않았습니다.