FrontierHarness Eval v1.1 auf einen Blick
| FrontierHarness Eval v1.1 | |
|---|---|
| Von | Runta, das sich als Execution Layer für KI-Agenten bezeichnet. Beitrag von Shilin Zhu. Baseten stellte die Modelle als Partner bereit; die Leaderboard-Seite nennt außerdem Z.ai als Sponsor |
| Veröffentlicht | 17. November 2026 (v1.0 erschien am 1. September 2026) |
| Version | v1.1, Harbor-Datensatz frontier-harness-eval/frontier-harness-eval@v1.1.0 |
| Läufe | 27.280: 62 Aufgaben × 22 Konfigurationen × 4 Versuche × 5 Modelle, mit 83B Tokens |
| Aufgaben | 62 Kommandozeilen-Aufgaben (Softwareentwicklung, Wissenschaft, Daten, Systeme, ML und Security), mit Zeitlimits von 15 Minuten bis 8 Stunden |
| Modelle | Fünf Open-Weight-Modelle, alle von Baseten bereitgestellt: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open und Kimi-K3 |
| Harnesses | 22 Konfigurationen von 18 Harnesses (DeepSeek Harness in 4 Profilen, OpenCode in 2 Versionen), jeweils mit Standardeinstellungen und maximalem Reasoning-Aufwand |
| Gemessen wird | Pass-Rate, durchschnittliche Kosten pro Aufgabe, Kosten pro Pass und Zeit pro Aufgabe |
| Daten und Code | Das Eval-Repo (Branch release/v1.1) enthält die Suite, die Adapter und den Launcher; die Aufgaben sind öffentlich auf Harbor Hub. Eine Lizenz ist nicht angegeben |
Was in v1.1 neu ist
Version 1.0 testete ein Modell, Kimi K3, mit 12 Harness-Konfigurationen auf 30 Aufgaben, je ein Versuch: 360 Trials. Version 1.1 ist deutlich größer. Die Autoren nennen sie 76-mal so groß wie v1.0.
- Fünf Modelle statt einem, bereitgestellt von Baseten statt Fireworks.
- 22 Harness-Konfigurationen statt 12.
- 62 Aufgaben statt 30 und 4 Versuche pro Aufgabe statt 1.
- Neue Kostenmetriken: durchschnittliche Kosten pro Aufgabe und Kosten pro Pass (v1.0 nutzte die mittleren Kosten pro Pass).
- Auch die Hauptfrage hat sich geändert: Welcher Harness bietet für jedes Modell das beste Preis-Leistungs-Verhältnis?
Ergebnisse je Modell: die Preis-Leistungs-Wahl der Autoren
Die Regel der Autoren: Der Harness mit den niedrigsten Kosten pro Pass gewinnt, es sei denn, ein anderer kostet höchstens 30 % mehr pro Pass und besteht mindestens 5 Punkte häufiger. Um jede Wahl zu prüfen, zogen sie die Aufgaben 4.000-mal neu. Die letzte Spalte zeigt, wie oft die Wahl vorn blieb.
| Modell | Bester Harness im Preis-Leistungs-Verhältnis | Kosten pro Pass | Pass-Rate | Wie belastbar |
|---|---|---|---|---|
| GLM-5.3 | Codex CLI | $0,803 | 57,7 % | Belastbar: in 99,6 % der Neuziehungen vorn |
| GLM-5.3-Flash | Pi | $0,223 | 58,1 % | Schwach: 42 % |
| DeepSeek-V4.1-Flash | ZCode | $0,222 | 69,0 % | Schwach: 47 %. Gewählt vor OpenCode v1, das 25 % weniger pro Pass kostete und 7,7 Punkte weniger bestand |
| Muse Spark Open | Oh My Pi | $1,212 | 58,9 % | Etwa gleichauf: 53 % |
| Kimi-K3 | Alma | $1,579 | 64,1 % | Schwach: 25 %. Gewählt vor Oh My Pi, das 9 % weniger pro Pass kostete und 6,5 Punkte weniger bestand |
| Alle Modelle | Keine einzelne Wahl. An der Grenze aus Kosten und Pass-Rate: OpenCode v2, Pi, Codex CLI, ZCode | Niedrigste: Codex CLI, $0,937 | Höchste: ZCode, 61,9 % | - |
Über alle Modelle: Pass-Rate, Kosten und Zeit je Harness
Gemittelt über alle fünf Modelle, 1.240 gewertete Versuche pro Harness. Sortiert nach Kosten pro Pass. Die Kosten sind Schätzungen auf Basis der Baseten-Listenpreise, keine Rechnungen. Laut den Autoren ist ein Abstand von ein paar Punkten bei der Pass-Rate ein Unentschieden: Das 95-%-Intervall für einen Harness bei einem Modell liegt bei etwa ±10 Punkten.
Das sind 13 der 22 Zeilen. Die vollständige Tabelle mit jedem Modell einzeln und den übrigen Harnesses (Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo und die vier DeepSeek-Harness-Profile) steht im Repo und im Beitrag.
| Harness | Pass-Rate | Kosten pro Aufgabe | Kosten pro Pass | Zeit pro Aufgabe |
|---|---|---|---|---|
| Codex CLI | 61,1 % | $0,573 | $0,937 | 26,8 Min. |
| Pi | 57,7 % | $0,563 | $0,976 | 31,2 Min. |
| OpenCode v2 | 57,3 % | $0,561 | $0,978 | 25,1 Min. |
| Oh My Pi | 57,3 % | $0,564 | $0,983 | 34,0 Min. |
| ZCode | 61,9 % | $0,659 | $1,063 | 35,4 Min. |
| KimiCode | 60,2 % | $0,653 | $1,085 | 33,7 Min. |
| OpenCode v1 | 57,4 % | $0,646 | $1,125 | 35,9 Min. |
| Hermes Agent | 59,9 % | $0,692 | $1,155 | 35,0 Min. |
| Grok Build | 60,0 % | $0,723 | $1,205 | 36,2 Min. |
| Alma | 59,7 % | $0,731 | $1,224 | 34,1 Min. |
| GitHub Copilot CLI | 56,9 % | $0,787 | $1,383 | 36,8 Min. |
| Claude Code | 58,9 % | $0,915 | $1,555 | 41,3 Min. |
| Antigravity CLI | 55,0 % | $0,897 | $1,632 | 36,8 Min. |
Was die Zahlen sagen
- Das Modell bestimmt den größten Teil der Kosten. In der Analyse der Autoren erklärt das Modell 92,8 % der Varianz der Kosten pro Aufgabe, der Harness 2,3 %.
- Bei festem Modell spielt der Harness trotzdem eine große Rolle. Er veränderte die Kosten pro Aufgabe um das 1,8- bis 5,0-Fache und die Kosten pro Pass um das 1,9- bis 4,9-Fache. Der größte Abstand zeigte sich bei DeepSeek: Cline CLI kostete pro Aufgabe das 5,0-Fache von OpenCode v1, für 2,0 Punkte mehr.
- Mehr zu zahlen bringt keine höhere Pass-Rate. Je Modell reichte die Rangkorrelation zwischen Kosten pro Aufgabe und Pass-Rate von −0,39 bis +0,22.
- Schritte sagen die Kosten voraus, die Größe nicht. Schritte pro Pass folgten den Kosten pro Pass (+0,51). Start-Tokens, Anzahl der Tools und Cache-Trefferquote taten das nicht. mini-SWE-agent, der kleinste Harness, lag bei den Kosten pro Aufgabe auf Platz 19 von 22.
- Das meiste Geld geht an Läufe, die scheitern. 64,5 % der Ausgaben flossen in Trials, die nicht bestanden: 52,7 % in Fehlschläge und 11,8 % in Timeouts. Bei den fünf Harnesses mit dem besten Preis-Leistungs-Verhältnis endeten 68 % (Pi) bis 82 % (Codex CLI) der gescheiterten Läufe mit einer selbstsicheren Endantwort, nicht am Zeitlimit.
- Die Pass-Raten liegen dicht beieinander. Über alle Modelle reichen sie von 50,6 % (Exo) bis 61,9 % (ZCode), und die meisten Harnesses liegen nur wenige Punkte auseinander, was die Autoren als Unentschieden werten.
- Die fünf Harnesses mit dem besten Preis-Leistungs-Verhältnis haben einiges gemeinsam: ein Shell-Tool, das den Großteil der Arbeit macht, Kontext, der nur wächst, keine Subagents und fast kein Zusammenfassen. Die Autoren nennen das Beobachtungen, keine Tests.
Claude Code und Codex in diesem Eval
Beide liefen hier nur mit Open-Weight-Modellen über Baseten, nie mit den eigenen Modellen von Anthropic oder OpenAI. Lies die Ergebnisse mit diesem Hintergrund.
- Codex CLI (0.164.0) hatte über alle Modelle die niedrigsten Kosten pro Pass, $0,937, und eine Pass-Rate in der Spitzengruppe, 61,1 %. In der Gruppe mit hoher Pass-Rate war es mit 26,8 Minuten pro Aufgabe auch das schnellste. Mit GLM-5.3 war es die Wahl der Autoren und hielt in 99,6 % der Neuziehungen.
- Claude Code (2.1.308) bestand 58,9 % der Aufgaben, also Mittelfeld, war mit diesen Modellen aber langsam und teuer pro Pass. Es hatte die zweithöchsten Kosten pro Pass ($1,555, nach Antigravity CLI), die längste Zeit pro Aufgabe (41,3 Minuten) und die zweithöchste Timeout-Rate (14,2 %).
- Die teuerste Einzelpaarung war die mit Muse Spark Open: $3,753 pro Pass, der höchste Wert aller 110 Zellen aus Harness und Modell.
- Mit DeepSeek-V4.1-Flash schlug sich Claude Code gut: 68,1 %, auf diesem Modell Zweiter nach ZCodes 69,0 %, bei $0,285 pro Pass.
Was es dir nicht sagt
- Nichts über geschlossene Modelle. v1.1 testete nur Open-Weight-Modelle. Es gibt keine Ergebnisse für Claude Opus oder Fable, GPT- oder Gemini-Modelle, und die Rangfolgen müssen sich nicht auf sie übertragen. Die Autoren nennen Opus 5.5, GPT-6 Astra und Gemini 4 Carbon als künftige Arbeit. Zu diesen Modellen siehe GPT-6.2 vs. Claude.
- Einige Harnesses fehlen, darunter Cursor, Gemini CLI und Droid.
- Die Kosten sind Schätzungen. Es sind Baseten-Listenpreise mal die vom Anbieter gemeldeten Tokens. Baseten-Caching und -Preise bestimmen die Kostenränge, wie die Autoren selbst sagen. Deine Rechnung bei einem anderen Anbieter oder Plan kann abweichen.
- Der Hersteller hat es durchgeführt. Jeder Trial lief auf Runtas eigener Runtime, und Runtas Gründer sagte das im Hacker-News-Thread selbst. Daten und Code sind öffentlich, andere können es also prüfen.
- Kleine Abstände sind Rauschen. Das Intervall für einen Harness bei einem Modell liegt bei etwa ±10 Punkten, die meisten Unterschiede bei der Pass-Rate in den Tabellen sind also Unentschieden.
- Eine Art von Aufgabe. Alle 62 Aufgaben sind Kommandozeilen-Aufgaben, jede in einer frischen, kurzlebigen Runtime mit Standardeinstellungen des Harness. Dein Repo, deine Prompts und deine Einstellungen können einen anderen Harness begünstigen.
So liest du es für dein Team
- Wähle zuerst das Modell. Es bestimmt den größten Teil der Kosten.
- Wenn du das Modell wechselst, teste den Harness erneut. Der Rat der Autoren selbst: auch über einen Wechsel des Harness nachdenken.
- Nimm die Wahl je Modell, nicht den Gesamtdurchschnitt, und prüfe, wie belastbar sie ist. Codex CLI mit GLM-5.3 hielt stand; die Wahlen für GLM-5.3-Flash, DeepSeek und Kimi-K3 hielten oft nicht.
- Vergleiche die Kosten pro Pass, nicht pro Aufgabe. Ein billiger Lauf, der scheitert, kostet trotzdem Geld.
- Lass deine eigenen Aufgaben laufen. Die Autoren empfehlen ein privates Set eigener Aufgaben, um Kandidaten zu testen; das sagt dir mehr als jede öffentliche Tabelle.
- Beobachte Schritte und gescheiterte Läufe. Harnesses mit weniger Schritten kosten weniger, und die Arbeit zu prüfen, bevor ein Agent aufhört, spart vielleicht einen Teil des Geldes, das in Fehlschläge fließt. Diese letzte Idee haben die Autoren nicht getestet.
Vergleiche Harness-Modell-Paare an deinen eigenen Issues
FrontierHarness Eval misst jeweils einen Agent-Harness. Crewmark ist der Harness für ein Team aus Agenten: Jeder KI-Mitarbeiter ist eine eigene Coding-Agent-Session mit Rolle, Ziel, Arbeitszeiten und Heartbeat. So kannst du verschiedene Paare aus Harness und Modell nebeneinander auf einem Board laufen lassen und sehen, welches deine Issues schließt.
Mitarbeiter auf verschiedenen Harnesses hinzufügen
Mitarbeiter mit Claude Code und Codex laufen nativ. Andere Agenten, etwa OpenCode und DeepSeek Harness, verbinden sich über ACP (via acpx) auf deinem Computer. Die Optionen findest du in Claude Code vs Codex und OpenCode-Alternativen.
Gib ihnen dieselbe Art von Arbeit
Nimm für alle dieselbe Rolle, etwa den KI-Softwareentwickler, und weise ähnliche Issues aus deinem Backlog zu.
Auf dem Board vergleichen
Jeder Mitarbeiter wacht per Heartbeat auf, arbeitet seine Issues ab und hält ihren Status aktuell. Sieh nach, welche Issues jeder erledigt hat und was es bei deinem eigenen Anbieter oder Plan gekostet hat.
FAQ
Was ist FrontierHarness Eval?
Ein Benchmark, der Coding-Agent-Harnesses auf denselben 62 Kommandozeilen-Aufgaben laufen lässt und Pass-Rate, Kosten und Zeit vergleicht. Version 1.1 testete 22 Harness-Konfigurationen mit fünf Open-Weight-Modellen, insgesamt 27.280 Läufe.
Wer hat FrontierHarness Eval gemacht?
Runta, ein Unternehmen, das eine Runtime für KI-Agenten baut. Jeder Trial lief auf Runtas eigener Runtime, was der Gründer auf Hacker News offenlegte. Baseten stellte die Modelle bereit, und die Leaderboard-Seite nennt Z.ai als Sponsor.
Welcher Agent-Harness ist der beste?
Die Autoren nennen keinen Gesamtsieger. Sie wählen je Modell einen Harness mit dem besten Preis-Leistungs-Verhältnis: Codex CLI für GLM-5.3, Pi für GLM-5.3-Flash, ZCode für DeepSeek-V4.1-Flash, Oh My Pi für Muse Spark Open und Alma für Kimi-K3. Nur die Wahl von Codex CLI hielt beim Neuziehen der Aufgaben klar stand. Über alle Modelle hatte Codex CLI die niedrigsten Kosten pro Pass und ZCode die höchste Pass-Rate.
Enthält FrontierHarness Eval Claude- oder GPT-Modelle?
Nein. v1.1 testete nur Open-Weight-Modelle: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open und Kimi-K3. Claude Code und Codex CLI wurden als Harnesses getestet, aber nur mit diesen Modellen. Die Autoren nennen Opus 5.5, GPT-6 Astra und Gemini 4 Carbon als künftige Arbeit.
Ist FrontierHarness Eval Open Source? Wo liegen die Daten?
Code und Datensatz-Manifest liegen auf GitHub unter frontier-harness-eval/eval, Branch release/v1.1, und die Aufgaben sind öffentlich auf Harbor Hub. Für das Repo und die Daten ist keine Lizenz angegeben.
Was ist ein Agent-Harness?
Die Software um ein Modell herum, die daraus einen funktionierenden Agenten macht: die Schleife, die Tools, der Kontext und die Berechtigungen. Claude Code, Codex CLI und OpenCode sind Harnesses. FrontierHarness Eval hält das Modell fest und tauscht den Harness aus, um zu sehen, wie stark er das Ergebnis verändert.
Was hat es gekostet, FrontierHarness Eval auszuführen?
Die Autoren nennen keine Gesamtsumme. Sie berichten 83B Tokens über 27.280 Läufe und Kosten pro Aufgabe, geschätzt aus Baseten-Listenpreisen, von etwa $0,11 bis $1,98 pro Aufgabe je nach Harness und Modell.
Geprüft anhand von Runtas v1.1-Beitrag, dem Eval-Repo (release/v1.1) und dem Leaderboard am 18. November 2026.