FrontierHarness Eval v1.1 en un coup d’œil
| FrontierHarness Eval v1.1 | |
|---|---|
| Créé par | Runta, qui se présente comme la couche d’exécution des agents IA. Article de Shilin Zhu. Baseten a servi les modèles en tant que partenaire ; le classement cite aussi Z.ai comme sponsor |
| Publié | 17 novembre 2026 (la v1.0 date du 1er septembre 2026) |
| Version | v1.1, jeu de données Harbor frontier-harness-eval/frontier-harness-eval@v1.1.0 |
| Exécutions | 27 280 : 62 tâches × 22 configurations × 4 essais × 5 modèles, pour 83B tokens |
| Tâches | 62 tâches en ligne de commande (génie logiciel, sciences, données, systèmes, ML et sécurité), avec des limites de temps de 15 minutes à 8 heures |
| Modèles | Cinq modèles open-weight, tous servis par Baseten : GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open et Kimi-K3 |
| Harness | 22 configurations de 18 harness (DeepSeek Harness en 4 profils, OpenCode en 2 versions), chacun avec ses réglages par défaut et l’effort de raisonnement maximal |
| Ce qui est mesuré | Taux de réussite, coût moyen par tâche, coût par réussite et durée par tâche |
| Données et code | Le dépôt de l’évaluation (branche release/v1.1) contient la suite, les adaptateurs et le lanceur ; les tâches sont publiques sur Harbor Hub. Aucune licence n’est indiquée |
Les nouveautés de la v1.1
La version 1.0 testait un seul modèle, Kimi K3, avec 12 configurations de harness sur 30 tâches, un essai chacune : 360 essais. La version 1.1 est beaucoup plus grande. Les auteurs parlent d’une taille 76 fois supérieure à celle de la v1.0.
- Cinq modèles au lieu d’un, servis par Baseten au lieu de Fireworks.
- 22 configurations de harness au lieu de 12.
- 62 tâches au lieu de 30, et 4 essais par tâche au lieu de 1.
- De nouvelles métriques de coût : coût moyen par tâche et coût par réussite (la v1.0 utilisait le coût médian par réussite).
- La question principale a aussi changé : pour chaque modèle, quel harness offre le meilleur rapport qualité-prix.
Résultats par modèle : le meilleur rapport qualité-prix selon les auteurs
La règle des auteurs : le harness au coût par réussite le plus bas l’emporte, sauf si un autre coûte au plus 30 % de plus par réussite et réussit au moins 5 points plus souvent. Pour éprouver chaque choix, ils ont rééchantillonné les tâches 4 000 fois. La dernière colonne indique la fréquence à laquelle le choix est resté en tête.
| Modèle | Harness au meilleur rapport qualité-prix | Coût par réussite | Taux de réussite | Solidité |
|---|---|---|---|---|
| GLM-5.3 | Codex CLI | $0.803 | 57.7% | Solide : en tête dans 99,6 % des rééchantillonnages |
| GLM-5.3-Flash | Pi | $0.223 | 58.1% | Fragile : 42 % |
| DeepSeek-V4.1-Flash | ZCode | $0.222 | 69.0% | Fragile : 47 %. Choisi plutôt qu’OpenCode v1, qui coûtait 25 % de moins par réussite et réussissait 7,7 points de moins |
| Muse Spark Open | Oh My Pi | $1.212 | 58.9% | À peu près égal : 53 % |
| Kimi-K3 | Alma | $1.579 | 64.1% | Fragile : 25 %. Choisi plutôt qu’Oh My Pi, qui coûtait 9 % de moins par réussite et réussissait 6,5 points de moins |
| Tous les modèles | Pas de choix unique. Sur la frontière coût et taux de réussite : OpenCode v2, Pi, Codex CLI, ZCode | Le plus bas : Codex CLI, $0.937 | Le plus haut : ZCode, 61.9% | - |
Tous modèles confondus : taux de réussite, coût et durée par harness
Moyenne sur les cinq modèles, 1 240 essais notés par harness. Trié par coût par réussite. Les coûts sont des estimations d’après les tarifs publics de Baseten, pas des factures. Les auteurs précisent qu’un écart de quelques points de taux de réussite est une égalité : l’intervalle à 95 % pour un harness sur un modèle est d’environ ±10 points.
Voici 13 des 22 lignes. Le tableau complet, avec chaque modèle séparément et les autres harness (Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo et les quatre profils de DeepSeek Harness), se trouve dans le dépôt et dans l’article.
| Harness | Taux de réussite | Coût par tâche | Coût par réussite | Durée par tâche |
|---|---|---|---|---|
| Codex CLI | 61.1% | $0.573 | $0.937 | 26.8 min |
| Pi | 57.7% | $0.563 | $0.976 | 31.2 min |
| OpenCode v2 | 57.3% | $0.561 | $0.978 | 25.1 min |
| Oh My Pi | 57.3% | $0.564 | $0.983 | 34.0 min |
| ZCode | 61.9% | $0.659 | $1.063 | 35.4 min |
| KimiCode | 60.2% | $0.653 | $1.085 | 33.7 min |
| OpenCode v1 | 57.4% | $0.646 | $1.125 | 35.9 min |
| Hermes Agent | 59.9% | $0.692 | $1.155 | 35.0 min |
| Grok Build | 60.0% | $0.723 | $1.205 | 36.2 min |
| Alma | 59.7% | $0.731 | $1.224 | 34.1 min |
| GitHub Copilot CLI | 56.9% | $0.787 | $1.383 | 36.8 min |
| Claude Code | 58.9% | $0.915 | $1.555 | 41.3 min |
| Antigravity CLI | 55.0% | $0.897 | $1.632 | 36.8 min |
Ce que disent les chiffres
- Le modèle fixe l’essentiel du coût. Dans l’analyse des auteurs, le modèle explique 92,8 % de la variance du coût par tâche, et le harness 2,3 %.
- À modèle fixé, le harness compte encore beaucoup. Il a fait varier le coût par tâche de 1,8 à 5,0× et le coût par réussite de 1,9 à 4,9×. Le plus gros écart concerne DeepSeek, où Cline CLI coûtait 5,0× plus par tâche qu’OpenCode v1 pour 2,0 points de plus.
- Payer plus n’achète pas un meilleur taux de réussite. Par modèle, la corrélation de rang entre coût par tâche et taux de réussite allait de −0,39 à +0,22.
- Les étapes prédisent le coût ; la taille, non. Le nombre d’étapes par réussite suivait le coût par réussite (+0,51). Les tokens de départ, le nombre d’outils et le taux de succès du cache, non. mini-SWE-agent, le plus petit harness, arrivait 19e sur 22 pour le coût par tâche.
- L’essentiel de l’argent part dans des exécutions qui échouent. 64,5 % des dépenses sont allées à des essais non réussis : 52,7 % à des échecs et 11,8 % à des dépassements de temps. Avec les cinq harness au meilleur rapport qualité-prix, de 68 % (Pi) à 82 % (Codex CLI) des exécutions échouées se sont terminées sur une réponse finale assurée, et non à la limite de temps.
- Les taux de réussite sont proches. Tous modèles confondus, ils vont de 50.6% (Exo) à 61.9% (ZCode), et la plupart des harness sont à quelques points les uns des autres, ce que les auteurs traitent comme des égalités.
- Les cinq harness au meilleur rapport qualité-prix ont des points communs : un outil shell qui fait l’essentiel du travail, un contexte qui ne fait que grandir, pas de subagents et presque aucun résumé. Les auteurs parlent d’observations, pas de tests.
Claude Code et Codex dans cette évaluation
Les deux n’ont tourné ici qu’avec des modèles open-weight via Baseten, jamais avec les modèles d’Anthropic ou d’OpenAI. Lisez les résultats en gardant cela en tête.
- Codex CLI (0.164.0) a eu le coût par réussite le plus bas tous modèles confondus, $0.937, et un taux de réussite parmi les meilleurs, 61.1%. C’était aussi le plus rapide du groupe à fort taux de réussite, avec 26.8 minutes par tâche. Avec GLM-5.3, c’était le choix des auteurs au meilleur rapport qualité-prix, confirmé dans 99,6 % des rééchantillonnages.
- Claude Code (2.1.308) a réussi 58.9% des tâches, dans la moyenne, mais il était lent et coûteux par réussite avec ces modèles. Il avait le deuxième coût par réussite le plus élevé ($1.555, après Antigravity CLI), la durée par tâche la plus longue (41.3 minutes) et le deuxième taux de dépassement de temps le plus élevé (14,2 %).
- Sa combinaison la plus chère était avec Muse Spark Open : $3.753 par réussite, le plus haut des 110 cellules harness et modèle.
- Avec DeepSeek-V4.1-Flash, Claude Code s’est bien comporté : 68.1%, deuxième sur ce modèle derrière les 69.0% de ZCode, à $0.285 par réussite.
Ce que cela ne dit pas
- Rien sur les modèles fermés. La v1.1 n’a testé que des modèles open-weight. Elle n’a aucun résultat pour Claude Opus ou Fable, ni pour les modèles GPT ou Gemini, et ses classements ne s’appliquent pas forcément à eux. Les auteurs citent Opus 5.5, GPT-6 Astra et Gemini 4 Carbon comme travaux futurs. Pour ces modèles, voir GPT-6.2 vs Claude.
- Certains harness manquent, dont Cursor, Gemini CLI et Droid.
- Les coûts sont des estimations. Ce sont les tarifs publics de Baseten multipliés par les tokens déclarés par le fournisseur. Le cache et les prix de Baseten déterminent le classement des coûts, comme le disent les auteurs eux-mêmes. Votre facture chez un autre fournisseur ou avec un autre forfait peut différer.
- Le créateur l’a exécuté. Chaque essai a tourné sur le runtime de Runta, et le fondateur de Runta l’a dit dans le fil Hacker News. Les données et le code sont publics, donc d’autres peuvent vérifier.
- Les petits écarts sont du bruit. L’intervalle pour un harness sur un modèle est d’environ ±10 points, donc la plupart des différences de taux de réussite dans les tableaux sont des égalités.
- Un seul type de tâche. Les 62 tâches sont des tâches en ligne de commande, chacune exécutée dans un runtime neuf et de courte durée avec les réglages par défaut du harness. Votre dépôt, vos prompts et vos réglages peuvent favoriser un autre harness.
Comment le lire pour votre équipe
- Choisissez d’abord le modèle. Il fixe l’essentiel du coût.
- Quand vous changez de modèle, testez de nouveau le harness. Le conseil des auteurs est de songer aussi à changer de harness.
- Utilisez le choix par modèle, pas la moyenne générale, et vérifiez sa solidité. Codex CLI sur GLM-5.3 a tenu ; les choix pour GLM-5.3-Flash, DeepSeek et Kimi-K3 ont souvent cédé.
- Comparez le coût par réussite, pas le coût par tâche. Une exécution bon marché qui échoue coûte quand même de l’argent.
- Lancez vos propres tâches. Les auteurs suggèrent un jeu privé de vos tâches pour tester les candidats, ce qui en dit plus que n’importe quel tableau public.
- Surveillez les étapes et les exécutions échouées. Les harness qui font moins d’étapes coûtent moins, et vérifier le travail avant qu’un agent s’arrête pourrait récupérer une partie de l’argent dépensé en échecs. Les auteurs n’ont pas testé cette dernière idée.
Comparez des paires harness et modèle sur vos propres issues
FrontierHarness Eval mesure un harness d’agent à la fois. Crewmark est le multi-agent harness d’une équipe d’agents : chaque employé IA est sa propre session d’agent de code, avec un rôle, un objectif, des horaires de travail et une pulsation. Vous pouvez donc faire tourner différentes paires harness et modèle côte à côte sur un même tableau et voir lesquelles ferment vos issues.
Ajoutez des employés sur différents harness
Les employés Claude Code et Codex tournent nativement. D’autres agents, comme OpenCode et DeepSeek Harness, se connectent via ACP (par acpx) sur votre ordinateur. Voir Claude Code vs Codex et Alternatives à OpenCode pour les options.
Donnez-leur le même type de travail
Utilisez le même rôle pour chacun, par exemple l’ingénieur logiciel IA, et assignez des issues similaires de votre backlog.
Comparez sur le tableau
Chaque employé se réveille au rythme de sa pulsation, traite ses issues et tient leur statut à jour. Regardez quelles issues chacun a terminées et ce que cela a coûté avec votre propre fournisseur ou forfait.
FAQ
Qu’est-ce que FrontierHarness Eval ?
Un benchmark qui fait tourner des harness d’agents de code sur les mêmes 62 tâches en ligne de commande et compare taux de réussite, coût et durée. La version 1.1 a testé 22 configurations de harness sur cinq modèles open-weight, soit 27 280 exécutions au total.
Qui a créé FrontierHarness Eval ?
Runta, une entreprise qui construit un runtime pour agents IA. Chaque essai a tourné sur le runtime de Runta, ce que son fondateur a indiqué sur Hacker News. Baseten a servi les modèles, et le classement cite Z.ai comme sponsor.
Quel harness d’agent est le meilleur ?
Les auteurs ne désignent pas de vainqueur général. Ils choisissent un harness au meilleur rapport qualité-prix par modèle : Codex CLI pour GLM-5.3, Pi pour GLM-5.3-Flash, ZCode pour DeepSeek-V4.1-Flash, Oh My Pi pour Muse Spark Open et Alma pour Kimi-K3. Seul le choix de Codex CLI a tenu fermement au rééchantillonnage des tâches. Tous modèles confondus, Codex CLI avait le coût par réussite le plus bas et ZCode le taux de réussite le plus haut.
FrontierHarness Eval inclut-il des modèles Claude ou GPT ?
Non. La v1.1 n’a testé que des modèles open-weight : GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open et Kimi-K3. Claude Code et Codex CLI ont été testés comme harness, mais seulement avec ces modèles. Les auteurs citent Opus 5.5, GPT-6 Astra et Gemini 4 Carbon comme travaux futurs.
FrontierHarness Eval est-il open source ? Où sont les données ?
Le code et le manifeste du jeu de données sont sur GitHub, à frontier-harness-eval/eval, branche release/v1.1, et les tâches sont publiques sur Harbor Hub. Aucune licence n’est indiquée pour le dépôt ni pour les données.
Qu’est-ce qu’un harness d’agent ?
Le logiciel autour d’un modèle qui en fait un agent opérationnel : la boucle, les outils, le contexte et les permissions. Claude Code, Codex CLI et OpenCode sont des harness. FrontierHarness Eval garde le modèle fixe et change le harness pour voir à quel point cela modifie le résultat.
Combien a coûté l’exécution de FrontierHarness Eval ?
Les auteurs n’indiquent pas de total. Ils rapportent 83B tokens sur 27 280 exécutions, et des coûts par tâche estimés d’après les tarifs publics de Baseten, d’environ $0.11 à $1.98 par tâche selon le harness et le modèle.
Vérifié d’après l’article v1.1 de Runta, le dépôt de l’évaluation (release/v1.1) et le classement le 18 novembre 2026.