Blog · Agents IA

FrontierHarness Eval v1.1 : quel harness d’agent fonctionne le mieux avec quel modèle

FrontierHarness Eval est un benchmark qui fait tourner de nombreux harness d’agents de code, comme Codex CLI, Claude Code, OpenCode et Pi, sur les mêmes tâches en terminal, et compare taux de réussite, coût et durée. La version 1.1 est sortie le 17 novembre 2026, publiée par Runta, l’entreprise dont le runtime a exécuté tous les essais. Elle a testé 22 configurations de harness sur cinq modèles open-weight, soit 27 280 exécutions au total. Elle n’a aucun résultat pour les modèles Claude, GPT ou Gemini. Ce guide couvre ce qui a changé, le choix des auteurs pour chaque modèle, les chiffres tous modèles confondus et le degré de confiance à leur accorder.

FrontierHarness Eval v1.1 en un coup d’œil

FrontierHarness Eval v1.1
Créé parRunta, qui se présente comme la couche d’exécution des agents IA. Article de Shilin Zhu. Baseten a servi les modèles en tant que partenaire ; le classement cite aussi Z.ai comme sponsor
Publié17 novembre 2026 (la v1.0 date du 1er septembre 2026)
Versionv1.1, jeu de données Harbor frontier-harness-eval/frontier-harness-eval@v1.1.0
Exécutions27 280 : 62 tâches × 22 configurations × 4 essais × 5 modèles, pour 83B tokens
Tâches62 tâches en ligne de commande (génie logiciel, sciences, données, systèmes, ML et sécurité), avec des limites de temps de 15 minutes à 8 heures
ModèlesCinq modèles open-weight, tous servis par Baseten : GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open et Kimi-K3
Harness22 configurations de 18 harness (DeepSeek Harness en 4 profils, OpenCode en 2 versions), chacun avec ses réglages par défaut et l’effort de raisonnement maximal
Ce qui est mesuréTaux de réussite, coût moyen par tâche, coût par réussite et durée par tâche
Données et codeLe dépôt de l’évaluation (branche release/v1.1) contient la suite, les adaptateurs et le lanceur ; les tâches sont publiques sur Harbor Hub. Aucune licence n’est indiquée

Les nouveautés de la v1.1

La version 1.0 testait un seul modèle, Kimi K3, avec 12 configurations de harness sur 30 tâches, un essai chacune : 360 essais. La version 1.1 est beaucoup plus grande. Les auteurs parlent d’une taille 76 fois supérieure à celle de la v1.0.

  • Cinq modèles au lieu d’un, servis par Baseten au lieu de Fireworks.
  • 22 configurations de harness au lieu de 12.
  • 62 tâches au lieu de 30, et 4 essais par tâche au lieu de 1.
  • De nouvelles métriques de coût : coût moyen par tâche et coût par réussite (la v1.0 utilisait le coût médian par réussite).
  • La question principale a aussi changé : pour chaque modèle, quel harness offre le meilleur rapport qualité-prix.

Résultats par modèle : le meilleur rapport qualité-prix selon les auteurs

La règle des auteurs : le harness au coût par réussite le plus bas l’emporte, sauf si un autre coûte au plus 30 % de plus par réussite et réussit au moins 5 points plus souvent. Pour éprouver chaque choix, ils ont rééchantillonné les tâches 4 000 fois. La dernière colonne indique la fréquence à laquelle le choix est resté en tête.

ModèleHarness au meilleur rapport qualité-prixCoût par réussiteTaux de réussiteSolidité
GLM-5.3Codex CLI$0.80357.7%Solide : en tête dans 99,6 % des rééchantillonnages
GLM-5.3-FlashPi$0.22358.1%Fragile : 42 %
DeepSeek-V4.1-FlashZCode$0.22269.0%Fragile : 47 %. Choisi plutôt qu’OpenCode v1, qui coûtait 25 % de moins par réussite et réussissait 7,7 points de moins
Muse Spark OpenOh My Pi$1.21258.9%À peu près égal : 53 %
Kimi-K3Alma$1.57964.1%Fragile : 25 %. Choisi plutôt qu’Oh My Pi, qui coûtait 9 % de moins par réussite et réussissait 6,5 points de moins
Tous les modèlesPas de choix unique. Sur la frontière coût et taux de réussite : OpenCode v2, Pi, Codex CLI, ZCodeLe plus bas : Codex CLI, $0.937Le plus haut : ZCode, 61.9%-

Tous modèles confondus : taux de réussite, coût et durée par harness

Moyenne sur les cinq modèles, 1 240 essais notés par harness. Trié par coût par réussite. Les coûts sont des estimations d’après les tarifs publics de Baseten, pas des factures. Les auteurs précisent qu’un écart de quelques points de taux de réussite est une égalité : l’intervalle à 95 % pour un harness sur un modèle est d’environ ±10 points.

Voici 13 des 22 lignes. Le tableau complet, avec chaque modèle séparément et les autres harness (Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo et les quatre profils de DeepSeek Harness), se trouve dans le dépôt et dans l’article.

HarnessTaux de réussiteCoût par tâcheCoût par réussiteDurée par tâche
Codex CLI61.1%$0.573$0.93726.8 min
Pi57.7%$0.563$0.97631.2 min
OpenCode v257.3%$0.561$0.97825.1 min
Oh My Pi57.3%$0.564$0.98334.0 min
ZCode61.9%$0.659$1.06335.4 min
KimiCode60.2%$0.653$1.08533.7 min
OpenCode v157.4%$0.646$1.12535.9 min
Hermes Agent59.9%$0.692$1.15535.0 min
Grok Build60.0%$0.723$1.20536.2 min
Alma59.7%$0.731$1.22434.1 min
GitHub Copilot CLI56.9%$0.787$1.38336.8 min
Claude Code58.9%$0.915$1.55541.3 min
Antigravity CLI55.0%$0.897$1.63236.8 min

Ce que disent les chiffres

  • Le modèle fixe l’essentiel du coût. Dans l’analyse des auteurs, le modèle explique 92,8 % de la variance du coût par tâche, et le harness 2,3 %.
  • À modèle fixé, le harness compte encore beaucoup. Il a fait varier le coût par tâche de 1,8 à 5,0× et le coût par réussite de 1,9 à 4,9×. Le plus gros écart concerne DeepSeek, où Cline CLI coûtait 5,0× plus par tâche qu’OpenCode v1 pour 2,0 points de plus.
  • Payer plus n’achète pas un meilleur taux de réussite. Par modèle, la corrélation de rang entre coût par tâche et taux de réussite allait de −0,39 à +0,22.
  • Les étapes prédisent le coût ; la taille, non. Le nombre d’étapes par réussite suivait le coût par réussite (+0,51). Les tokens de départ, le nombre d’outils et le taux de succès du cache, non. mini-SWE-agent, le plus petit harness, arrivait 19e sur 22 pour le coût par tâche.
  • L’essentiel de l’argent part dans des exécutions qui échouent. 64,5 % des dépenses sont allées à des essais non réussis : 52,7 % à des échecs et 11,8 % à des dépassements de temps. Avec les cinq harness au meilleur rapport qualité-prix, de 68 % (Pi) à 82 % (Codex CLI) des exécutions échouées se sont terminées sur une réponse finale assurée, et non à la limite de temps.
  • Les taux de réussite sont proches. Tous modèles confondus, ils vont de 50.6% (Exo) à 61.9% (ZCode), et la plupart des harness sont à quelques points les uns des autres, ce que les auteurs traitent comme des égalités.
  • Les cinq harness au meilleur rapport qualité-prix ont des points communs : un outil shell qui fait l’essentiel du travail, un contexte qui ne fait que grandir, pas de subagents et presque aucun résumé. Les auteurs parlent d’observations, pas de tests.

Claude Code et Codex dans cette évaluation

Les deux n’ont tourné ici qu’avec des modèles open-weight via Baseten, jamais avec les modèles d’Anthropic ou d’OpenAI. Lisez les résultats en gardant cela en tête.

  • Codex CLI (0.164.0) a eu le coût par réussite le plus bas tous modèles confondus, $0.937, et un taux de réussite parmi les meilleurs, 61.1%. C’était aussi le plus rapide du groupe à fort taux de réussite, avec 26.8 minutes par tâche. Avec GLM-5.3, c’était le choix des auteurs au meilleur rapport qualité-prix, confirmé dans 99,6 % des rééchantillonnages.
  • Claude Code (2.1.308) a réussi 58.9% des tâches, dans la moyenne, mais il était lent et coûteux par réussite avec ces modèles. Il avait le deuxième coût par réussite le plus élevé ($1.555, après Antigravity CLI), la durée par tâche la plus longue (41.3 minutes) et le deuxième taux de dépassement de temps le plus élevé (14,2 %).
  • Sa combinaison la plus chère était avec Muse Spark Open : $3.753 par réussite, le plus haut des 110 cellules harness et modèle.
  • Avec DeepSeek-V4.1-Flash, Claude Code s’est bien comporté : 68.1%, deuxième sur ce modèle derrière les 69.0% de ZCode, à $0.285 par réussite.

Ce que cela ne dit pas

  • Rien sur les modèles fermés. La v1.1 n’a testé que des modèles open-weight. Elle n’a aucun résultat pour Claude Opus ou Fable, ni pour les modèles GPT ou Gemini, et ses classements ne s’appliquent pas forcément à eux. Les auteurs citent Opus 5.5, GPT-6 Astra et Gemini 4 Carbon comme travaux futurs. Pour ces modèles, voir GPT-6.2 vs Claude.
  • Certains harness manquent, dont Cursor, Gemini CLI et Droid.
  • Les coûts sont des estimations. Ce sont les tarifs publics de Baseten multipliés par les tokens déclarés par le fournisseur. Le cache et les prix de Baseten déterminent le classement des coûts, comme le disent les auteurs eux-mêmes. Votre facture chez un autre fournisseur ou avec un autre forfait peut différer.
  • Le créateur l’a exécuté. Chaque essai a tourné sur le runtime de Runta, et le fondateur de Runta l’a dit dans le fil Hacker News. Les données et le code sont publics, donc d’autres peuvent vérifier.
  • Les petits écarts sont du bruit. L’intervalle pour un harness sur un modèle est d’environ ±10 points, donc la plupart des différences de taux de réussite dans les tableaux sont des égalités.
  • Un seul type de tâche. Les 62 tâches sont des tâches en ligne de commande, chacune exécutée dans un runtime neuf et de courte durée avec les réglages par défaut du harness. Votre dépôt, vos prompts et vos réglages peuvent favoriser un autre harness.

Comment le lire pour votre équipe

  • Choisissez d’abord le modèle. Il fixe l’essentiel du coût.
  • Quand vous changez de modèle, testez de nouveau le harness. Le conseil des auteurs est de songer aussi à changer de harness.
  • Utilisez le choix par modèle, pas la moyenne générale, et vérifiez sa solidité. Codex CLI sur GLM-5.3 a tenu ; les choix pour GLM-5.3-Flash, DeepSeek et Kimi-K3 ont souvent cédé.
  • Comparez le coût par réussite, pas le coût par tâche. Une exécution bon marché qui échoue coûte quand même de l’argent.
  • Lancez vos propres tâches. Les auteurs suggèrent un jeu privé de vos tâches pour tester les candidats, ce qui en dit plus que n’importe quel tableau public.
  • Surveillez les étapes et les exécutions échouées. Les harness qui font moins d’étapes coûtent moins, et vérifier le travail avant qu’un agent s’arrête pourrait récupérer une partie de l’argent dépensé en échecs. Les auteurs n’ont pas testé cette dernière idée.
Avec Crewmark

Comparez des paires harness et modèle sur vos propres issues

FrontierHarness Eval mesure un harness d’agent à la fois. Crewmark est le multi-agent harness d’une équipe d’agents : chaque employé IA est sa propre session d’agent de code, avec un rôle, un objectif, des horaires de travail et une pulsation. Vous pouvez donc faire tourner différentes paires harness et modèle côte à côte sur un même tableau et voir lesquelles ferment vos issues.

  1. Ajoutez des employés sur différents harness

    Les employés Claude Code et Codex tournent nativement. D’autres agents, comme OpenCode et DeepSeek Harness, se connectent via ACP (par acpx) sur votre ordinateur. Voir Claude Code vs Codex et Alternatives à OpenCode pour les options.

  2. Donnez-leur le même type de travail

    Utilisez le même rôle pour chacun, par exemple l’ingénieur logiciel IA, et assignez des issues similaires de votre backlog.

  3. Comparez sur le tableau

    Chaque employé se réveille au rythme de sa pulsation, traite ses issues et tient leur statut à jour. Regardez quelles issues chacun a terminées et ce que cela a coûté avec votre propre fournisseur ou forfait.

FAQ

Qu’est-ce que FrontierHarness Eval ?

Un benchmark qui fait tourner des harness d’agents de code sur les mêmes 62 tâches en ligne de commande et compare taux de réussite, coût et durée. La version 1.1 a testé 22 configurations de harness sur cinq modèles open-weight, soit 27 280 exécutions au total.

Qui a créé FrontierHarness Eval ?

Runta, une entreprise qui construit un runtime pour agents IA. Chaque essai a tourné sur le runtime de Runta, ce que son fondateur a indiqué sur Hacker News. Baseten a servi les modèles, et le classement cite Z.ai comme sponsor.

Quel harness d’agent est le meilleur ?

Les auteurs ne désignent pas de vainqueur général. Ils choisissent un harness au meilleur rapport qualité-prix par modèle : Codex CLI pour GLM-5.3, Pi pour GLM-5.3-Flash, ZCode pour DeepSeek-V4.1-Flash, Oh My Pi pour Muse Spark Open et Alma pour Kimi-K3. Seul le choix de Codex CLI a tenu fermement au rééchantillonnage des tâches. Tous modèles confondus, Codex CLI avait le coût par réussite le plus bas et ZCode le taux de réussite le plus haut.

FrontierHarness Eval inclut-il des modèles Claude ou GPT ?

Non. La v1.1 n’a testé que des modèles open-weight : GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open et Kimi-K3. Claude Code et Codex CLI ont été testés comme harness, mais seulement avec ces modèles. Les auteurs citent Opus 5.5, GPT-6 Astra et Gemini 4 Carbon comme travaux futurs.

FrontierHarness Eval est-il open source ? Où sont les données ?

Le code et le manifeste du jeu de données sont sur GitHub, à frontier-harness-eval/eval, branche release/v1.1, et les tâches sont publiques sur Harbor Hub. Aucune licence n’est indiquée pour le dépôt ni pour les données.

Qu’est-ce qu’un harness d’agent ?

Le logiciel autour d’un modèle qui en fait un agent opérationnel : la boucle, les outils, le contexte et les permissions. Claude Code, Codex CLI et OpenCode sont des harness. FrontierHarness Eval garde le modèle fixe et change le harness pour voir à quel point cela modifie le résultat.

Combien a coûté l’exécution de FrontierHarness Eval ?

Les auteurs n’indiquent pas de total. Ils rapportent 83B tokens sur 27 280 exécutions, et des coûts par tâche estimés d’après les tarifs publics de Baseten, d’environ $0.11 à $1.98 par tâche selon le harness et le modèle.

Vérifié d’après l’article v1.1 de Runta, le dépôt de l’évaluation (release/v1.1) et le classement le 18 novembre 2026.

Faites travailler vos harness en équipe.

Crewmark transforme des sessions Claude Code, Codex et d’autres agents de code en employés IA dotés de rôles, d’objectifs, d’horaires de travail et d’une pulsation.