Blog · Agentes de IA

FrontierHarness Eval v1.1: qué agent harness funciona mejor con cada modelo

FrontierHarness Eval es un benchmark que ejecuta muchos harness de agentes de programación, como Codex CLI, Claude Code, OpenCode y Pi, en las mismas tareas de terminal y compara tasa de acierto, coste y tiempo. La versión 1.1 salió el 17 de noviembre de 2026 de la mano de Runta, la empresa cuyo runtime ejecutó todas las pruebas. Probó 22 configuraciones de harness con cinco modelos de pesos abiertos, 27,280 ejecuciones en total. No tiene resultados de modelos de Claude, GPT ni Gemini. Esta guía explica qué cambió, la elección de los autores para cada modelo, las cifras de todos los modelos y hasta qué punto fiarse de ellas.

FrontierHarness Eval v1.1 de un vistazo

FrontierHarness Eval v1.1
Creado porRunta, que se describe como la capa de ejecución para agentes de IA. Publicación de Shilin Zhu. Baseten sirvió los modelos como socio; el leaderboard también cita a Z.ai como patrocinador
Publicado17 de noviembre de 2026 (v1.0 fue el 1 de septiembre de 2026)
Versiónv1.1, dataset de Harbor frontier-harness-eval/frontier-harness-eval@v1.1.0
Ejecuciones27,280: 62 tareas × 22 configuraciones × 4 intentos × 5 modelos, con 83B de tokens
Tareas62 tareas de línea de comandos (ingeniería de software, ciencia, datos, sistemas, ML y seguridad), con límites de tiempo de 15 minutos a 8 horas
ModelosCinco modelos de pesos abiertos, todos servidos por Baseten: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open y Kimi-K3
Harnesses22 configuraciones de 18 harnesses (DeepSeek Harness en 4 perfiles, OpenCode en 2 versiones), cada uno con sus ajustes predeterminados y el máximo esfuerzo de razonamiento
Qué se mideTasa de acierto, coste medio por tarea, coste por acierto y tiempo por tarea
Datos y códigoEl repositorio de la evaluación (rama release/v1.1) tiene la suite, los adaptadores y el lanzador; las tareas son públicas en Harbor Hub. No se indica licencia

Novedades de v1.1

La versión 1.0 probó un solo modelo, Kimi K3, con 12 configuraciones de harness en 30 tareas, un intento cada una: 360 pruebas. La versión 1.1 es mucho mayor. Los autores dicen que es 76 veces el tamaño de v1.0.

  • Cinco modelos en lugar de uno, servidos por Baseten en lugar de Fireworks.
  • 22 configuraciones de harness en lugar de 12.
  • 62 tareas en lugar de 30, y 4 intentos por tarea en lugar de 1.
  • Nuevas métricas de coste: coste medio por tarea y coste por acierto (v1.0 usaba la mediana del coste por acierto).
  • También cambió la pregunta principal: para cada modelo, qué harness ofrece la mejor relación calidad-precio.

Resultados por modelo: la elección de mejor relación calidad-precio de los autores

La regla de los autores: gana el harness con el menor coste por acierto, salvo que otro cueste como máximo un 30% más por acierto y acierte al menos 5 puntos más a menudo. Para comprobar cada elección, remuestrearon las tareas 4,000 veces. La última columna muestra cuántas veces la elección siguió en cabeza.

ModeloHarness de mejor relación calidad-precioCoste por aciertoTasa de aciertoQué tan firme
GLM-5.3Codex CLI$0.80357.7%Firme: primero en el 99.6% de los remuestreos
GLM-5.3-FlashPi$0.22358.1%Débil: 42%
DeepSeek-V4.1-FlashZCode$0.22269.0%Débil: 47%. Elegido frente a OpenCode v1, que costó un 25% menos por acierto y acertó 7.7 puntos menos
Muse Spark OpenOh My Pi$1.21258.9%Casi empate: 53%
Kimi-K3Alma$1.57964.1%Débil: 25%. Elegido frente a Oh My Pi, que costó un 9% menos por acierto y acertó 6.5 puntos menos
Todos los modelosSin una elección única. En la frontera de coste y tasa de acierto: OpenCode v2, Pi, Codex CLI, ZCodeMás bajo: Codex CLI, $0.937Más alta: ZCode, 61.9%-

Todos los modelos juntos: tasa de acierto, coste y tiempo por harness

Promedio de los cinco modelos, 1,240 intentos puntuados por harness. Ordenado por coste por acierto. Los costes son estimaciones a partir de los precios de lista de Baseten, no facturas. Los autores dicen que una diferencia de unos pocos puntos en la tasa de acierto es un empate: el intervalo del 95% para un harness con un modelo es de unos ±10 puntos.

Son 13 de las 22 filas. La tabla completa, con cada modelo por separado y los demás harnesses (Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo y los cuatro perfiles de DeepSeek Harness), está en el repositorio y en la publicación.

HarnessTasa de aciertoCoste por tareaCoste por aciertoTiempo por tarea
Codex CLI61.1%$0.573$0.93726.8 min
Pi57.7%$0.563$0.97631.2 min
OpenCode v257.3%$0.561$0.97825.1 min
Oh My Pi57.3%$0.564$0.98334.0 min
ZCode61.9%$0.659$1.06335.4 min
KimiCode60.2%$0.653$1.08533.7 min
OpenCode v157.4%$0.646$1.12535.9 min
Hermes Agent59.9%$0.692$1.15535.0 min
Grok Build60.0%$0.723$1.20536.2 min
Alma59.7%$0.731$1.22434.1 min
GitHub Copilot CLI56.9%$0.787$1.38336.8 min
Claude Code58.9%$0.915$1.55541.3 min
Antigravity CLI55.0%$0.897$1.63236.8 min

Qué dicen las cifras

  • El modelo fija la mayor parte del coste. En el análisis de los autores, el modelo explica el 92.8% de la varianza del coste por tarea y el harness, el 2.3%.
  • Con el modelo fijo, el harness sigue importando mucho. Cambió el coste por tarea entre 1.8 y 5.0 veces, y el coste por acierto entre 1.9 y 4.9 veces. La mayor diferencia fue con DeepSeek, donde Cline CLI costó 5.0 veces más por tarea que OpenCode v1 por 2.0 puntos más.
  • Pagar más no compra una tasa de acierto más alta. Por modelo, la correlación de rangos entre coste por tarea y tasa de acierto fue de −0.39 a +0.22.
  • Los pasos predicen el coste; el tamaño no. Los pasos por acierto siguieron al coste por acierto (+0.51). Los tokens iniciales, el número de herramientas y la tasa de aciertos de caché no. mini-SWE-agent, el harness más pequeño, quedó 19.º de 22 en coste por tarea.
  • La mayor parte del dinero va a ejecuciones que fallan. El 64.5% del gasto fue a pruebas que no acertaron: 52.7% a fallos y 11.8% a tiempos agotados. Con los cinco harnesses de mejor relación calidad-precio, del 68% (Pi) al 82% (Codex CLI) de las ejecuciones fallidas terminaron con una respuesta final segura de sí misma, no en el límite de tiempo.
  • Las tasas de acierto están muy juntas. Entre todos los modelos van del 50.6% (Exo) al 61.9% (ZCode), y la mayoría de los harnesses están a pocos puntos unos de otros, lo que los autores tratan como empates.
  • Los cinco harnesses de mejor relación calidad-precio tienen cosas en común: una herramienta de shell que hace casi todo el trabajo, un contexto que solo crece, sin subagentes y casi sin resumir. Los autores llaman a esto observaciones, no pruebas.

Claude Code y Codex en esta evaluación

Ambos se ejecutaron aquí solo con modelos de pesos abiertos a través de Baseten, nunca con los modelos de Anthropic ni de OpenAI. Lee los resultados teniéndolo en cuenta.

  • Codex CLI (0.164.0) tuvo el menor coste por acierto entre todos los modelos, $0.937, y una tasa de acierto de primer nivel, 61.1%. También fue el más rápido del grupo de tasa de acierto alta, con 26.8 minutos por tarea. Con GLM-5.3 fue la elección de mejor relación calidad-precio de los autores y se mantuvo en el 99.6% de los remuestreos.
  • Claude Code (2.1.308) acertó el 58.9% de las tareas, a mitad de tabla, pero con estos modelos fue lento y caro por acierto. Tuvo el segundo coste por acierto más alto ($1.555, después de Antigravity CLI), el mayor tiempo por tarea (41.3 minutos) y la segunda tasa más alta de tiempos agotados (14.2%).
  • Su emparejamiento más caro fue con Muse Spark Open: $3.753 por acierto, el más alto de las 110 celdas de harness y modelo.
  • Con DeepSeek-V4.1-Flash, Claude Code lo hizo bien: 68.1%, segundo en ese modelo después del 69.0% de ZCode, a $0.285 por acierto.

Lo que no te dice

  • Nada sobre modelos cerrados. v1.1 probó solo modelos de pesos abiertos. No tiene resultados de Claude Opus ni Fable, ni de modelos GPT o Gemini, y sus clasificaciones pueden no valer para ellos. Los autores citan Opus 5.5, GPT-6 Astra y Gemini 4 Carbon como trabajo futuro. Para esos modelos, mira GPT-6.2 vs Claude.
  • Faltan algunos harnesses, entre ellos Cursor, Gemini CLI y Droid.
  • Los costes son estimaciones. Son los precios de lista de Baseten por los tokens que informó el proveedor. El caché y los precios de Baseten determinan el ranking de costes, como dicen los propios autores. Tu factura con otro proveedor o plan puede ser distinta.
  • Lo ejecutó su creador. Todas las pruebas corrieron en el runtime propio de Runta, y el fundador de Runta lo dijo en el hilo de Hacker News. Los datos y el código son públicos, así que otros pueden comprobarlo.
  • Las diferencias pequeñas son ruido. El intervalo para un harness con un modelo es de unos ±10 puntos, así que la mayoría de las diferencias de tasa de acierto de las tablas son empates.
  • Un solo tipo de tarea. Las 62 tareas son de línea de comandos, cada una ejecutada en un runtime nuevo y de corta vida, con los ajustes predeterminados del harness. Tu repositorio, tus prompts y tus ajustes pueden favorecer a otro harness.

Cómo leerlo para tu equipo

  • Elige primero el modelo. Es lo que más pesa en el coste.
  • Cuando cambies de modelo, vuelve a probar el harness. El propio consejo de los autores es pensar también en cambiar el harness.
  • Usa la elección por modelo, no el promedio general, y comprueba qué tan firme es. Codex CLI con GLM-5.3 aguantó; las elecciones para GLM-5.3-Flash, DeepSeek y Kimi-K3 a menudo no.
  • Compara el coste por acierto, no el coste por tarea. Una ejecución barata que falla también cuesta dinero.
  • Ejecuta tus propias tareas. Los autores sugieren un conjunto privado de tareas tuyas para probar candidatos, que te dice más que cualquier tabla pública.
  • Vigila los pasos y las ejecuciones fallidas. Los harnesses que dan menos pasos cuestan menos, y comprobar el trabajo antes de que un agente se detenga podría ahorrar parte del dinero que se gasta en fallos. Los autores no probaron esta última idea.
Con Crewmark

Compara parejas de harness y modelo con tus propias issues

FrontierHarness Eval mide un agent harness a la vez. Crewmark es el harness para un equipo de agentes: cada empleado de IA es su propia sesión de agente de programación, con un rol, un objetivo, horario laboral y un heartbeat. Así puedes ejecutar distintas parejas de harness y modelo lado a lado en un mismo tablero y ver cuál cierra tus issues.

  1. Añade empleados con distintos harnesses

    Los empleados de Claude Code y Codex funcionan de forma nativa. Otros agentes, como OpenCode y DeepSeek Harness, se conectan por ACP (mediante acpx) en tu ordenador. Mira Claude Code vs Codex y Alternativas a OpenCode para ver las opciones.

  2. Dales el mismo tipo de trabajo

    Usa el mismo rol para todos, como el ingeniero de software de IA, y asígnales issues parecidas de tu backlog.

  3. Compara en el tablero

    Cada empleado se despierta con su heartbeat, trabaja sus issues y mantiene su estado al día. Mira qué issues terminó cada uno y cuánto costó con tu propio proveedor o plan.

Preguntas frecuentes

¿Qué es FrontierHarness Eval?

Un benchmark que ejecuta harnesses de agentes de programación en las mismas 62 tareas de línea de comandos y compara tasa de acierto, coste y tiempo. La versión 1.1 probó 22 configuraciones de harness con cinco modelos de pesos abiertos, 27,280 ejecuciones en total.

¿Quién creó FrontierHarness Eval?

Runta, una empresa que construye un runtime para agentes de IA. Todas las pruebas corrieron en el runtime propio de Runta, algo que su fundador reveló en Hacker News. Baseten sirvió los modelos, y el leaderboard cita a Z.ai como patrocinador.

¿Cuál es el mejor agent harness?

Los autores no nombran un ganador general. Eligen un harness de mejor relación calidad-precio por modelo: Codex CLI para GLM-5.3, Pi para GLM-5.3-Flash, ZCode para DeepSeek-V4.1-Flash, Oh My Pi para Muse Spark Open y Alma para Kimi-K3. Solo la elección de Codex CLI se mantuvo firme al remuestrear las tareas. Entre todos los modelos, Codex CLI tuvo el menor coste por acierto y ZCode la tasa de acierto más alta.

¿FrontierHarness Eval incluye modelos de Claude o GPT?

No. v1.1 probó solo modelos de pesos abiertos: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open y Kimi-K3. Claude Code y Codex CLI se probaron como harnesses, pero solo con esos modelos. Los autores citan Opus 5.5, GPT-6 Astra y Gemini 4 Carbon como trabajo futuro.

¿FrontierHarness Eval es de código abierto? ¿Dónde están los datos?

El código y el manifiesto del dataset están en GitHub, en frontier-harness-eval/eval, rama release/v1.1, y las tareas son públicas en Harbor Hub. No se indica licencia para el repositorio ni para los datos.

¿Qué es un agent harness?

El software que rodea a un modelo y lo convierte en un agente que funciona: el bucle, las herramientas, el contexto y los permisos. Claude Code, Codex CLI y OpenCode son harnesses. FrontierHarness Eval mantiene fijo el modelo y cambia el harness para ver cuánto cambia el resultado.

¿Cuánto costó ejecutar FrontierHarness Eval?

Los autores no indican un total. Informan de 83B de tokens en 27,280 ejecuciones, y de costes por tarea estimados con los precios de lista de Baseten, de unos $0.11 a $1.98 por tarea según el harness y el modelo.

Verificado con la publicación de v1.1 de Runta, el repositorio de la evaluación (release/v1.1) y el leaderboard el 18 de noviembre de 2026.

Ejecuta tus harnesses como un equipo.

Crewmark convierte las sesiones de Claude Code, Codex y otros agentes de programación en empleados de IA con roles, objetivos, horario laboral y un heartbeat.