Blog · Agentes de IA

FrontierHarness Eval v1.1: qual harness de agente funciona melhor com cada modelo

O FrontierHarness Eval é um benchmark que roda vários harnesses de agentes de programação, como Codex CLI, Claude Code, OpenCode e Pi, nas mesmas tarefas de terminal e compara taxa de acerto, custo e tempo. A versão 1.1 saiu em 17 de novembro de 2026, pela Runta, a empresa cujo runtime rodou todos os testes. Ela testou 22 configurações de harness em cinco modelos de pesos abertos, 27.280 execuções no total. Não há resultados para modelos Claude, GPT ou Gemini. Este guia mostra o que mudou, a escolha dos autores para cada modelo, os números de todos os modelos juntos e o quanto confiar neles.

FrontierHarness Eval v1.1 em resumo

FrontierHarness Eval v1.1
Feito porRunta, que se apresenta como a camada de execução para agentes de IA. Post de Shilin Zhu. A Baseten serviu os modelos como parceira; o leaderboard também lista a Z.ai como patrocinadora
Publicado17 de novembro de 2026 (a v1.0 foi em 1º de setembro de 2026)
Versãov1.1, dataset do Harbor frontier-harness-eval/frontier-harness-eval@v1.1.0
Execuções27.280: 62 tarefas × 22 configurações × 4 tentativas × 5 modelos, usando 83B de tokens
Tarefas62 tarefas de linha de comando (engenharia de software, ciência, dados, sistemas, ML e segurança), com limites de tempo de 15 minutos a 8 horas
ModelosCinco modelos de pesos abertos, todos servidos pela Baseten: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open e Kimi-K3
Harnesses22 configurações de 18 harnesses (DeepSeek Harness em 4 perfis, OpenCode em 2 versões), cada um com as configurações padrão e no esforço de raciocínio máximo
O que é medidoTaxa de acerto, custo médio por tarefa, custo por acerto e tempo por tarefa
Dados e códigoO repositório do eval (branch release/v1.1) tem a suíte, os adaptadores e o launcher; as tarefas são públicas no Harbor Hub. Nenhuma licença é informada

O que há de novo na v1.1

A versão 1.0 testou um modelo, o Kimi K3, com 12 configurações de harness em 30 tarefas, uma tentativa cada: 360 testes. A versão 1.1 é bem maior. Os autores dizem que ela tem 76× o tamanho da v1.0.

  • Cinco modelos em vez de um, servidos pela Baseten em vez da Fireworks.
  • 22 configurações de harness em vez de 12.
  • 62 tarefas em vez de 30, e 4 tentativas por tarefa em vez de 1.
  • Novas métricas de custo: custo médio por tarefa e custo por acerto (a v1.0 usava a mediana do custo por acerto).
  • A pergunta principal também mudou: para cada modelo, qual harness dá o melhor custo-benefício.

Resultados por modelo: a escolha de melhor custo-benefício dos autores

A regra dos autores: vence o harness com o menor custo por acerto, a menos que outro custe no máximo 30% a mais por acerto e acerte pelo menos 5 pontos a mais. Para testar cada escolha, eles reamostraram as tarefas 4.000 vezes. A última coluna mostra quantas vezes a escolha continuou no topo.

ModeloHarness de melhor custo-benefícioCusto por acertoTaxa de acertoQuão firme
GLM-5.3Codex CLI$0.80357.7%Firme: no topo em 99.6% das reamostragens
GLM-5.3-FlashPi$0.22358.1%Fraca: 42%
DeepSeek-V4.1-FlashZCode$0.22269.0%Fraca: 47%. Escolhido em vez do OpenCode v1, que custou 25% menos por acerto e acertou 7.7 pontos a menos
Muse Spark OpenOh My Pi$1.21258.9%Quase empatada: 53%
Kimi-K3Alma$1.57964.1%Fraca: 25%. Escolhido em vez do Oh My Pi, que custou 9% menos por acerto e acertou 6.5 pontos a menos
Todos os modelosNenhuma escolha única. Na fronteira de custo e taxa de acerto: OpenCode v2, Pi, Codex CLI, ZCodeMenor: Codex CLI, $0.937Maior: ZCode, 61.9%-

Em todos os modelos: taxa de acerto, custo e tempo por harness

Média dos cinco modelos, 1.240 tentativas avaliadas por harness. Ordenado por custo por acerto. Os custos são estimativas a partir dos preços de tabela da Baseten, não faturas. Os autores dizem que uma diferença de poucos pontos na taxa de acerto é empate: o intervalo de 95% para um harness em um modelo é de cerca de ±10 pontos.

São 13 das 22 linhas. A tabela completa, com cada modelo separado e os outros harnesses (Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo e os quatro perfis do DeepSeek Harness), está no repositório e no post.

HarnessTaxa de acertoCusto por tarefaCusto por acertoTempo por tarefa
Codex CLI61.1%$0.573$0.93726.8 min
Pi57.7%$0.563$0.97631.2 min
OpenCode v257.3%$0.561$0.97825.1 min
Oh My Pi57.3%$0.564$0.98334.0 min
ZCode61.9%$0.659$1.06335.4 min
KimiCode60.2%$0.653$1.08533.7 min
OpenCode v157.4%$0.646$1.12535.9 min
Hermes Agent59.9%$0.692$1.15535.0 min
Grok Build60.0%$0.723$1.20536.2 min
Alma59.7%$0.731$1.22434.1 min
GitHub Copilot CLI56.9%$0.787$1.38336.8 min
Claude Code58.9%$0.915$1.55541.3 min
Antigravity CLI55.0%$0.897$1.63236.8 min

O que os números dizem

  • O modelo define a maior parte do custo. Na análise dos autores, o modelo explica 92.8% da variância do custo por tarefa e o harness, 2.3%.
  • Com o modelo fixo, o harness ainda pesa bastante. Ele mudou o custo por tarefa em 1.8–5.0× e o custo por acerto em 1.9–4.9×. A maior diferença foi no DeepSeek, onde o Cline CLI custou 5.0× mais por tarefa que o OpenCode v1 por 2.0 pontos a mais.
  • Pagar mais não compra uma taxa de acerto maior. Por modelo, a correlação de postos entre custo por tarefa e taxa de acerto ficou entre −0.39 e +0.22.
  • Os passos preveem o custo; o tamanho não. Os passos por acerto acompanharam o custo por acerto (+0.51). Tokens iniciais, número de ferramentas e taxa de acerto de cache não. O mini-SWE-agent, o menor harness, ficou em 19º de 22 em custo por tarefa.
  • A maior parte do dinheiro vai para execuções que falham. 64.5% do gasto foi para testes que não passaram: 52.7% em falhas e 11.8% em timeouts. Nos cinco harnesses de melhor custo-benefício, de 68% (Pi) a 82% (Codex CLI) das execuções que falharam terminaram com uma resposta final confiante, não no limite de tempo.
  • As taxas de acerto ficam próximas. Em todos os modelos, vão de 50.6% (Exo) a 61.9% (ZCode), e a maioria dos harnesses está a poucos pontos um do outro, o que os autores tratam como empate.
  • Os cinco harnesses de melhor custo-benefício têm coisas em comum: uma ferramenta de shell fazendo a maior parte do trabalho, contexto que só cresce, nenhum subagente e quase nenhum resumo. Os autores chamam isso de observações, não de testes.

Claude Code e Codex neste eval

Os dois rodaram aqui apenas com modelos de pesos abertos pela Baseten, nunca com os modelos da Anthropic ou da OpenAI. Leia os resultados com isso em mente.

  • O Codex CLI (0.164.0) teve o menor custo por acerto entre todos os modelos, $0.937, e uma taxa de acerto de primeira linha, 61.1%. Também foi o mais rápido do grupo de alta taxa de acerto, com 26.8 minutos por tarefa. Com o GLM-5.3, foi a escolha de melhor custo-benefício dos autores e se manteve em 99.6% das reamostragens.
  • O Claude Code (2.1.308) acertou 58.9% das tarefas, no meio da tabela, mas foi lento e caro por acerto com esses modelos. Teve o segundo maior custo por acerto ($1.555, depois do Antigravity CLI), o maior tempo por tarefa (41.3 minutos) e a segunda maior taxa de timeout (14.2%).
  • Sua combinação mais cara foi com o Muse Spark Open: $3.753 por acerto, o maior de todas as 110 células de harness e modelo.
  • Com o DeepSeek-V4.1-Flash, o Claude Code foi bem: 68.1%, segundo nesse modelo depois dos 69.0% do ZCode, a $0.285 por acerto.

O que ele não diz

  • Nada sobre modelos fechados. A v1.1 testou apenas modelos de pesos abertos. Não há resultados para o Claude Opus ou Fable, nem para modelos GPT ou Gemini, e os rankings podem não valer para eles. Os autores listam Opus 5.5, GPT-6 Astra e Gemini 4 Carbon como trabalho futuro. Para esses modelos, veja GPT-6.2 vs Claude.
  • Alguns harnesses ficaram de fora, incluindo Cursor, Gemini CLI e Droid.
  • Os custos são estimativas. São os preços de tabela da Baseten vezes os tokens informados pelo provedor. O cache e os preços da Baseten definem os rankings de custo, o que os próprios autores dizem. Sua fatura em outro provedor ou plano pode ser diferente.
  • Quem fez foi quem rodou. Todos os testes rodaram no runtime da própria Runta, e o fundador da Runta disse isso na discussão do Hacker News. Os dados e o código são públicos, então outras pessoas podem conferir.
  • Diferenças pequenas são ruído. O intervalo para um harness em um modelo é de cerca de ±10 pontos, então a maioria das diferenças de taxa de acerto nas tabelas são empates.
  • Um só tipo de tarefa. Todas as 62 tarefas são de linha de comando, cada uma rodando em um runtime novo e de curta duração, com as configurações padrão do harness. Seu repositório, seus prompts e suas configurações podem favorecer outro harness.

Como ler isso para o seu time

  • Escolha o modelo primeiro. Ele define a maior parte do custo.
  • Ao trocar de modelo, teste o harness de novo. O conselho dos próprios autores é pensar também em trocar o harness.
  • Use a escolha por modelo, não a média geral, e veja quão firme ela é. O Codex CLI no GLM-5.3 se manteve; as escolhas para GLM-5.3-Flash, DeepSeek e Kimi-K3 muitas vezes não.
  • Compare o custo por acerto, não o custo por tarefa. Uma execução barata que falha ainda custa dinheiro.
  • Rode as suas próprias tarefas. Os autores sugerem um conjunto privado de tarefas suas para testar os candidatos, o que diz mais do que qualquer tabela pública.
  • Observe os passos e as execuções que falham. Harnesses que dão menos passos custam menos, e conferir o trabalho antes de o agente parar pode economizar parte do dinheiro gasto em falhas. Os autores não testaram essa última ideia.
Com o Crewmark

Compare pares de harness e modelo nas suas próprias issues

O FrontierHarness Eval mede um harness de agente por vez. O Crewmark é o harness para um time de agentes: cada funcionário de IA é uma sessão própria de agente de programação, com função, meta, horário de trabalho e um heartbeat. Assim você pode rodar pares diferentes de harness e modelo lado a lado em um só quadro e ver qual fecha as suas issues.

  1. Adicione funcionários em harnesses diferentes

    Os funcionários Claude Code e Codex rodam nativamente. Outros agentes, como o OpenCode e o DeepSeek Harness, se conectam via ACP (pelo acpx) no seu computador. Veja Claude Code vs Codex e Alternativas ao OpenCode para as opções.

  2. Dê a eles o mesmo tipo de trabalho

    Use a mesma função para cada um, como o engenheiro de software de IA, e atribua issues parecidas do seu backlog.

  3. Compare no quadro

    Cada funcionário acorda no seu heartbeat, trabalha nas suas issues e mantém o status em dia. Veja quais issues cada um terminou e quanto custou no seu próprio provedor ou plano.

Perguntas frequentes

O que é o FrontierHarness Eval?

Um benchmark que roda harnesses de agentes de programação nas mesmas 62 tarefas de linha de comando e compara taxa de acerto, custo e tempo. A versão 1.1 testou 22 configurações de harness em cinco modelos de pesos abertos, 27.280 execuções no total.

Quem fez o FrontierHarness Eval?

A Runta, uma empresa que constrói um runtime para agentes de IA. Todos os testes rodaram no runtime da própria Runta, o que o fundador revelou no Hacker News. A Baseten serviu os modelos, e o leaderboard lista a Z.ai como patrocinadora.

Qual é o melhor harness de agente?

Os autores não apontam um vencedor geral. Eles escolhem um harness de melhor custo-benefício por modelo: Codex CLI para o GLM-5.3, Pi para o GLM-5.3-Flash, ZCode para o DeepSeek-V4.1-Flash, Oh My Pi para o Muse Spark Open e Alma para o Kimi-K3. Só a escolha do Codex CLI se manteve firme quando as tarefas foram reamostradas. Em todos os modelos, o Codex CLI teve o menor custo por acerto e o ZCode a maior taxa de acerto.

O FrontierHarness Eval inclui modelos Claude ou GPT?

Não. A v1.1 testou apenas modelos de pesos abertos: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open e Kimi-K3. Claude Code e Codex CLI foram testados como harnesses, mas só com esses modelos. Os autores listam Opus 5.5, GPT-6 Astra e Gemini 4 Carbon como trabalho futuro.

O FrontierHarness Eval é de código aberto? Onde estão os dados?

O código e o manifesto do dataset estão no GitHub, em frontier-harness-eval/eval, branch release/v1.1, e as tarefas são públicas no Harbor Hub. Nenhuma licença é informada para o repositório nem para os dados.

O que é um harness de agente?

O software em volta de um modelo que o transforma em um agente que trabalha: o loop, as ferramentas, o contexto e as permissões. Claude Code, Codex CLI e OpenCode são harnesses. O FrontierHarness Eval mantém o modelo fixo e troca o harness para ver o quanto isso muda o resultado.

Quanto custou rodar o FrontierHarness Eval?

Os autores não informam um total. Eles relatam 83B de tokens em 27.280 execuções e custos por tarefa estimados a partir dos preços de tabela da Baseten, de cerca de $0.11 a $1.98 por tarefa, dependendo do harness e do modelo.

Verificado com o post da Runta sobre a v1.1, o repositório do eval (release/v1.1) e o leaderboard em 18 de novembro de 2026.

Rode seus harnesses como um time.

O Crewmark transforma sessões do Claude Code, do Codex e de outros agentes de programação em funcionários de IA com funções, metas, horários de trabalho e um heartbeat.