FrontierHarness Eval v1.1 em resumo
| FrontierHarness Eval v1.1 | |
|---|---|
| Feito por | Runta, que se apresenta como a camada de execução para agentes de IA. Post de Shilin Zhu. A Baseten serviu os modelos como parceira; o leaderboard também lista a Z.ai como patrocinadora |
| Publicado | 17 de novembro de 2026 (a v1.0 foi em 1º de setembro de 2026) |
| Versão | v1.1, dataset do Harbor frontier-harness-eval/frontier-harness-eval@v1.1.0 |
| Execuções | 27.280: 62 tarefas × 22 configurações × 4 tentativas × 5 modelos, usando 83B de tokens |
| Tarefas | 62 tarefas de linha de comando (engenharia de software, ciência, dados, sistemas, ML e segurança), com limites de tempo de 15 minutos a 8 horas |
| Modelos | Cinco modelos de pesos abertos, todos servidos pela Baseten: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open e Kimi-K3 |
| Harnesses | 22 configurações de 18 harnesses (DeepSeek Harness em 4 perfis, OpenCode em 2 versões), cada um com as configurações padrão e no esforço de raciocínio máximo |
| O que é medido | Taxa de acerto, custo médio por tarefa, custo por acerto e tempo por tarefa |
| Dados e código | O repositório do eval (branch release/v1.1) tem a suíte, os adaptadores e o launcher; as tarefas são públicas no Harbor Hub. Nenhuma licença é informada |
O que há de novo na v1.1
A versão 1.0 testou um modelo, o Kimi K3, com 12 configurações de harness em 30 tarefas, uma tentativa cada: 360 testes. A versão 1.1 é bem maior. Os autores dizem que ela tem 76× o tamanho da v1.0.
- Cinco modelos em vez de um, servidos pela Baseten em vez da Fireworks.
- 22 configurações de harness em vez de 12.
- 62 tarefas em vez de 30, e 4 tentativas por tarefa em vez de 1.
- Novas métricas de custo: custo médio por tarefa e custo por acerto (a v1.0 usava a mediana do custo por acerto).
- A pergunta principal também mudou: para cada modelo, qual harness dá o melhor custo-benefício.
Resultados por modelo: a escolha de melhor custo-benefício dos autores
A regra dos autores: vence o harness com o menor custo por acerto, a menos que outro custe no máximo 30% a mais por acerto e acerte pelo menos 5 pontos a mais. Para testar cada escolha, eles reamostraram as tarefas 4.000 vezes. A última coluna mostra quantas vezes a escolha continuou no topo.
| Modelo | Harness de melhor custo-benefício | Custo por acerto | Taxa de acerto | Quão firme |
|---|---|---|---|---|
| GLM-5.3 | Codex CLI | $0.803 | 57.7% | Firme: no topo em 99.6% das reamostragens |
| GLM-5.3-Flash | Pi | $0.223 | 58.1% | Fraca: 42% |
| DeepSeek-V4.1-Flash | ZCode | $0.222 | 69.0% | Fraca: 47%. Escolhido em vez do OpenCode v1, que custou 25% menos por acerto e acertou 7.7 pontos a menos |
| Muse Spark Open | Oh My Pi | $1.212 | 58.9% | Quase empatada: 53% |
| Kimi-K3 | Alma | $1.579 | 64.1% | Fraca: 25%. Escolhido em vez do Oh My Pi, que custou 9% menos por acerto e acertou 6.5 pontos a menos |
| Todos os modelos | Nenhuma escolha única. Na fronteira de custo e taxa de acerto: OpenCode v2, Pi, Codex CLI, ZCode | Menor: Codex CLI, $0.937 | Maior: ZCode, 61.9% | - |
Em todos os modelos: taxa de acerto, custo e tempo por harness
Média dos cinco modelos, 1.240 tentativas avaliadas por harness. Ordenado por custo por acerto. Os custos são estimativas a partir dos preços de tabela da Baseten, não faturas. Os autores dizem que uma diferença de poucos pontos na taxa de acerto é empate: o intervalo de 95% para um harness em um modelo é de cerca de ±10 pontos.
São 13 das 22 linhas. A tabela completa, com cada modelo separado e os outros harnesses (Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo e os quatro perfis do DeepSeek Harness), está no repositório e no post.
| Harness | Taxa de acerto | Custo por tarefa | Custo por acerto | Tempo por tarefa |
|---|---|---|---|---|
| Codex CLI | 61.1% | $0.573 | $0.937 | 26.8 min |
| Pi | 57.7% | $0.563 | $0.976 | 31.2 min |
| OpenCode v2 | 57.3% | $0.561 | $0.978 | 25.1 min |
| Oh My Pi | 57.3% | $0.564 | $0.983 | 34.0 min |
| ZCode | 61.9% | $0.659 | $1.063 | 35.4 min |
| KimiCode | 60.2% | $0.653 | $1.085 | 33.7 min |
| OpenCode v1 | 57.4% | $0.646 | $1.125 | 35.9 min |
| Hermes Agent | 59.9% | $0.692 | $1.155 | 35.0 min |
| Grok Build | 60.0% | $0.723 | $1.205 | 36.2 min |
| Alma | 59.7% | $0.731 | $1.224 | 34.1 min |
| GitHub Copilot CLI | 56.9% | $0.787 | $1.383 | 36.8 min |
| Claude Code | 58.9% | $0.915 | $1.555 | 41.3 min |
| Antigravity CLI | 55.0% | $0.897 | $1.632 | 36.8 min |
O que os números dizem
- O modelo define a maior parte do custo. Na análise dos autores, o modelo explica 92.8% da variância do custo por tarefa e o harness, 2.3%.
- Com o modelo fixo, o harness ainda pesa bastante. Ele mudou o custo por tarefa em 1.8–5.0× e o custo por acerto em 1.9–4.9×. A maior diferença foi no DeepSeek, onde o Cline CLI custou 5.0× mais por tarefa que o OpenCode v1 por 2.0 pontos a mais.
- Pagar mais não compra uma taxa de acerto maior. Por modelo, a correlação de postos entre custo por tarefa e taxa de acerto ficou entre −0.39 e +0.22.
- Os passos preveem o custo; o tamanho não. Os passos por acerto acompanharam o custo por acerto (+0.51). Tokens iniciais, número de ferramentas e taxa de acerto de cache não. O mini-SWE-agent, o menor harness, ficou em 19º de 22 em custo por tarefa.
- A maior parte do dinheiro vai para execuções que falham. 64.5% do gasto foi para testes que não passaram: 52.7% em falhas e 11.8% em timeouts. Nos cinco harnesses de melhor custo-benefício, de 68% (Pi) a 82% (Codex CLI) das execuções que falharam terminaram com uma resposta final confiante, não no limite de tempo.
- As taxas de acerto ficam próximas. Em todos os modelos, vão de 50.6% (Exo) a 61.9% (ZCode), e a maioria dos harnesses está a poucos pontos um do outro, o que os autores tratam como empate.
- Os cinco harnesses de melhor custo-benefício têm coisas em comum: uma ferramenta de shell fazendo a maior parte do trabalho, contexto que só cresce, nenhum subagente e quase nenhum resumo. Os autores chamam isso de observações, não de testes.
Claude Code e Codex neste eval
Os dois rodaram aqui apenas com modelos de pesos abertos pela Baseten, nunca com os modelos da Anthropic ou da OpenAI. Leia os resultados com isso em mente.
- O Codex CLI (0.164.0) teve o menor custo por acerto entre todos os modelos, $0.937, e uma taxa de acerto de primeira linha, 61.1%. Também foi o mais rápido do grupo de alta taxa de acerto, com 26.8 minutos por tarefa. Com o GLM-5.3, foi a escolha de melhor custo-benefício dos autores e se manteve em 99.6% das reamostragens.
- O Claude Code (2.1.308) acertou 58.9% das tarefas, no meio da tabela, mas foi lento e caro por acerto com esses modelos. Teve o segundo maior custo por acerto ($1.555, depois do Antigravity CLI), o maior tempo por tarefa (41.3 minutos) e a segunda maior taxa de timeout (14.2%).
- Sua combinação mais cara foi com o Muse Spark Open: $3.753 por acerto, o maior de todas as 110 células de harness e modelo.
- Com o DeepSeek-V4.1-Flash, o Claude Code foi bem: 68.1%, segundo nesse modelo depois dos 69.0% do ZCode, a $0.285 por acerto.
O que ele não diz
- Nada sobre modelos fechados. A v1.1 testou apenas modelos de pesos abertos. Não há resultados para o Claude Opus ou Fable, nem para modelos GPT ou Gemini, e os rankings podem não valer para eles. Os autores listam Opus 5.5, GPT-6 Astra e Gemini 4 Carbon como trabalho futuro. Para esses modelos, veja GPT-6.2 vs Claude.
- Alguns harnesses ficaram de fora, incluindo Cursor, Gemini CLI e Droid.
- Os custos são estimativas. São os preços de tabela da Baseten vezes os tokens informados pelo provedor. O cache e os preços da Baseten definem os rankings de custo, o que os próprios autores dizem. Sua fatura em outro provedor ou plano pode ser diferente.
- Quem fez foi quem rodou. Todos os testes rodaram no runtime da própria Runta, e o fundador da Runta disse isso na discussão do Hacker News. Os dados e o código são públicos, então outras pessoas podem conferir.
- Diferenças pequenas são ruído. O intervalo para um harness em um modelo é de cerca de ±10 pontos, então a maioria das diferenças de taxa de acerto nas tabelas são empates.
- Um só tipo de tarefa. Todas as 62 tarefas são de linha de comando, cada uma rodando em um runtime novo e de curta duração, com as configurações padrão do harness. Seu repositório, seus prompts e suas configurações podem favorecer outro harness.
Como ler isso para o seu time
- Escolha o modelo primeiro. Ele define a maior parte do custo.
- Ao trocar de modelo, teste o harness de novo. O conselho dos próprios autores é pensar também em trocar o harness.
- Use a escolha por modelo, não a média geral, e veja quão firme ela é. O Codex CLI no GLM-5.3 se manteve; as escolhas para GLM-5.3-Flash, DeepSeek e Kimi-K3 muitas vezes não.
- Compare o custo por acerto, não o custo por tarefa. Uma execução barata que falha ainda custa dinheiro.
- Rode as suas próprias tarefas. Os autores sugerem um conjunto privado de tarefas suas para testar os candidatos, o que diz mais do que qualquer tabela pública.
- Observe os passos e as execuções que falham. Harnesses que dão menos passos custam menos, e conferir o trabalho antes de o agente parar pode economizar parte do dinheiro gasto em falhas. Os autores não testaram essa última ideia.
Compare pares de harness e modelo nas suas próprias issues
O FrontierHarness Eval mede um harness de agente por vez. O Crewmark é o harness para um time de agentes: cada funcionário de IA é uma sessão própria de agente de programação, com função, meta, horário de trabalho e um heartbeat. Assim você pode rodar pares diferentes de harness e modelo lado a lado em um só quadro e ver qual fecha as suas issues.
Adicione funcionários em harnesses diferentes
Os funcionários Claude Code e Codex rodam nativamente. Outros agentes, como o OpenCode e o DeepSeek Harness, se conectam via ACP (pelo acpx) no seu computador. Veja Claude Code vs Codex e Alternativas ao OpenCode para as opções.
Dê a eles o mesmo tipo de trabalho
Use a mesma função para cada um, como o engenheiro de software de IA, e atribua issues parecidas do seu backlog.
Compare no quadro
Cada funcionário acorda no seu heartbeat, trabalha nas suas issues e mantém o status em dia. Veja quais issues cada um terminou e quanto custou no seu próprio provedor ou plano.
Perguntas frequentes
O que é o FrontierHarness Eval?
Um benchmark que roda harnesses de agentes de programação nas mesmas 62 tarefas de linha de comando e compara taxa de acerto, custo e tempo. A versão 1.1 testou 22 configurações de harness em cinco modelos de pesos abertos, 27.280 execuções no total.
Quem fez o FrontierHarness Eval?
A Runta, uma empresa que constrói um runtime para agentes de IA. Todos os testes rodaram no runtime da própria Runta, o que o fundador revelou no Hacker News. A Baseten serviu os modelos, e o leaderboard lista a Z.ai como patrocinadora.
Qual é o melhor harness de agente?
Os autores não apontam um vencedor geral. Eles escolhem um harness de melhor custo-benefício por modelo: Codex CLI para o GLM-5.3, Pi para o GLM-5.3-Flash, ZCode para o DeepSeek-V4.1-Flash, Oh My Pi para o Muse Spark Open e Alma para o Kimi-K3. Só a escolha do Codex CLI se manteve firme quando as tarefas foram reamostradas. Em todos os modelos, o Codex CLI teve o menor custo por acerto e o ZCode a maior taxa de acerto.
O FrontierHarness Eval inclui modelos Claude ou GPT?
Não. A v1.1 testou apenas modelos de pesos abertos: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open e Kimi-K3. Claude Code e Codex CLI foram testados como harnesses, mas só com esses modelos. Os autores listam Opus 5.5, GPT-6 Astra e Gemini 4 Carbon como trabalho futuro.
O FrontierHarness Eval é de código aberto? Onde estão os dados?
O código e o manifesto do dataset estão no GitHub, em frontier-harness-eval/eval, branch release/v1.1, e as tarefas são públicas no Harbor Hub. Nenhuma licença é informada para o repositório nem para os dados.
O que é um harness de agente?
O software em volta de um modelo que o transforma em um agente que trabalha: o loop, as ferramentas, o contexto e as permissões. Claude Code, Codex CLI e OpenCode são harnesses. O FrontierHarness Eval mantém o modelo fixo e troca o harness para ver o quanto isso muda o resultado.
Quanto custou rodar o FrontierHarness Eval?
Os autores não informam um total. Eles relatam 83B de tokens em 27.280 execuções e custos por tarefa estimados a partir dos preços de tabela da Baseten, de cerca de $0.11 a $1.98 por tarefa, dependendo do harness e do modelo.
Verificado com o post da Runta sobre a v1.1, o repositório do eval (release/v1.1) e o leaderboard em 18 de novembro de 2026.