FrontierHarness Eval v1.1 の概要
| FrontierHarness Eval v1.1 | |
|---|---|
| 作成者 | Runta(AI エージェントの実行レイヤーを名乗る会社)。記事の著者は Shilin Zhu。モデルは提携先の Baseten が提供し、リーダーボードには Z.ai もスポンサーとして載っている |
| 公開日 | 2026年11月17日(v1.0 は 2026年9月1日) |
| バージョン | v1.1、Harbor データセット frontier-harness-eval/frontier-harness-eval@v1.1.0 |
| 実行回数 | 27,280 回:62 タスク × 22 構成 × 4 回 × 5 モデル、使用トークンは 83B |
| タスク | 62 件のコマンドラインタスク(ソフトウェア開発、科学、データ、システム、ML、セキュリティ)。制限時間は 15 分から 8 時間 |
| モデル | オープンウェイトの 5 モデル(すべて Baseten が提供):GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open、Kimi-K3 |
| harness | 18 種類の harness の 22 構成(DeepSeek Harness は 4 プロファイル、OpenCode は 2 バージョン)。それぞれ既定の設定で、推論の強度は最大 |
| 測定項目 | 合格率、タスクあたりの平均コスト、合格 1 件あたりのコスト、タスクあたりの所要時間 |
| データとコード | eval リポジトリ(ブランチ release/v1.1)にスイート、アダプター、ランチャーがあり、タスクは Harbor Hub で公開されている。ライセンスの記載はない |
v1.1 の新しい点
バージョン 1.0 は Kimi K3 の 1 モデルを 12 の harness 構成で、30 タスクに 1 回ずつ実行しただけで、試行は 360 回でした。バージョン 1.1 はそれよりずっと大きく、著者は v1.0 の 76 倍の規模だと言っています。
- モデルが 1 つから 5 つに増え、提供元は Fireworks から Baseten に変わりました。
- harness の構成が 12 から 22 に増えました。
- タスクが 30 から 62 に、1 タスクあたりの試行が 1 回から 4 回に増えました。
- コストの指標が新しくなりました:タスクあたりの平均コストと、合格 1 件あたりのコスト(v1.0 は合格 1 件あたりの中央値)。
- 主な問いも変わりました:モデルごとに、どの harness が最も費用対効果が高いか。
モデル別の結果:著者が選ぶ費用対効果の高い harness
著者のルール:合格 1 件あたりのコストが最も低い harness を選びます。ただし、別の harness のコストが合格 1 件あたり 30% 以内の増加で、合格率が 5 ポイント以上高い場合は、そちらを選びます。各推奨を検証するため、タスクを 4,000 回リサンプリングしました。最後の列は、その推奨が首位を保った割合です。
| モデル | 費用対効果の高い harness | 合格 1 件あたりのコスト | 合格率 | 確かさ |
|---|---|---|---|---|
| GLM-5.3 | Codex CLI | $0.803 | 57.7% | 確実:リサンプリングの 99.6% で首位 |
| GLM-5.3-Flash | Pi | $0.223 | 58.1% | 弱い:42% |
| DeepSeek-V4.1-Flash | ZCode | $0.222 | 69.0% | 弱い:47%。合格 1 件あたりのコストが 25% 低く、合格率が 7.7 ポイント低かった OpenCode v1 より ZCode を選択 |
| Muse Spark Open | Oh My Pi | $1.212 | 58.9% | ほぼ互角:53% |
| Kimi-K3 | Alma | $1.579 | 64.1% | 弱い:25%。合格 1 件あたりのコストが 9% 低く、合格率が 6.5 ポイント低かった Oh My Pi より Alma を選択 |
| 全モデル | 1 つには絞れない。コストと合格率のフロンティア上にあるのは OpenCode v2、Pi、Codex CLI、ZCode | 最低:Codex CLI、$0.937 | 最高:ZCode、61.9% | - |
全モデルの合計:harness ごとの合格率、コスト、時間
5 つのモデルの平均で、harness ごとに採点された試行は 1,240 回です。合格 1 件あたりのコストの順に並べています。コストは Baseten の定価からの推定で、請求書ではありません。著者は、合格率の数ポイントの差は同率と見なすべきだと言っています。1 つのモデルでの 1 つの harness の 95% 区間は約 ±10 ポイントです。
22 行のうち 13 行を載せています。モデルごとの表と、ほかの harness(Cline CLI、MiniMax Code、mini-SWE-agent、Maka、Exo、DeepSeek Harness の 4 プロファイル)を含む全体の表は、リポジトリと記事にあります。
| harness | 合格率 | タスクあたりのコスト | 合格 1 件あたりのコスト | タスクあたりの時間 |
|---|---|---|---|---|
| Codex CLI | 61.1% | $0.573 | $0.937 | 26.8 分 |
| Pi | 57.7% | $0.563 | $0.976 | 31.2 分 |
| OpenCode v2 | 57.3% | $0.561 | $0.978 | 25.1 分 |
| Oh My Pi | 57.3% | $0.564 | $0.983 | 34.0 分 |
| ZCode | 61.9% | $0.659 | $1.063 | 35.4 分 |
| KimiCode | 60.2% | $0.653 | $1.085 | 33.7 分 |
| OpenCode v1 | 57.4% | $0.646 | $1.125 | 35.9 分 |
| Hermes Agent | 59.9% | $0.692 | $1.155 | 35.0 分 |
| Grok Build | 60.0% | $0.723 | $1.205 | 36.2 分 |
| Alma | 59.7% | $0.731 | $1.224 | 34.1 分 |
| GitHub Copilot CLI | 56.9% | $0.787 | $1.383 | 36.8 分 |
| Claude Code | 58.9% | $0.915 | $1.555 | 41.3 分 |
| Antigravity CLI | 55.0% | $0.897 | $1.632 | 36.8 分 |
数字から分かること
- コストの大半はモデルで決まります。著者の分析では、タスクあたりのコストの分散の 92.8% をモデルが、2.3% を harness が説明します。
- モデルを固定しても、harness の影響は大きいままです。タスクあたりのコストは 1.8〜5.0 倍、合格 1 件あたりのコストは 1.9〜4.9 倍変わりました。最大の差は DeepSeek で、Cline CLI のタスクあたりのコストは OpenCode v1 の 5.0 倍で、合格率は 2.0 ポイント高いだけでした。
- お金を多くかけても合格率は上がりません。モデルごとに見ると、タスクあたりのコストと合格率の順位相関は −0.39 から +0.22 でした。
- コストを予測するのはステップ数で、サイズではありません。合格 1 件あたりのステップ数は合格 1 件あたりのコストと連動していました(+0.51)。開始時のトークン数、ツールの数、キャッシュヒット率は連動しませんでした。最小の harness である mini-SWE-agent は、タスクあたりのコストで 22 中 19 位でした。
- お金の大半は失敗した実行に使われます。支出の 64.5% は合格しなかった試行に使われ、内訳は失敗が 52.7%、タイムアウトが 11.8% でした。費用対効果の高い上位 5 つの harness では、失敗した実行の 68%(Pi)から 82%(Codex CLI)が、制限時間ではなく、自信ありげな最終回答で終わっていました。
- 合格率は近い値に集まっています。全モデルで 50.6%(Exo)から 61.9%(ZCode)の範囲で、ほとんどの harness は数ポイント以内に収まっており、著者はこれを同率と見なしています。
- 費用対効果の高い上位 5 つの harness には共通点があります:作業の大半を 1 つのシェルツールが担い、コンテキストは増える一方で、サブエージェントがなく、要約もほとんどしません。著者はこれを検証ではなく観察だとしています。
この評価での Claude Code と Codex
どちらも、Baseten 経由のオープンウェイトモデルでのみ動かしており、Anthropic や OpenAI 自身のモデルでは動かしていません。結果はそれを踏まえて読んでください。
- Codex CLI(0.164.0)は、全モデルで合格 1 件あたりのコストが最も低く($0.937)、合格率も最上位(61.1%)でした。合格率の高いグループの中では最速の 26.8 分でした。GLM-5.3 では著者の費用対効果の推奨となり、リサンプリングの 99.6% で首位を保ちました。
- Claude Code(2.1.308)の合格率は 58.9% で中位でしたが、これらのモデルでは遅く、合格 1 件あたりのコストも高めでした。合格 1 件あたりのコストは 2 番目に高く($1.555、Antigravity CLI の次)、タスクあたりの時間は最長(41.3 分)、タイムアウト率も 2 番目に高い(14.2%)でした。
- 最もコストが高かった組み合わせは Muse Spark Open との組み合わせで、合格 1 件あたり $3.753 でした。これは harness とモデルの 110 通りの組み合わせの中で最高です。
- DeepSeek-V4.1-Flash では、Claude Code は好成績でした:68.1% で、このモデルでは ZCode の 69.0% に次ぐ 2 位、合格 1 件あたり $0.285 です。
この評価から分からないこと
- クローズドモデルについては何も分かりません。v1.1 が検証したのはオープンウェイトモデルだけです。Claude Opus や Fable、GPT、Gemini のモデルの結果はなく、順位がそれらに当てはまるとは限りません。著者は Opus 5.5、GPT-6 Astra、Gemini 4 Carbon を今後の課題に挙げています。それらのモデルについては GPT-6.2 と Claude の比較をご覧ください。
- Cursor、Gemini CLI、Droid など、含まれていない harness があります。
- コストは推定です。Baseten の定価に、提供元が報告したトークン数を掛けたものです。コストの順位は Baseten のキャッシュと価格に左右されると、著者自身が述べています。別のプロバイダーやプランでは請求額が変わることがあります。
- 実行したのは作った本人です。すべての試行は Runta 自身のランタイムで動き、Runta の創業者も Hacker News のスレッドでそう述べています。データとコードは公開されているので、第三者が確認できます。
- 小さな差はノイズです。1 つのモデルでの 1 つの harness の区間は約 ±10 ポイントなので、表の合格率の差のほとんどは同率です。
- タスクの種類は 1 つだけです。62 件はすべてコマンドラインタスクで、それぞれ新しく起動した短命のランタイムで、harness の既定設定のまま実行されました。あなたのリポジトリ、プロンプト、設定では、別の harness が有利になることもあります。
自分のチームにどう活かすか
- まずモデルを決めます。コストの大半はモデルで決まります。
- モデルを変えたら、harness も試し直します。harness の変更も検討するのが、著者自身の助言です。
- 全体の平均ではなくモデルごとの推奨を使い、その確かさも確認します。GLM-5.3 の Codex CLI は確かでしたが、GLM-5.3-Flash、DeepSeek、Kimi-K3 の推奨は多くの場合そうではありませんでした。
- タスクあたりではなく、合格 1 件あたりのコストで比べます。失敗する安い実行にもお金はかかります。
- 自分のタスクで試します。候補を試すために自分たちだけの非公開タスクセットを用意することを、著者は勧めています。どんな公開の表よりも多くのことが分かります。
- ステップ数と失敗した実行を見ます。ステップの少ない harness はコストが低く、エージェントが止まる前に作業を確認させれば、失敗に使うお金を減らせるかもしれません。この最後の案は、著者は検証していません。
自分の issue で harness とモデルの組み合わせを比べる
FrontierHarness Eval が測るのは、一度に 1 つのエージェント harness です。Crewmark はエージェントのチームのための harnessで、AI 社員はそれぞれ、役割、目標、勤務時間、ハートビートを持つ独立したコーディングエージェントのセッションです。そのため、異なる harness とモデルの組み合わせを 1 つのボードで並べて動かし、どれが自分の issue を片付けるかを確かめられます。
異なる harness で社員を追加する
Claude Code と Codex の社員はネイティブで動きます。OpenCode や DeepSeek Harness などほかのエージェントは、あなたのパソコン上で ACP(acpx 経由)で接続します。選択肢は Claude Code と Codex の比較と OpenCode の代替ツールをご覧ください。
同じ種類の仕事を任せる
それぞれに AI ソフトウェアエンジニアのような同じ役割を与え、バックログから似た issue を割り当てます。
ボードで比べる
各社員はハートビートで起き、自分の issue を進め、ステータスを最新に保ちます。それぞれがどの issue を終えたか、自分のプロバイダーやプランでいくらかかったかを確認します。
よくある質問
FrontierHarness Eval とは何ですか?
同じ 62 件のコマンドラインタスクでコーディングエージェント harness を動かし、合格率、コスト、時間を比べるベンチマークです。バージョン 1.1 は 22 の harness 構成を 5 つのオープンウェイトモデルで検証し、実行回数は合計 27,280 回です。
FrontierHarness Eval は誰が作りましたか?
AI エージェント向けのランタイムを作る会社 Runta です。すべての試行は Runta 自身のランタイムで動き、創業者が Hacker News でそれを明らかにしています。モデルは Baseten が提供し、リーダーボードには Z.ai がスポンサーとして載っています。
最も優れたエージェント harness はどれですか?
著者は全体の勝者を 1 つ挙げていません。モデルごとに費用対効果の高い harness を選んでいます:GLM-5.3 は Codex CLI、GLM-5.3-Flash は Pi、DeepSeek-V4.1-Flash は ZCode、Muse Spark Open は Oh My Pi、Kimi-K3 は Alma です。タスクをリサンプリングしても確実に保たれたのは Codex CLI の推奨だけでした。全モデルでは、合格 1 件あたりのコストが最も低かったのが Codex CLI、合格率が最も高かったのが ZCode です。
FrontierHarness Eval に Claude や GPT のモデルは含まれますか?
いいえ。v1.1 が検証したのはオープンウェイトモデルだけです:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open、Kimi-K3。Claude Code と Codex CLI は harness として検証されましたが、これらのモデルでのみです。著者は Opus 5.5、GPT-6 Astra、Gemini 4 Carbon を今後の課題に挙げています。
FrontierHarness Eval はオープンソースですか? データはどこにありますか?
コードとデータセットのマニフェストは GitHub の frontier-harness-eval/eval(ブランチ release/v1.1)にあり、タスクは Harbor Hub で公開されています。リポジトリにもデータにもライセンスの記載はありません。
エージェント harness とは何ですか?
モデルを実際に動くエージェントにするための、モデルを取り巻くソフトウェアです:ループ、ツール、コンテキスト、権限。Claude Code、Codex CLI、OpenCode は harness です。FrontierHarness Eval はモデルを固定して harness を入れ替え、結果がどれだけ変わるかを見ます。
FrontierHarness Eval の実行にはいくらかかりましたか?
著者は合計を明記していません。27,280 回の実行で 83B トークンを使ったと報告しており、タスクあたりのコストは Baseten の定価からの推定で、harness とモデルにより約 $0.11 から $1.98 です。
2026年11月18日に Runta の v1.1 の記事、eval リポジトリ(release/v1.1)、リーダーボードで確認。