FrontierHarness Eval v1.1 一覽
| FrontierHarness Eval v1.1 | |
|---|---|
| 製作者 | Runta,自稱是 AI agent 的執行層。文章作者是 Shilin Zhu。Baseten 以合作夥伴身分提供模型服務;排行榜上也列出 Z.ai 為贊助者 |
| 發表日期 | 2026 年 11 月 17 日(v1.0 是 2026 年 9 月 1 日) |
| 版本 | v1.1,Harbor 資料集 frontier-harness-eval/frontier-harness-eval@v1.1.0 |
| 執行次數 | 27,280 次:62 個任務 × 22 種組合 × 4 次嘗試 × 5 個模型,共用了 830 億 token |
| 任務 | 62 個命令列任務(軟體工程、科學、資料、系統、機器學習和資安),時間限制從 15 分鐘到 8 小時 |
| 模型 | 五個開放權重模型,全部由 Baseten 提供服務:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open 和 Kimi-K3 |
| Harness | 18 個 harness 的 22 種組合(DeepSeek Harness 有 4 種設定檔,OpenCode 有 2 個版本),每一種都用預設設定,推理強度開到最高 |
| 測量項目 | 通過率、每個任務的平均成本、每次通過的成本,以及每個任務的耗時 |
| 資料與程式碼 | 評測 repo(分支 release/v1.1)包含測試套件、轉接器和啟動器;任務公開在 Harbor Hub。沒有標示授權 |
v1.1 有什麼新東西
v1.0 只測了一個模型 Kimi K3,用 12 種 harness 組合跑 30 個任務,每個任務一次嘗試,共 360 次。v1.1 大得多,作者稱它是 v1.0 的 76 倍。
- 從一個模型增加到五個,模型服務從 Fireworks 換成 Baseten。
- harness 組合從 12 種增加到 22 種。
- 任務從 30 個增加到 62 個,每個任務的嘗試次數從 1 次增加到 4 次。
- 新的成本指標:每個任務的平均成本和每次通過的成本(v1.0 用的是每次通過成本的中位數)。
- 主要問題也變了:對每個模型來說,哪個 harness 的性價比最好。
各模型結果:作者選出的性價比最佳組合
作者的規則是:每次通過成本最低的 harness 勝出,除非另一個 harness 每次通過的成本最多高 30%,而通過率至少高 5 個百分點。為了檢驗每個推薦,他們把任務重新抽樣了 4,000 次。最後一欄顯示該推薦有多常維持第一。
| 模型 | 性價比最佳 harness | 每次通過成本 | 通過率 | 穩不穩 |
|---|---|---|---|---|
| GLM-5.3 | Codex CLI | $0.803 | 57.7% | 穩:重新抽樣中 99.6% 維持第一 |
| GLM-5.3-Flash | Pi | $0.223 | 58.1% | 弱:42% |
| DeepSeek-V4.1-Flash | ZCode | $0.222 | 69.0% | 弱:47%。選它而不選 OpenCode v1,後者每次通過的成本低 25%,通過率低 7.7 個百分點 |
| Muse Spark Open | Oh My Pi | $1.212 | 58.9% | 差不多:53% |
| Kimi-K3 | Alma | $1.579 | 64.1% | 弱:25%。選它而不選 Oh My Pi,後者每次通過的成本低 9%,通過率低 6.5 個百分點 |
| 所有模型 | 沒有單一推薦。位於成本與通過率前緣的有:OpenCode v2、Pi、Codex CLI、ZCode | 最低:Codex CLI,$0.937 | 最高:ZCode,61.9% | - |
所有模型合計:各 harness 的通過率、成本和時間
對五個模型取平均,每個 harness 有 1,240 次計分的嘗試,依每次通過成本排序。成本是用 Baseten 公開牌價估算的,不是帳單。作者表示,通過率差幾個百分點算平手:一個 harness 在一個模型上的 95% 信賴區間約為 ±10 個百分點。
這裡列出 22 列中的 13 列。完整的表格(包含每個模型的個別結果,以及其他 harness:Cline CLI、MiniMax Code、mini-SWE-agent、Maka、Exo 和四種 DeepSeek Harness 設定檔)在 repo 和原文中。
| Harness | 通過率 | 每個任務成本 | 每次通過成本 | 每個任務耗時 |
|---|---|---|---|---|
| Codex CLI | 61.1% | $0.573 | $0.937 | 26.8 分鐘 |
| Pi | 57.7% | $0.563 | $0.976 | 31.2 分鐘 |
| OpenCode v2 | 57.3% | $0.561 | $0.978 | 25.1 分鐘 |
| Oh My Pi | 57.3% | $0.564 | $0.983 | 34.0 分鐘 |
| ZCode | 61.9% | $0.659 | $1.063 | 35.4 分鐘 |
| KimiCode | 60.2% | $0.653 | $1.085 | 33.7 分鐘 |
| OpenCode v1 | 57.4% | $0.646 | $1.125 | 35.9 分鐘 |
| Hermes Agent | 59.9% | $0.692 | $1.155 | 35.0 分鐘 |
| Grok Build | 60.0% | $0.723 | $1.205 | 36.2 分鐘 |
| Alma | 59.7% | $0.731 | $1.224 | 34.1 分鐘 |
| GitHub Copilot CLI | 56.9% | $0.787 | $1.383 | 36.8 分鐘 |
| Claude Code | 58.9% | $0.915 | $1.555 | 41.3 分鐘 |
| Antigravity CLI | 55.0% | $0.897 | $1.632 | 36.8 分鐘 |
數字說明了什麼
- 成本主要由模型決定。在作者的分析中,模型解釋了每個任務成本 92.8% 的變異,harness 只解釋 2.3%。
- 固定模型之後,harness 仍然影響很大。它讓每個任務的成本差了 1.8 到 5.0 倍,每次通過的成本差了 1.9 到 4.9 倍。差距最大的是 DeepSeek:Cline CLI 每個任務的成本是 OpenCode v1 的 5.0 倍,通過率只多 2.0 個百分點。
- 多花錢不會換來更高的通過率。就單一模型而言,每個任務成本和通過率的等級相關係數介於 −0.39 到 +0.22 之間。
- 步數能預測成本,大小不能。每次通過的步數和每次通過的成本相關(+0.51);起始 token 數、工具數量和快取命中率則不相關。最小的 harness mini-SWE-agent,每個任務成本在 22 個中排第 19。
- 大部分錢花在失敗的執行上。64.5% 的支出花在沒通過的嘗試上:52.7% 是失敗,11.8% 是逾時。在五個性價比最佳的 harness 中,68%(Pi)到 82%(Codex CLI)的失敗執行是以一個很有把握的最終答案收尾,而不是撞到時間限制。
- 通過率彼此很接近。所有模型合計,範圍從 50.6%(Exo)到 61.9%(ZCode),大部分 harness 相差不過幾個百分點,作者視為平手。
- 五個性價比最佳的 harness 有一些共通點:主要靠單一個 shell 工具做事、上下文只增不減、沒有子 agent,而且幾乎不做摘要。作者說這些是觀察,不是測試出來的結論。
這次評測中的 Claude Code 和 Codex
兩者在這裡都只搭配透過 Baseten 提供的開放權重模型執行,沒有用 Anthropic 或 OpenAI 自己的模型。讀結果時請記得這一點。
- Codex CLI(0.164.0)在所有模型合計中每次通過成本最低,為 $0.937,通過率也在第一梯隊,為 61.1%。在高通過率的那一群中,它也最快,每個任務 26.8 分鐘。搭配 GLM-5.3 時,它是作者選出的性價比最佳組合,在 99.6% 的重新抽樣中維持第一。
- Claude Code(2.1.308)通過了 58.9% 的任務,在中段,但搭配這些模型時又慢、每次通過的成本又高。它的每次通過成本是第二高($1.555,僅次於 Antigravity CLI),每個任務耗時最長(41.3 分鐘),逾時率第二高(14.2%)。
- 它最貴的單一組合是搭配 Muse Spark Open:每次通過 $3.753,是全部 110 個 harness 與模型組合中最高的。
- 搭配 DeepSeek-V4.1-Flash 時,Claude Code 表現不錯:68.1%,在該模型上僅次於 ZCode 的 69.0%,每次通過成本 $0.285。
它沒有告訴你什麼
- 完全沒有閉源模型的資料。v1.1 只測了開放權重模型,沒有 Claude Opus 或 Fable、GPT 或 Gemini 模型的結果,它的排名不一定適用於這些模型。作者把 Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 列為之後的工作。這些模型請見 GPT-6.2 對比 Claude。
- 有些 harness 沒有納入,包括 Cursor、Gemini CLI 和 Droid。
- 成本是估算值。它是 Baseten 的公開牌價乘以供應商回報的 token 數。作者自己也說,成本排名受 Baseten 的快取和價格影響。你在其他供應商或方案上的帳單可能不同。
- 測試是製作者自己跑的。每一次測試都跑在 Runta 自己的執行環境上,Runta 的創辦人在 Hacker News 的討論串中也這樣說明。資料和程式碼是公開的,別人可以自行檢驗。
- 小差距只是雜訊。一個 harness 在一個模型上的區間約為 ±10 個百分點,所以表中大部分通過率差異都算平手。
- 只有一種任務。62 個任務全是命令列任務,每個都在全新、短暫存在的執行環境中以預設 harness 設定執行。你的 repo、提示詞和設定可能比較適合另一個 harness。
團隊該怎麼讀這份結果
- 先選模型,它決定了大部分成本。
- 換模型時,要重新測試 harness。作者自己的建議也是,換模型時要考慮連 harness 一起換。
- 看每個模型的推薦,不要看整體平均,並檢查推薦穩不穩。GLM-5.3 上的 Codex CLI 站得住腳;GLM-5.3-Flash、DeepSeek 和 Kimi-K3 的推薦往往站不住。
- 比較每次通過的成本,不要比每個任務的成本。便宜但失敗的執行照樣花錢。
- 跑你自己的任務。作者建議用一組自己的私有任務來測試候選項目,這比任何公開表格都更能說明問題。
- 留意步數和失敗的執行。步數少的 harness 成本較低,而在 agent 停止前先檢查成果,也許能省下一些花在失敗上的錢。最後這個想法作者沒有測試過。
在你自己的 issue 上比較 harness 與模型組合
FrontierHarness Eval 一次只測量一個 agent harness。Crewmark 則是給 agent 團隊用的 harness:每位 AI 員工都是自己的程式設計 agent 工作階段,有職位、目標、工作時間和心跳。所以你可以在同一個看板上並排執行不同的 harness 與模型組合,看哪一個能把你的 issue 做完。
加入使用不同 harness 的員工
Claude Code 和 Codex 員工原生執行。其他 agent,例如 OpenCode 和 DeepSeek Harness,透過 ACP(經由 acpx)在你的電腦上連接。選項請見 Claude Code 和 Codex 比較和 OpenCode 替代方案。
給它們同一類工作
每位都用相同的職位,例如 AI 軟體工程師,再從待辦清單中指派類似的 issue。
在看板上比較
每位員工依心跳醒來、處理自己的 issue,並隨時更新狀態。看看每位完成了哪些 issue,以及在你自己的供應商或方案上花了多少成本。
常見問題
FrontierHarness Eval 是什麼?
一套基準測試,讓程式設計 agent harness 在同樣的 62 個命令列任務上執行,比較通過率、成本和時間。v1.1 用五個開放權重模型測試了 22 種 harness 組合,共 27,280 次執行。
FrontierHarness Eval 是誰做的?
Runta,一家開發 AI agent 執行環境的公司。每一次測試都跑在 Runta 自己的執行環境上,這一點它的創辦人已在 Hacker News 上說明。Baseten 提供模型服務,排行榜上列出 Z.ai 為贊助者。
哪個 agent harness 最好?
作者沒有指定整體的贏家,而是針對每個模型選出性價比最佳的 harness:GLM-5.3 是 Codex CLI,GLM-5.3-Flash 是 Pi,DeepSeek-V4.1-Flash 是 ZCode,Muse Spark Open 是 Oh My Pi,Kimi-K3 是 Alma。重新抽樣任務時,只有 Codex CLI 的推薦穩穩站住。所有模型合計,Codex CLI 的每次通過成本最低,ZCode 的通過率最高。
FrontierHarness Eval 有包含 Claude 或 GPT 模型嗎?
沒有。v1.1 只測了開放權重模型:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open 和 Kimi-K3。Claude Code 和 Codex CLI 是以 harness 的身分受測,但只搭配這些模型。作者把 Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 列為之後的工作。
FrontierHarness Eval 是開源的嗎?資料在哪裡?
程式碼和資料集清單在 GitHub 的 frontier-harness-eval/eval,分支 release/v1.1,任務公開在 Harbor Hub。repo 和資料都沒有標示授權。
什麼是 agent harness?
把模型變成能實際工作的 agent 的那層軟體:迴圈、工具、上下文和權限。Claude Code、Codex CLI 和 OpenCode 都是 harness。FrontierHarness Eval 固定模型、替換 harness,看它對結果改變多少。
跑 FrontierHarness Eval 花了多少錢?
作者沒有公布總額。他們報告 27,280 次執行共用了 830 億 token,以及用 Baseten 公開牌價估算的每個任務成本,依 harness 和模型不同,大約從 $0.11 到 $1.98。
已於 2026 年 11 月 18 日對照 Runta 的 v1.1 文章、評測 repo(release/v1.1)和排行榜核對。