部落格 · AI agent

FrontierHarness Eval v1.1:哪個 agent harness 配哪個模型最好用

FrontierHarness Eval 是一套基準測試,讓許多程式設計 agent harness(例如 Codex CLI、Claude Code、OpenCode 和 Pi)在相同的終端機任務上執行,比較通過率、成本和時間。v1.1 版在 2026 年 11 月 17 日由 Runta 發表,每一次測試都跑在 Runta 的執行環境上。它用五個開放權重模型測試了 22 種 harness 組合,共 27,280 次執行,沒有 Claude、GPT 或 Gemini 模型的結果。本文整理改了什麼、作者對每個模型的推薦、所有模型合計的數字,以及這些數字可以信任到什麼程度。

FrontierHarness Eval v1.1 一覽

FrontierHarness Eval v1.1
製作者Runta,自稱是 AI agent 的執行層。文章作者是 Shilin Zhu。Baseten 以合作夥伴身分提供模型服務;排行榜上也列出 Z.ai 為贊助者
發表日期2026 年 11 月 17 日(v1.0 是 2026 年 9 月 1 日)
版本v1.1,Harbor 資料集 frontier-harness-eval/frontier-harness-eval@v1.1.0
執行次數27,280 次:62 個任務 × 22 種組合 × 4 次嘗試 × 5 個模型,共用了 830 億 token
任務62 個命令列任務(軟體工程、科學、資料、系統、機器學習和資安),時間限制從 15 分鐘到 8 小時
模型五個開放權重模型,全部由 Baseten 提供服務:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open 和 Kimi-K3
Harness18 個 harness 的 22 種組合(DeepSeek Harness 有 4 種設定檔,OpenCode 有 2 個版本),每一種都用預設設定,推理強度開到最高
測量項目通過率、每個任務的平均成本、每次通過的成本,以及每個任務的耗時
資料與程式碼評測 repo(分支 release/v1.1)包含測試套件、轉接器和啟動器;任務公開在 Harbor Hub。沒有標示授權

v1.1 有什麼新東西

v1.0 只測了一個模型 Kimi K3,用 12 種 harness 組合跑 30 個任務,每個任務一次嘗試,共 360 次。v1.1 大得多,作者稱它是 v1.0 的 76 倍。

  • 從一個模型增加到五個,模型服務從 Fireworks 換成 Baseten。
  • harness 組合從 12 種增加到 22 種。
  • 任務從 30 個增加到 62 個,每個任務的嘗試次數從 1 次增加到 4 次。
  • 新的成本指標:每個任務的平均成本和每次通過的成本(v1.0 用的是每次通過成本的中位數)。
  • 主要問題也變了:對每個模型來說,哪個 harness 的性價比最好。

各模型結果:作者選出的性價比最佳組合

作者的規則是:每次通過成本最低的 harness 勝出,除非另一個 harness 每次通過的成本最多高 30%,而通過率至少高 5 個百分點。為了檢驗每個推薦,他們把任務重新抽樣了 4,000 次。最後一欄顯示該推薦有多常維持第一。

模型性價比最佳 harness每次通過成本通過率穩不穩
GLM-5.3Codex CLI$0.80357.7%穩:重新抽樣中 99.6% 維持第一
GLM-5.3-FlashPi$0.22358.1%弱:42%
DeepSeek-V4.1-FlashZCode$0.22269.0%弱:47%。選它而不選 OpenCode v1,後者每次通過的成本低 25%,通過率低 7.7 個百分點
Muse Spark OpenOh My Pi$1.21258.9%差不多:53%
Kimi-K3Alma$1.57964.1%弱:25%。選它而不選 Oh My Pi,後者每次通過的成本低 9%,通過率低 6.5 個百分點
所有模型沒有單一推薦。位於成本與通過率前緣的有:OpenCode v2、Pi、Codex CLI、ZCode最低:Codex CLI,$0.937最高:ZCode,61.9%-

所有模型合計:各 harness 的通過率、成本和時間

對五個模型取平均,每個 harness 有 1,240 次計分的嘗試,依每次通過成本排序。成本是用 Baseten 公開牌價估算的,不是帳單。作者表示,通過率差幾個百分點算平手:一個 harness 在一個模型上的 95% 信賴區間約為 ±10 個百分點。

這裡列出 22 列中的 13 列。完整的表格(包含每個模型的個別結果,以及其他 harness:Cline CLI、MiniMax Code、mini-SWE-agent、Maka、Exo 和四種 DeepSeek Harness 設定檔)在 repo 和原文中。

Harness通過率每個任務成本每次通過成本每個任務耗時
Codex CLI61.1%$0.573$0.93726.8 分鐘
Pi57.7%$0.563$0.97631.2 分鐘
OpenCode v257.3%$0.561$0.97825.1 分鐘
Oh My Pi57.3%$0.564$0.98334.0 分鐘
ZCode61.9%$0.659$1.06335.4 分鐘
KimiCode60.2%$0.653$1.08533.7 分鐘
OpenCode v157.4%$0.646$1.12535.9 分鐘
Hermes Agent59.9%$0.692$1.15535.0 分鐘
Grok Build60.0%$0.723$1.20536.2 分鐘
Alma59.7%$0.731$1.22434.1 分鐘
GitHub Copilot CLI56.9%$0.787$1.38336.8 分鐘
Claude Code58.9%$0.915$1.55541.3 分鐘
Antigravity CLI55.0%$0.897$1.63236.8 分鐘

數字說明了什麼

  • 成本主要由模型決定。在作者的分析中,模型解釋了每個任務成本 92.8% 的變異,harness 只解釋 2.3%。
  • 固定模型之後,harness 仍然影響很大。它讓每個任務的成本差了 1.8 到 5.0 倍,每次通過的成本差了 1.9 到 4.9 倍。差距最大的是 DeepSeek:Cline CLI 每個任務的成本是 OpenCode v1 的 5.0 倍,通過率只多 2.0 個百分點。
  • 多花錢不會換來更高的通過率。就單一模型而言,每個任務成本和通過率的等級相關係數介於 −0.39 到 +0.22 之間。
  • 步數能預測成本,大小不能。每次通過的步數和每次通過的成本相關(+0.51);起始 token 數、工具數量和快取命中率則不相關。最小的 harness mini-SWE-agent,每個任務成本在 22 個中排第 19。
  • 大部分錢花在失敗的執行上。64.5% 的支出花在沒通過的嘗試上:52.7% 是失敗,11.8% 是逾時。在五個性價比最佳的 harness 中,68%(Pi)到 82%(Codex CLI)的失敗執行是以一個很有把握的最終答案收尾,而不是撞到時間限制。
  • 通過率彼此很接近。所有模型合計,範圍從 50.6%(Exo)到 61.9%(ZCode),大部分 harness 相差不過幾個百分點,作者視為平手。
  • 五個性價比最佳的 harness 有一些共通點:主要靠單一個 shell 工具做事、上下文只增不減、沒有子 agent,而且幾乎不做摘要。作者說這些是觀察,不是測試出來的結論。

這次評測中的 Claude Code 和 Codex

兩者在這裡都只搭配透過 Baseten 提供的開放權重模型執行,沒有用 Anthropic 或 OpenAI 自己的模型。讀結果時請記得這一點。

  • Codex CLI(0.164.0)在所有模型合計中每次通過成本最低,為 $0.937,通過率也在第一梯隊,為 61.1%。在高通過率的那一群中,它也最快,每個任務 26.8 分鐘。搭配 GLM-5.3 時,它是作者選出的性價比最佳組合,在 99.6% 的重新抽樣中維持第一。
  • Claude Code(2.1.308)通過了 58.9% 的任務,在中段,但搭配這些模型時又慢、每次通過的成本又高。它的每次通過成本是第二高($1.555,僅次於 Antigravity CLI),每個任務耗時最長(41.3 分鐘),逾時率第二高(14.2%)。
  • 它最貴的單一組合是搭配 Muse Spark Open:每次通過 $3.753,是全部 110 個 harness 與模型組合中最高的。
  • 搭配 DeepSeek-V4.1-Flash 時,Claude Code 表現不錯:68.1%,在該模型上僅次於 ZCode 的 69.0%,每次通過成本 $0.285。

它沒有告訴你什麼

  • 完全沒有閉源模型的資料。v1.1 只測了開放權重模型,沒有 Claude Opus 或 Fable、GPT 或 Gemini 模型的結果,它的排名不一定適用於這些模型。作者把 Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 列為之後的工作。這些模型請見 GPT-6.2 對比 Claude。
  • 有些 harness 沒有納入,包括 Cursor、Gemini CLI 和 Droid。
  • 成本是估算值。它是 Baseten 的公開牌價乘以供應商回報的 token 數。作者自己也說,成本排名受 Baseten 的快取和價格影響。你在其他供應商或方案上的帳單可能不同。
  • 測試是製作者自己跑的。每一次測試都跑在 Runta 自己的執行環境上,Runta 的創辦人在 Hacker News 的討論串中也這樣說明。資料和程式碼是公開的,別人可以自行檢驗。
  • 小差距只是雜訊。一個 harness 在一個模型上的區間約為 ±10 個百分點,所以表中大部分通過率差異都算平手。
  • 只有一種任務。62 個任務全是命令列任務,每個都在全新、短暫存在的執行環境中以預設 harness 設定執行。你的 repo、提示詞和設定可能比較適合另一個 harness。

團隊該怎麼讀這份結果

  • 先選模型,它決定了大部分成本。
  • 換模型時,要重新測試 harness。作者自己的建議也是,換模型時要考慮連 harness 一起換。
  • 看每個模型的推薦,不要看整體平均,並檢查推薦穩不穩。GLM-5.3 上的 Codex CLI 站得住腳;GLM-5.3-Flash、DeepSeek 和 Kimi-K3 的推薦往往站不住。
  • 比較每次通過的成本,不要比每個任務的成本。便宜但失敗的執行照樣花錢。
  • 跑你自己的任務。作者建議用一組自己的私有任務來測試候選項目,這比任何公開表格都更能說明問題。
  • 留意步數和失敗的執行。步數少的 harness 成本較低,而在 agent 停止前先檢查成果,也許能省下一些花在失敗上的錢。最後這個想法作者沒有測試過。
用 Crewmark

在你自己的 issue 上比較 harness 與模型組合

FrontierHarness Eval 一次只測量一個 agent harness。Crewmark 則是給 agent 團隊用的 harness:每位 AI 員工都是自己的程式設計 agent 工作階段,有職位、目標、工作時間和心跳。所以你可以在同一個看板上並排執行不同的 harness 與模型組合,看哪一個能把你的 issue 做完。

  1. 加入使用不同 harness 的員工

    Claude Code 和 Codex 員工原生執行。其他 agent,例如 OpenCode 和 DeepSeek Harness,透過 ACP(經由 acpx)在你的電腦上連接。選項請見 Claude Code 和 Codex 比較和 OpenCode 替代方案。

  2. 給它們同一類工作

    每位都用相同的職位,例如 AI 軟體工程師,再從待辦清單中指派類似的 issue。

  3. 在看板上比較

    每位員工依心跳醒來、處理自己的 issue,並隨時更新狀態。看看每位完成了哪些 issue,以及在你自己的供應商或方案上花了多少成本。

常見問題

FrontierHarness Eval 是什麼?

一套基準測試,讓程式設計 agent harness 在同樣的 62 個命令列任務上執行,比較通過率、成本和時間。v1.1 用五個開放權重模型測試了 22 種 harness 組合,共 27,280 次執行。

FrontierHarness Eval 是誰做的?

Runta,一家開發 AI agent 執行環境的公司。每一次測試都跑在 Runta 自己的執行環境上,這一點它的創辦人已在 Hacker News 上說明。Baseten 提供模型服務,排行榜上列出 Z.ai 為贊助者。

哪個 agent harness 最好?

作者沒有指定整體的贏家,而是針對每個模型選出性價比最佳的 harness:GLM-5.3 是 Codex CLI,GLM-5.3-Flash 是 Pi,DeepSeek-V4.1-Flash 是 ZCode,Muse Spark Open 是 Oh My Pi,Kimi-K3 是 Alma。重新抽樣任務時,只有 Codex CLI 的推薦穩穩站住。所有模型合計,Codex CLI 的每次通過成本最低,ZCode 的通過率最高。

FrontierHarness Eval 有包含 Claude 或 GPT 模型嗎?

沒有。v1.1 只測了開放權重模型:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open 和 Kimi-K3。Claude Code 和 Codex CLI 是以 harness 的身分受測,但只搭配這些模型。作者把 Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 列為之後的工作。

FrontierHarness Eval 是開源的嗎?資料在哪裡?

程式碼和資料集清單在 GitHub 的 frontier-harness-eval/eval,分支 release/v1.1,任務公開在 Harbor Hub。repo 和資料都沒有標示授權。

什麼是 agent harness?

把模型變成能實際工作的 agent 的那層軟體:迴圈、工具、上下文和權限。Claude Code、Codex CLI 和 OpenCode 都是 harness。FrontierHarness Eval 固定模型、替換 harness,看它對結果改變多少。

跑 FrontierHarness Eval 花了多少錢?

作者沒有公布總額。他們報告 27,280 次執行共用了 830 億 token,以及用 Baseten 公開牌價估算的每個任務成本,依 harness 和模型不同,大約從 $0.11 到 $1.98。

已於 2026 年 11 月 18 日對照 Runta 的 v1.1 文章、評測 repo(release/v1.1)和排行榜核對。

讓你的 harness 組成團隊來工作。

Crewmark 把 Claude Code、Codex 和其他程式設計 agent 工作階段變成有職位、目標、工作時間和心跳的 AI 員工。