博客 · AI agent

FrontierHarness Eval v1.1:哪个 agent harness 和哪个模型搭配最好

FrontierHarness Eval 是一个基准测试:让 Codex CLI、Claude Code、OpenCode、Pi 等多种编程 agent harness 在同样的终端任务上运行,比较通过率、成本和耗时。v1.1 版本于 2026 年 11 月 17 日发布,作者是 Runta,所有试验都跑在它自己的运行时上。它在 5 个开源权重模型上测了 22 种 harness 配置,共 27,280 次运行,没有 Claude、GPT 或 Gemini 模型的结果。本文讲这一版有什么变化、作者为每个模型选了哪个 harness、所有模型合计的数字,以及这些结果有多可信。

FrontierHarness Eval v1.1 一览

FrontierHarness Eval v1.1
作者Runta,自称 AI agent 的执行层。文章作者 Shilin Zhu。Baseten 作为合作方提供模型服务;排行榜还把 Z.ai 列为赞助方
发布时间2026 年 11 月 17 日(v1.0 是 2026 年 9 月 1 日)
版本v1.1,Harbor 数据集 frontier-harness-eval/frontier-harness-eval@v1.1.0
运行次数27,280 次:62 个任务 × 22 种配置 × 4 次尝试 × 5 个模型,共用 830 亿 token
任务62 个命令行任务(软件工程、科学、数据、系统、机器学习和安全),时间限制从 15 分钟到 8 小时
模型5 个开源权重模型,全部由 Baseten 提供服务:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open 和 Kimi-K3
Harness18 个 harness 的 22 种配置(DeepSeek Harness 有 4 种配置,OpenCode 有 2 个版本),每个都用默认设置和最高推理强度
衡量指标通过率、每个任务的平均成本、每次通过的成本、每个任务的耗时
数据和代码评测仓库(release/v1.1 分支)有测试集、适配器和启动器;任务公开在 Harbor Hub 上。未注明许可证

v1.1 有什么变化

v1.0 只测了一个模型 Kimi K3,12 种 harness 配置,30 个任务,每个任务只试一次,共 360 次试验。v1.1 大得多,作者说是 v1.0 的 76 倍。

  • 模型从 1 个变成 5 个,服务商从 Fireworks 换成 Baseten。
  • harness 配置从 12 种增加到 22 种。
  • 任务从 30 个增加到 62 个,每个任务的尝试次数从 1 次变成 4 次。
  • 新增成本指标:每个任务的平均成本和每次通过的成本(v1.0 用的是每次通过成本的中位数)。
  • 核心问题也变了:针对每个模型,哪个 harness 性价比最高。

按模型看结果:作者选出的性价比最高的 harness

作者的规则:每次通过成本最低的 harness 胜出,除非另一个 harness 每次通过的成本最多高 30%,而通过率至少高 5 个百分点。为检验每个选择,他们把任务重新抽样了 4,000 次。最后一列是这个选择有多少次仍然排第一。

模型性价比最高的 harness每次通过成本通过率稳不稳
GLM-5.3Codex CLI$0.80357.7%稳:99.6% 的重抽样里排第一
GLM-5.3-FlashPi$0.22358.1%弱:42%
DeepSeek-V4.1-FlashZCode$0.22269.0%弱:47%。选它而没选 OpenCode v1,后者每次通过成本低 25%,通过率低 7.7 个百分点
Muse Spark OpenOh My Pi$1.21258.9%基本持平:53%
Kimi-K3Alma$1.57964.1%弱:25%。选它而没选 Oh My Pi,后者每次通过成本低 9%,通过率低 6.5 个百分点
所有模型没有唯一的推荐。位于成本和通过率前沿的是:OpenCode v2、Pi、Codex CLI、ZCode最低:Codex CLI,$0.937最高:ZCode,61.9%-

所有模型合计:各 harness 的通过率、成本和耗时

对 5 个模型取平均,每个 harness 有 1,240 次计分的尝试。按每次通过的成本排序。成本是按 Baseten 标价估算的,不是账单。作者说,通过率差几个百分点算平手:一个 harness 在一个模型上的 95% 区间大约是 ±10 个百分点。

这里只列了 22 行中的 13 行。完整表格(包括每个模型的单独结果,以及其他 harness:Cline CLI、MiniMax Code、mini-SWE-agent、Maka、Exo 和 4 种 DeepSeek Harness 配置)见仓库和原文。

Harness通过率每个任务成本每次通过成本每个任务耗时
Codex CLI61.1%$0.573$0.93726.8 分钟
Pi57.7%$0.563$0.97631.2 分钟
OpenCode v257.3%$0.561$0.97825.1 分钟
Oh My Pi57.3%$0.564$0.98334.0 分钟
ZCode61.9%$0.659$1.06335.4 分钟
KimiCode60.2%$0.653$1.08533.7 分钟
OpenCode v157.4%$0.646$1.12535.9 分钟
Hermes Agent59.9%$0.692$1.15535.0 分钟
Grok Build60.0%$0.723$1.20536.2 分钟
Alma59.7%$0.731$1.22434.1 分钟
GitHub Copilot CLI56.9%$0.787$1.38336.8 分钟
Claude Code58.9%$0.915$1.55541.3 分钟
Antigravity CLI55.0%$0.897$1.63236.8 分钟

这些数字说明了什么

  • 成本主要由模型决定。按作者的分析,模型解释了每个任务成本 92.8% 的方差,harness 只解释 2.3%。
  • 模型固定后,harness 的影响依然很大。它让每个任务的成本相差 1.8–5.0 倍,每次通过的成本相差 1.9–4.9 倍。差距最大的是 DeepSeek:Cline CLI 每个任务的成本是 OpenCode v1 的 5.0 倍,通过率只高 2.0 个百分点。
  • 多花钱买不到更高的通过率。对每个模型,每个任务成本和通过率的秩相关系数在 −0.39 到 +0.22 之间。
  • 步数能预测成本,体积不能。每次通过的步数和每次通过的成本相关(+0.51)。启动 token 数、工具数量和缓存命中率则不相关。最小的 harness mini-SWE-agent,每个任务成本在 22 个里排第 19。
  • 大部分钱花在失败的运行上。64.5% 的开销花在没通过的试验上:52.7% 是失败,11.8% 是超时。在 5 个性价比最高的 harness 里,68%(Pi)到 82%(Codex CLI)的失败运行是以一个很有把握的最终答案结束的,而不是撞到时间限制。
  • 通过率很接近。所有模型合计,通过率从 50.6%(Exo)到 61.9%(ZCode),大多数 harness 只差几个百分点,作者把这些当作平手。
  • 5 个性价比最高的 harness 有共同点:主要靠一个 shell 工具干活,上下文只增不减,没有子 agent,几乎不做摘要。作者说这些是观察,不是检验。

这项评测里的 Claude Code 和 Codex

两者在这里都只配合通过 Baseten 提供的开源权重模型运行,从没用过 Anthropic 或 OpenAI 自己的模型。读结果时请记住这一点。

  • Codex CLI(0.164.0)在所有模型合计中每次通过成本最低,为 $0.937,通过率也在第一梯队,为 61.1%。在高通过率的一组里它也最快,每个任务 26.8 分钟。配合 GLM-5.3 时它是作者选出的性价比最高的 harness,在 99.6% 的重抽样里保持第一。
  • Claude Code(2.1.308)的通过率为 58.9%,处于中游,但配合这些模型时又慢又贵。它每次通过成本是第二高($1.555,仅次于 Antigravity CLI),每个任务耗时最长(41.3 分钟),超时率也是第二高(14.2%)。
  • 它最贵的一个组合是配合 Muse Spark Open:每次通过 $3.753,在全部 110 个 harness 和模型组合中最高。
  • 配合 DeepSeek-V4.1-Flash 时 Claude Code 表现不错:通过率 68.1%,在该模型上仅次于 ZCode 的 69.0%,每次通过 $0.285。

它没告诉你什么

  • 没有闭源模型的信息。v1.1 只测了开源权重模型。没有 Claude Opus 或 Fable、GPT 或 Gemini 模型的结果,它的排名不一定适用于这些模型。作者把 Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 列为后续工作。这些模型的情况见 GPT-6.2 对比 Claude。
  • 有些 harness 没测,包括 Cursor、Gemini CLI 和 Droid。
  • 成本是估算的。是 Baseten 的标价乘以服务商报告的 token 数。作者自己也说,成本排名受 Baseten 的缓存和价格影响。换一家服务商或套餐,你的账单可能不同。
  • 是出品方自己跑的。所有试验都在 Runta 自己的运行时上进行,Runta 的创始人在 Hacker News 的讨论里也这么说过。数据和代码是公开的,别人可以复核。
  • 小差距是噪声。一个 harness 在一个模型上的区间大约是 ±10 个百分点,所以表里大多数通过率差异都是平手。
  • 只有一类任务。62 个任务全是命令行任务,每次都在全新的、短暂存在的运行时里用默认的 harness 设置运行。你的仓库、提示词和设置可能更适合另一个 harness。

团队怎么用这些结果

  • 先选模型。成本主要由它决定。
  • 换模型时,重新测一遍 harness。作者自己的建议是,换模型时也要考虑换 harness。
  • 看每个模型的推荐,不要看总体平均,并看它稳不稳。Codex CLI 配 GLM-5.3 站得住;GLM-5.3-Flash、DeepSeek 和 Kimi-K3 的推荐常常站不住。
  • 比较每次通过的成本,不要比每个任务的成本。便宜但失败的运行照样花钱。
  • 跑你自己的任务。作者建议用一套自己的私有任务来测试候选,这比任何公开表格都更能说明问题。
  • 留意步数和失败的运行。步数少的 harness 花得少,在 agent 停下之前先检查成果,也许能省下一部分花在失败上的钱。最后这个想法作者没有测过。
用 Crewmark

在你自己的 issue 上比较 harness 和模型的搭配

FrontierHarness Eval 一次只衡量一个 agent harness。Crewmark 是给一整个 agent 团队用的 harness:每个 AI 员工都是一个独立的编程 agent 会话,有岗位、目标、工作时间和心跳。所以你可以在同一块看板上并排运行不同的 harness 和模型搭配,看哪一个真正关掉了你的 issue。

  1. 添加使用不同 harness 的员工

    Claude Code 和 Codex 员工原生运行。其他 agent,比如 OpenCode 和 DeepSeek Harness,通过 ACP(经由 acpx)连接到你的电脑。有哪些选择见 Claude Code 和 Codex 对比和 OpenCode 替代品。

  2. 给他们同类的工作

    每个人用同一个岗位,比如 AI 软件工程师,再从待办里分配类似的 issue。

  3. 在看板上比较

    每个员工按自己的心跳醒来,处理自己的 issue,并及时更新状态。看看每个人完成了哪些 issue,以及在你自己的服务商或套餐上花了多少钱。

常见问题

FrontierHarness Eval 是什么?

一个基准测试,让编程 agent harness 在同样的 62 个命令行任务上运行,比较通过率、成本和耗时。v1.1 在 5 个开源权重模型上测了 22 种 harness 配置,共 27,280 次运行。

FrontierHarness Eval 是谁做的?

Runta,一家做 AI agent 运行时的公司。所有试验都跑在 Runta 自己的运行时上,它的创始人在 Hacker News 上披露过这一点。模型由 Baseten 提供服务,排行榜把 Z.ai 列为赞助方。

哪个 agent harness 最好?

作者没有给出总体冠军。他们为每个模型选了一个性价比最高的 harness:GLM-5.3 选 Codex CLI,GLM-5.3-Flash 选 Pi,DeepSeek-V4.1-Flash 选 ZCode,Muse Spark Open 选 Oh My Pi,Kimi-K3 选 Alma。重新抽样任务后,只有 Codex CLI 这一项站得稳。所有模型合计,Codex CLI 每次通过成本最低,ZCode 通过率最高。

FrontierHarness Eval 包含 Claude 或 GPT 模型吗?

不包含。v1.1 只测了开源权重模型:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Muse Spark Open 和 Kimi-K3。Claude Code 和 Codex CLI 是作为 harness 被测的,但只配合这些模型。作者把 Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon 列为后续工作。

FrontierHarness Eval 开源吗?数据在哪?

代码和数据集清单在 GitHub 的 frontier-harness-eval/eval,release/v1.1 分支,任务公开在 Harbor Hub 上。仓库和数据都没有注明许可证。

什么是 agent harness?

围绕模型的那层软件,让模型变成能干活的 agent:循环、工具、上下文和权限。Claude Code、Codex CLI 和 OpenCode 都是 harness。FrontierHarness Eval 固定模型、更换 harness,看它对结果影响有多大。

跑一遍 FrontierHarness Eval 花了多少钱?

作者没有给出总额。他们报告了 27,280 次运行共 830 亿 token,以及按 Baseten 标价估算的每个任务成本,视 harness 和模型而定,大约从 $0.11 到 $1.98。

已于 2026 年 11 月 18 日对照 Runta 的 v1.1 文章、评测仓库(release/v1.1)和排行榜核对。

让你的 harness 组成团队来干活。

Crewmark 把 Claude Code、Codex 和其他编程 agent 会话变成 AI 员工,有岗位、目标、工作时间和心跳。