블로그 · AI 에이전트

FrontierHarness Eval v1.1: 어떤 에이전트 harness가 어떤 모델과 가장 잘 맞을까

FrontierHarness Eval은 Codex CLI, Claude Code, OpenCode, Pi 같은 코딩 에이전트 harness를 같은 터미널 작업에 돌려 통과율, 비용, 시간을 비교하는 벤치마크예요. 버전 1.1은 2026년 11월 17일에 Runta에서 나왔어요. 모든 실행을 돌린 런타임이 바로 이 회사 것이에요. 오픈 웨이트 모델 5개에서 harness 22종을 테스트했고, 실행은 모두 27,280회예요. Claude, GPT, Gemini 모델 결과는 없어요. 이 글에서는 무엇이 바뀌었는지, 모델별 추천, 전체 모델에 걸친 수치, 그리고 그 수치를 얼마나 믿어도 되는지 정리해요.

FrontierHarness Eval v1.1 한눈에 보기

FrontierHarness Eval v1.1
만든 곳Runta. AI 에이전트의 실행 레이어라고 스스로 소개해요. 글은 Shilin Zhu가 썼어요. Baseten이 파트너로 모델을 서빙했고, 리더보드에는 Z.ai도 후원사로 올라 있어요
공개일2026년 11월 17일 (v1.0은 2026년 9월 1일)
버전v1.1, Harbor 데이터셋 frontier-harness-eval/frontier-harness-eval@v1.1.0
실행 횟수27,280회: 작업 62개 × 구성 22개 × 시도 4회 × 모델 5개, 토큰 83B 사용
작업명령줄 작업 62개(소프트웨어 엔지니어링, 과학, 데이터, 시스템, ML, 보안). 제한 시간은 15분에서 8시간까지
모델오픈 웨이트 모델 5개, 모두 Baseten이 서빙: GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open, Kimi-K3
Harnessharness 18종의 구성 22개(DeepSeek Harness는 프로필 4개, OpenCode는 버전 2개). 각각 기본 설정에 최대 추론 강도
측정 항목통과율, 작업당 평균 비용, 통과당 비용, 작업당 시간
데이터와 코드eval 저장소(release/v1.1 브랜치)에 스위트, 어댑터, 런처가 있어요. 작업은 Harbor Hub에 공개돼 있어요. 라이선스는 명시돼 있지 않아요

v1.1에서 달라진 점

버전 1.0은 Kimi K3 모델 하나에 harness 구성 12개, 작업 30개, 작업당 시도 1회로 총 360번 실행했어요. 버전 1.1은 훨씬 커요. 저자들은 v1.0의 76배 규모라고 해요.

  • 모델이 1개에서 5개로 늘었고, 서빙은 Fireworks에서 Baseten으로 바뀌었어요.
  • harness 구성이 12개에서 22개로 늘었어요.
  • 작업이 30개에서 62개로, 작업당 시도가 1회에서 4회로 늘었어요.
  • 비용 지표가 새로 생겼어요. 작업당 평균 비용과 통과당 비용이에요(v1.0은 통과당 비용의 중앙값을 썼어요).
  • 핵심 질문도 바뀌었어요. 모델마다 어떤 harness가 가장 가성비가 좋은가예요.

모델별 결과: 저자들이 꼽은 가성비 1위

저자들의 규칙은 이래요. 통과당 비용이 가장 낮은 harness가 이기고요, 다만 다른 harness가 통과당 비용이 최대 30% 더 들면서 통과율이 5점 이상 높으면 그쪽이 이겨요. 각 선택이 맞는지 보려고 작업을 4,000번 다시 뽑아 봤어요. 마지막 열은 그 선택이 1위를 지킨 비율이에요.

모델가성비 1위 harness통과당 비용통과율얼마나 단단한가
GLM-5.3Codex CLI$0.80357.7%단단함: 재추출의 99.6%에서 1위
GLM-5.3-FlashPi$0.22358.1%약함: 42%
DeepSeek-V4.1-FlashZCode$0.22269.0%약함: 47%. 통과당 비용이 25% 낮지만 통과율이 7.7점 낮은 OpenCode v1보다 우선
Muse Spark OpenOh My Pi$1.21258.9%비슷비슷함: 53%
Kimi-K3Alma$1.57964.1%약함: 25%. 통과당 비용이 9% 낮지만 통과율이 6.5점 낮은 Oh My Pi보다 우선
전체 모델하나로 정할 수 없어요. 비용과 통과율 프런티어에 있는 것: OpenCode v2, Pi, Codex CLI, ZCode최저: Codex CLI, $0.937최고: ZCode, 61.9%-

전체 모델 기준: harness별 통과율, 비용, 시간

다섯 모델 평균이고, harness마다 채점된 시도는 1,240회예요. 통과당 비용 순으로 정렬했어요. 비용은 Baseten 정가로 계산한 추정치이고 청구서가 아니에요. 저자들은 통과율 몇 점 차이는 동률이라고 해요. 한 모델에서 harness 하나의 95% 구간이 약 ±10점이기 때문이에요.

22개 행 중 13개만 실었어요. 모델별 결과와 나머지 harness(Cline CLI, MiniMax Code, mini-SWE-agent, Maka, Exo, DeepSeek Harness 프로필 4개)가 들어 있는 전체 표는 저장소와 원문에 있어요.

Harness통과율작업당 비용통과당 비용작업당 시간
Codex CLI61.1%$0.573$0.93726.8분
Pi57.7%$0.563$0.97631.2분
OpenCode v257.3%$0.561$0.97825.1분
Oh My Pi57.3%$0.564$0.98334.0분
ZCode61.9%$0.659$1.06335.4분
KimiCode60.2%$0.653$1.08533.7분
OpenCode v157.4%$0.646$1.12535.9분
Hermes Agent59.9%$0.692$1.15535.0분
Grok Build60.0%$0.723$1.20536.2분
Alma59.7%$0.731$1.22434.1분
GitHub Copilot CLI56.9%$0.787$1.38336.8분
Claude Code58.9%$0.915$1.55541.3분
Antigravity CLI55.0%$0.897$1.63236.8분

수치가 말해 주는 것

  • 비용은 대부분 모델이 정해요. 저자들의 분석에서 작업당 비용 분산의 92.8%는 모델이, 2.3%는 harness가 설명해요.
  • 모델을 고정해도 harness의 영향은 여전히 커요. 작업당 비용이 1.8~5.0배, 통과당 비용이 1.9~4.9배 달라졌어요. 가장 큰 차이는 DeepSeek에서 나왔어요. Cline CLI는 OpenCode v1보다 작업당 비용이 5.0배인데 통과율은 2.0점 높을 뿐이었어요.
  • 더 많이 낸다고 통과율이 높아지지 않아요. 모델별로 작업당 비용과 통과율의 순위 상관은 −0.39에서 +0.22 사이였어요.
  • 비용을 예측하는 건 단계 수이고, 크기가 아니에요. 통과당 단계 수는 통과당 비용과 같이 움직였어요(+0.51). 시작 토큰, 도구 수, 캐시 적중률은 그렇지 않았어요. 가장 작은 harness인 mini-SWE-agent는 작업당 비용에서 22개 중 19위였어요.
  • 돈은 대부분 실패하는 실행에 들어가요. 지출의 64.5%가 통과하지 못한 시도에 쓰였어요. 실패가 52.7%, 타임아웃이 11.8%예요. 가성비 상위 harness 5종에서는 실패한 실행의 68%(Pi)에서 82%(Codex CLI)가 제한 시간이 아니라 자신 있는 최종 답변으로 끝났어요.
  • 통과율은 서로 가까워요. 전체 모델 기준으로 50.6%(Exo)에서 61.9%(ZCode) 사이이고, 대부분의 harness가 몇 점 안에 모여 있어요. 저자들은 이를 동률로 봐요.
  • 가성비 상위 harness 5종에는 공통점이 있어요. 일을 대부분 하는 셸 도구 하나, 늘어나기만 하는 컨텍스트, 서브에이전트 없음, 요약은 거의 없음이에요. 저자들은 이것을 검증이 아니라 관찰이라고 해요.

이 평가에서의 Claude Code와 Codex

둘 다 여기서는 Baseten의 오픈 웨이트 모델과만 돌렸고, Anthropic이나 OpenAI의 자체 모델과는 돌리지 않았어요. 결과를 그 점을 감안해서 읽어 주세요.

  • Codex CLI(0.164.0)는 전체 모델 기준 통과당 비용이 $0.937로 가장 낮았고 통과율도 61.1%로 최상위권이었어요. 통과율이 높은 그룹에서 작업당 26.8분으로 가장 빨랐어요. GLM-5.3에서는 저자들의 가성비 1위였고 재추출의 99.6%에서 유지됐어요.
  • Claude Code(2.1.308)는 작업의 58.9%를 통과해 중간 정도였지만, 이 모델들과는 느리고 통과당 비용이 컸어요. 통과당 비용은 $1.555로 Antigravity CLI 다음으로 두 번째로 높았고, 작업당 시간은 41.3분으로 가장 길었으며, 타임아웃 비율은 14.2%로 두 번째로 높았어요.
  • 가장 비싼 조합은 Muse Spark Open과의 조합이었어요. 통과당 $3.753으로 harness와 모델 조합 110칸 중 가장 높았어요.
  • DeepSeek-V4.1-Flash에서는 Claude Code가 잘했어요. 68.1%로 그 모델에서 ZCode의 69.0% 다음 2위였고, 통과당 비용은 $0.285였어요.

이 평가가 알려 주지 않는 것

  • 클로즈드 모델에 대해서는 아무것도 알려 주지 않아요. v1.1은 오픈 웨이트 모델만 테스트했어요. Claude Opus나 Fable, GPT, Gemini 모델 결과가 없고, 순위가 그 모델들에도 그대로 적용된다고 볼 수 없어요. 저자들은 Opus 5.5, GPT-6 Astra, Gemini 4 Carbon을 앞으로의 과제로 꼽았어요. 그 모델들은 GPT-6.2 vs Claude를 보세요.
  • 빠진 harness도 있어요. Cursor, Gemini CLI, Droid 등이에요.
  • 비용은 추정치예요. Baseten 정가에 제공자가 보고한 토큰 수를 곱한 값이에요. 비용 순위는 Baseten의 캐싱과 가격에 좌우되고, 저자들도 그렇게 말해요. 다른 제공자나 요금제에서는 청구액이 다를 수 있어요.
  • 만든 곳이 직접 돌렸어요. 모든 실행이 Runta 자체 런타임에서 이뤄졌고, Runta 창업자가 Hacker News 스레드에서 그렇게 밝혔어요. 데이터와 코드가 공개돼 있어서 다른 사람이 확인할 수 있어요.
  • 작은 차이는 잡음이에요. 한 모델에서 harness 하나의 구간이 약 ±10점이라서, 표에 보이는 통과율 차이는 대부분 동률이에요.
  • 한 가지 종류의 작업뿐이에요. 62개 작업은 모두 명령줄 작업이고, 매번 새로 만든 단명 런타임에서 harness 기본 설정으로 돌렸어요. 여러분의 저장소, 프롬프트, 설정에서는 다른 harness가 유리할 수 있어요.

팀에서 이 결과를 읽는 법

  • 모델을 먼저 고르세요. 비용 대부분을 모델이 정해요.
  • 모델을 바꿀 때는 harness도 다시 테스트하세요. 저자들도 harness를 같이 바꿀 생각을 해 보라고 조언해요.
  • 전체 평균이 아니라 모델별 추천을 쓰고, 그 추천이 얼마나 단단한지 확인하세요. GLM-5.3의 Codex CLI는 유지됐지만, GLM-5.3-Flash, DeepSeek, Kimi-K3의 추천은 자주 뒤집혔어요.
  • 작업당 비용이 아니라 통과당 비용을 비교하세요. 싸게 돌고 실패한 실행도 돈이 들어요.
  • 직접 작업으로 돌려 보세요. 저자들은 후보를 테스트할 비공개 작업 세트를 직접 만들라고 권해요. 어떤 공개 표보다 많은 걸 알려 줘요.
  • 단계 수와 실패한 실행을 보세요. 단계가 적은 harness가 비용도 적게 들고, 에이전트가 멈추기 전에 결과를 확인하게 하면 실패에 나가는 비용 일부를 아낄 수 있어요. 마지막 아이디어는 저자들이 테스트하지 않았어요.
Crewmark와 함께

내 작업에서 harness와 모델 조합 비교하기

FrontierHarness Eval은 에이전트 harness를 하나씩 측정해요. Crewmark는 에이전트 팀을 위한 harness예요. AI 직원 한 명 한 명이 역할, 목표, 근무 시간, 하트비트를 가진 독립된 코딩 에이전트 세션이에요. 그래서 다른 harness와 모델 조합을 한 보드에서 나란히 돌려 보고, 어느 쪽이 내 작업을 끝내는지 볼 수 있어요.

  1. 다른 harness의 직원을 추가하세요

    Claude Code와 Codex 직원은 기본으로 실행돼요. OpenCode와 DeepSeek Harness 같은 다른 에이전트는 내 컴퓨터에서 ACP(acpx 경유)로 연결해요. 선택지는 Claude Code vs Codex와 OpenCode 대안에서 볼 수 있어요.

  2. 같은 종류의 일을 맡기세요

    AI 소프트웨어 엔지니어 같은 역할을 모두에게 주고, 백로그에서 비슷한 작업을 배정하세요.

  3. 보드에서 비교하세요

    각 직원은 하트비트에 맞춰 깨어나 자기 작업을 처리하고 상태를 최신으로 유지해요. 각자 어떤 작업을 끝냈는지, 내 제공자나 요금제에서 비용이 얼마였는지 확인하세요.

자주 묻는 질문

FrontierHarness Eval이 뭔가요?

코딩 에이전트 harness를 같은 명령줄 작업 62개에 돌려 통과율, 비용, 시간을 비교하는 벤치마크예요. 버전 1.1은 오픈 웨이트 모델 5개에서 harness 구성 22개를 테스트했고, 실행은 모두 27,280회예요.

FrontierHarness Eval은 누가 만들었나요?

AI 에이전트용 런타임을 만드는 회사 Runta예요. 모든 실행이 Runta 자체 런타임에서 이뤄졌고, 창업자가 Hacker News에서 이를 밝혔어요. Baseten이 모델을 서빙했고, 리더보드에는 Z.ai가 후원사로 올라 있어요.

어떤 에이전트 harness가 가장 좋나요?

저자들은 전체 1위를 하나로 꼽지 않아요. 모델별 가성비 1위를 꼽아요. GLM-5.3은 Codex CLI, GLM-5.3-Flash는 Pi, DeepSeek-V4.1-Flash는 ZCode, Muse Spark Open은 Oh My Pi, Kimi-K3는 Alma예요. 작업을 다시 뽑아 봤을 때 확실히 유지된 건 Codex CLI 선택뿐이었어요. 전체 모델 기준으로는 Codex CLI가 통과당 비용이 가장 낮고 ZCode가 통과율이 가장 높아요.

FrontierHarness Eval에 Claude나 GPT 모델도 들어 있나요?

아니요. v1.1은 오픈 웨이트 모델만 테스트했어요. GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash, Muse Spark Open, Kimi-K3예요. Claude Code와 Codex CLI는 harness로 테스트했지만 그 모델들과만 돌렸어요. 저자들은 Opus 5.5, GPT-6 Astra, Gemini 4 Carbon을 앞으로의 과제로 꼽아요.

FrontierHarness Eval은 오픈소스인가요? 데이터는 어디 있나요?

코드와 데이터셋 매니페스트는 GitHub의 frontier-harness-eval/eval 저장소 release/v1.1 브랜치에 있고, 작업은 Harbor Hub에 공개돼 있어요. 저장소와 데이터 모두 라이선스가 명시돼 있지 않아요.

에이전트 harness가 뭔가요?

모델을 실제로 일하는 에이전트로 만들어 주는 주변 소프트웨어예요. 루프, 도구, 컨텍스트, 권한이 여기에 들어가요. Claude Code, Codex CLI, OpenCode가 harness예요. FrontierHarness Eval은 모델을 고정하고 harness를 바꿔 가며 결과가 얼마나 달라지는지 봐요.

FrontierHarness Eval을 돌리는 데 비용이 얼마나 들었나요?

저자들은 총액을 밝히지 않아요. 실행 27,280회에 토큰 83B를 썼다고 하고, 작업당 비용은 Baseten 정가로 추정해 harness와 모델에 따라 약 $0.11에서 $1.98 사이라고 해요.

2026년 11월 18일에 Runta의 v1.1 글, eval 저장소(release/v1.1), 리더보드와 대조해 확인했어요.

harness를 팀으로 돌리세요.

Crewmark는 Claude Code, Codex 같은 코딩 에이전트 세션을 역할, 목표, 근무 시간, 하트비트가 있는 AI 직원으로 만들어 줘요.