AI 코딩 도구를 고를 때 논쟁은 늘 모델에서 멈춘다. 소네트냐, GPT냐, Kimi냐. 자동차로 치면 엔진 배기량만 놓고 차를 고르는 셈이다. 같은 엔진을 얹어도 연비는 차체와 변속기에서 갈리는데도 그렇다.
모델을 Kimi K3 하나로 고정하고 껍데기만 여덟 개로 바꿔 돌린 벤치마크가 나왔다. 같은 태스크 묶음을 처리하는 데 든 API 비용은 $9.28에서 $35.37까지 벌어졌다. 가장 비싼 쪽이 Claude Code였다.
숫자를 순서대로 놓고, 그 숫자를 어디까지 믿어도 되는지까지 정리했다. 토큰과 비용, 통과율, 설계 해부, 방법론 한계 순서로 간다.
1. 엔진은 같았고, 주유비만 $9.28과 $35.37로 갈렸다
용어부터 맞춘다. 모델이 엔진이라면 하네스는 차체와 변속기다. 토큰은 연료, API 비용은 주유비, 런타임은 랩타임에 해당한다.
측정한 쪽은 Composio다. MCP 도구 인프라를 파는 회사이고, 벤치마크 태스크도 MCP 기반으로 짰다. 자사 이해가 걸린 판에서 잰 기록이라는 사실을 먼저 깔고 읽어야 한다.
숫자를 퍼뜨린 쪽은 측정 주체가 아니라 벤치마크를 인용한 개발자였다.
"하네스가 해자다(the harness is the moat)."
Aarno(@TheGlobalMinima)의 주장이다. 다만 그는 Pi 사용자이자 옹호자다. 중립 리뷰어의 판정이 아니라 한쪽 진영의 명제로 읽는 편이 안전하다.
벤치마크 조건은 단순하다. 모델은 Kimi K3 한 종, 전부 OpenRouter 경유, 하네스만 여덟 개로 교체했다. 태스크는 비즈니스 앱 워크플로 25개다. 코딩 벤치마크가 아니다. 그래서 아래 표는 어느 코딩 도구가 더 똑똑한가의 순위가 아니라, 같은 엔진을 물렸을 때 어느 껍데기가 연료를 더 흘리는가의 기록에 가깝다.
| 하네스 | 토큰 | 총 API 비용 |
|---|---|---|
| Pi Agent | 7.59M | $9.65 |
| Codex | 9.19M | $11.28 |
| OpenCode | 9.50M | $12.29 |
| Oh My Pi | 9.65M | $10.93 |
| Hermes Agent | 10.09M | $9.28 |
| Grok Build | 12.62M | $11.87 |
| Claude Code | 15.09M | $35.37 |
| Kimi Code | 15.27M | $12.87 |
토큰과 비용은 24개 태스크 기준. Composio 측정치.
속도 순서도 양 끝에서는 연료 순서와 겹쳤다. 중앙값 런타임 최단은 Pi Agent 156.2초, 최장은 Claude Code 330.5초다. 중간 순위까지 나란히 가지는 않았다. 엔진도 과제도 같았는데 태운 연료량은 차체에 따라 갈렸다. 성능 격차라기보다 낭비 구조의 격차다.
연료 소비만 놓고 하네스를 고르면 답은 이미 나온 듯 보인다. 통과율 표를 얹으면 그림이 뒤집힌다.
연료를 가장 적게 쓴 차가 레이스에서도 1등일까.
2. 토큰을 가장 적게 쓴 하네스는 통과율에서 공동 5위였다
싼 쪽이 좋은 쪽이라는 반대편 오독은 여기서 끊어야 한다. 절약 순위와 결과 순위는 겹치지 않았다.
| 하네스 | 통과율 | 통과 수 |
|---|---|---|
| Oh My Pi | 88% | 22/25 |
| Kimi Code | 84% | 21/25 |
| Hermes Agent | 80% | 20/25 |
| Claude Code | 76% | 19/25 |
| Pi Agent | 72% | 18/25 |
| OpenCode | 72% | 18/25 |
| Grok Build | 72% | 18/25 |
| Codex | 68% | 17/25 |
통과율은 25개 태스크 기준. 앞의 토큰·비용 표(24개 태스크)와 태스크 수가 다르다.
두 표는 태스크 수가 달라 한 문장에서 곱하거나 나눌 수 없다. 따로 읽어야 한다. 토큰을 가장 적게 쓴 Pi Agent의 통과율은 72%, OpenCode·Grok Build와 나란한 공동 5위다. 비용을 가장 많이 쓴 Claude Code는 통과율 76%로 4위에 올랐다. 통과율 1위 Oh My Pi는 88%를 찍었고, 토큰과 비용은 여덟 하네스의 중간 언저리에 있었다.
성공 건당 비용을 봐도 순위는 다시 흔들린다. Hermes Agent $0.46, Oh My Pi $0.52, Pi Agent $0.57, Claude Code $1.96. 토큰을 가장 아낀 Pi Agent가 성공 한 건당으로는 Oh My Pi에 밀린다.
도구 호출 수는 방향이 아예 달랐다. Pi Agent 223회, Claude Code 293회, Grok Build 402회. 호출을 많이 던진다고 더 맞히지는 않았다.
이름 때문에 자주 엉키는 대목 하나. Oh My Pi와 Pi Agent는 서로 다른 하네스다. 통과율 1위는 Oh My Pi, 토큰 최소는 Pi Agent다. 둘을 한 덩어리로 묶는 순간 "미니멀 하네스가 1등"이라는 틀린 결론이 나온다.
1위 하네스는 가장 아낀 쪽이 아니었다. 균형은 설계에서 나온다.
3. 하네스는 기능 목록이 아니라 조립 규칙이다
하네스를 기능 체크리스트로 보면 차이가 잡히지 않는다. 다섯 층의 조립 규칙으로 뜯어야 갈리는 지점이 드러난다. 가운데 모델이 앉고, 그 둘레를 다섯 층이 감싸는 구조다.
- 맥락 주입 — 프롬프트, 메모리, 스킬
- 제어 — 압축, 오케스트레이션, ralph 루프
- 행동 — 배시, 도구, MCP
- 영속 — 파일 시스템, 깃, 진행 기록 파일
- 관측과 검증 — 브라우저 스크린샷, 테스트 결과, 로그
같은 다섯 층이라도 채우는 방식은 갈린다. 층마다 무엇을 얼마나 컨텍스트에 밀어 넣느냐에 따라 태우는 연료량이 달라진다. 다수의 하네스는 다섯 층을 통째로 내장한다.
Pi는 반대로 간다. 최소한만 남기고 나머지는 익스텐션과 스킬로 갈아 끼운다. MCP 서버 연결은 pi-mcp-adapter, 웹 브라우징은 pi-web-access, 코드베이스 지식 그래프는 graphify-pi가 맡는다. 세션 요약은 session-recap, 계획 검증은 grill-me, 스킬 제작은 skill-creator 몫이다.
오케스트레이션 층에는 Herdr가 들어간다. 제품 소개 문구는 이렇다.
"에이전트를 염두에 두고 만든 터미널 멀티플렉서(a terminal multiplexer specifically built with agents in mind)."
제품 측 서술이라 그대로 받을 말은 아니다. 내세우는 바는 영속 세션과 워크스페이스 관리, 그리고 백그라운드 서브프로세스 없는 에이전트 오케스트레이션이다. tmux나 screen이 사람용 다중 창이라면, Herdr는 에이전트용 다중 창을 표방한다.
연료 절감을 직접 겨냥한 조각이 caveman 스킬이다. 토큰 65%를 줄인다고 스킬 쪽은 표방한다. 다만 65%는 Composio 벤치마크와 무관한 별개 출처의 자체 표방치다. 앞선 표의 7.59M과 같은 자리에 놓고 더하거나 비교할 근거는 없다.
모델 공급 쪽에서는 Opencode Go를 월 $10에 구독해 DeepSeek v4-flash, v4-pro, GLM에 접근하는 구성을 쓴다. 셋업을 공유한 당사자도 Claude Pro를 함께 결제해 병용한다고 밝혔다.
설계도가 그럴듯하다고 트랙 기록까지 그대로 믿을 수는 없다.
4. 숫자는 서킷 기록이지 출퇴근 연비가 아니다
먼저 못 박을 사실 하나. 여덟 하네스를 줄 세운 태스크는 코딩 과제가 아니다. Gmail, Calendar, Sheets, GitHub, Slack, Notion, Linear, PagerDuty를 오가는 비즈니스 앱 워크플로다. 리팩터링이나 버그 추적, 대형 코드베이스 탐색 능력을 잰 기록이 아니라는 뜻이다. "코딩 성능 순위"로 옮겨 적으면 그 순간 사실 오류가 된다.
Composio가 원문에서 스스로 인정한 한계도 다섯 가지다.
| 한계 | 내용 |
|---|---|
| 단일 모델 | Kimi K3 하나로만 측정, 각 하네스의 네이티브 모델 성능 미반영 |
| 1회 실행 | 태스크당 한 번씩만 돌려 안정성과 재현성 미검증 |
| 태스크 성격 | 비즈니스 앱 MCP 과제, 코딩 벤치마크와 다름 |
| 비용 산정 | OpenRouter 리스트 가격 기반 추정치, 실제 청구와 다를 수 있음 |
| 미평가 항목 | UI, 설치 편의성 등 제품 기능 |
한계 목록에 하나를 더 얹어야 한다. 측정 주체와 이해관계다. MCP 인프라를 파는 회사가 MCP 태스크로 하네스를 줄 세웠다. 나온 순위도 자사 도구 생태계의 쓸모를 거드는 쪽이다.
원 트윗을 쓴 Aarno도 Pi 사용자이자 옹호자다. 자기 셋업을 솔직하게 공개한 맥락이지 제3자 검증이 아니다.
숫자 자체의 성격도 짚고 넘어갈 만하다. $9.28과 $35.37은 실제 청구서가 아니라 리스트 가격으로 환산한 추정치다. 태스크당 한 번씩만 돌렸으니 같은 조건에서 다시 재도 순위가 유지된다는 보장은 없다. 서킷에서 한 바퀴 돌아 나온 랩타임에 가깝다.
그럼에도 남는 결론이 하나 있다. 같은 엔진을 얹은 여덟 대의 연료 소비가 7.59M에서 15.27M까지 벌어졌다는 사실 자체는 조건과 무관하게 유효하다. 모델을 갈아타기 전에 껍데기부터 재볼 이유가 생겼다.
모델 시대의 질문: "어떤 모델이 더 똑똑한가."
하네스 시대의 질문: "같은 모델을 넣었을 때 어느 껍데기가 덜 흘리는가."
참고
- Pi·Herdr·Opencode Go 셋업을 공유한 원 트윗 — Pi 사용자 본인의 셋업 공개, 중립 리뷰 아님
- Best AI Agent Harnesses — MCP 인프라 벤더 Composio가 자사 태스크로 수행한 하네스 벤치마크
FAQ
자주 묻는 질문
- 하네스가 뭔가요?
- 모델을 감싸는 환경 전부예요. 프롬프트, 도구 연결, 컨텍스트 관리, 오케스트레이션 같은 것들이요. 같은 모델이라도 하네스에 따라 태우는 토큰과 비용이 달라져요.
- 이 벤치마크를 그대로 믿어도 되나요?
- 조심해야 해요. 측정한 곳이 MCP 인프라를 파는 Composio라서, 자사 이해가 걸린 태스크로 잰 기록이에요. 태스크당 한 번만 돌렸고, 비용도 리스트 가격 추정치예요. 다만 같은 엔진에서 연료 소비가 두 배 넘게 벌어졌다는 사실 자체는 유효해요.
- Pi Agent와 Oh My Pi는 같은 건가요?
- 아니에요, 서로 다른 하네스예요. 토큰 최소는 Pi Agent(7.59M)이고, 통과율 1위는 Oh My Pi(88%)예요. 이름이 비슷해서 자주 엉키는데, 한 덩어리로 묶으면 틀린 결론이 나와요.