하네스 배선 두 가닥이 같은 모델의 완전 해결을 43건에서 72건으로 올렸습니다

완전 해결 43건이 72건이 됐습니다. 모델은 그대로, 과제도 그대로예요. 바꾼 건 컨텍스트 압축과 정체 감지, 하네스 배선 두 가닥뿐입니다.

8월 26일 arXiv에 오른 논문 "Same Model, Different Harness: Different Coding-Agent Results"의 실측입니다. 시드니 루이스 팀이 썼고, 처리 코드 Yuj는 깃허브에 전부 공개돼 있어요.

하네스가 성적을 바꾼다는 증거는 앞서 두 번 있었습니다. 구글 팀의 Harness Engineering 문서, 그리고 팩토리AI의 완료 판정 연구. 이번엔 동료심사용 논문에 오픈소스 레포까지 얹은 세 번째 증거입니다.

하네스 배선 두 가닥은 무엇을 바꿨나요?

비교 설계가 깔끔합니다. 같은 모델, 같은 과제에서 하네스 설정만 바꿔 붙였어요.

대조군은 전체 대화를 시간순 그대로 모델에 공급합니다. 대부분의 에이전트가 기본으로 하는 방식이에요. 처리군은 컨텍스트가 차면 오래된 툴 출력부터 기계적으로 압축합니다.

전체 대화 공급 방식의 약점은 순서에 있습니다. 초반에 읽은 긴 파일 출력이 창의 앞자리를 계속 차지하고, 정작 지금 필요한 최근 맥락이 밀려나요. 처리군은 이 낡은 출력부터 접어서, 창의 자리를 현재 작업에 돌려줍니다.

여기에 배선 하나가 더 붙습니다. 정체 감지예요. 같은 실패 명령을 되풀이하거나, 편집 없이 읽기만 반복하는 상태를 맴돌기로 판정하고 대응합니다.

에이전트를 돌려본 사람이라면 이 장면을 압니다. 무너지는 순간은 요란한 오류가 아니라 조용한 공회전이거든요. 같은 grep을 세 번 돌리고, 같은 파일을 네 번 열고, 아무것도 고치지 않는 그 시간이요.

이 논문은 그 공회전을 기계로 잡아내는 감지기를 하네스에 박은 겁니다.

좁은 창에서 격차는 얼마나 벌어졌나요?

조건은 일부러 빡빡하게 잡았습니다. 20,480토큰 창, 과제당 480초 제한, SWE-bench Verified 169과제.

좁은 창과 짧은 제한 시간은 약점이 드러나는 조건이에요. 창이 좁을수록 낡은 출력이 자리를 잡아먹는 비용이 커지고, 시간이 짧을수록 공회전 한 번이 치명적입니다.

이 조건에서 격차가 벌어졌어요. 과제당 F2PF 평균이 28%에서 49%로 올랐습니다. 완전 해결은 43건에서 72건. 29개 과제가 배선 두 가닥으로 갈린 겁니다.

더 눈에 걸리는 건 이식성입니다. 모델별 재튜닝 없이, 동결한 같은 처리를 설계가 다른 모델 3종에 그대로 얹었는데 두 지표가 다 올랐어요. 특정 모델의 버릇에 맞춘 재주가 아니라, 모델을 가리지 않는 배선이라는 뜻입니다.

창이 넓어지면 이 배선은 쓸모없나요?

논문은 한계도 정직하게 적었습니다.

컨텍스트 창이 넓은 Qwen3.6에서는 Verified와 Pro의 격차가 줄었어요. FeatureBench에서는 처리군 우위가 유지됐지만, 유의성은 불안정했습니다. 창이 넉넉하면 압축의 절박함이 줄어드는 건 당연한 결과예요.

대신 다른 이득이 남습니다. 넓은 창에서도 턴당 프롬프트 토큰이 줄었어요. 성능이 같아도 매 턴 모델에 밀어 넣는 토큰이 줄면, 그건 그대로 비용 절감입니다.

모든 상황에서 이기는 만병통치약은 아니라는 뜻이에요. 이 정직함이 오히려 수치의 신뢰를 받칩니다.

독자 입장에서 대입해보면 이렇게 갈립니다. 값싼 모델이나 로컬 모델처럼 창이 좁은 환경을 쓴다면, 이 배선은 성능 자체를 바꿉니다. 프런티어 모델의 넓은 창을 쓴다면, 성능보다는 청구서가 바뀌는 쪽이에요.

왜 세 번째 증거라고 부르나요?

앞선 흐름 위에 놓으면 위치가 보입니다.

구글 팀의 문서는 같은 소넷, 같은 벤치마크에서 하네스만 바꿔 성능이 갈리는 걸 보여줬습니다. 팩토리AI는 완료 판정을 모델 밖으로 꺼냈더니 전 모델의 장기 과제 성능이 올랐다고 발표했어요. 그리고 이번 논문이 벤치마크 수치와 공개 코드로 같은 결론을 못 박습니다.

세 증거의 결이 조금씩 다릅니다. 구글은 사내 문서로, 팩토리는 제품 발표로 말했어요. 이번 건은 조건·수치·코드가 전부 공개된 형태라, 누구든 자기 하네스에 같은 배선을 얹어 재현할 수 있습니다.

논문의 결론 문장이 이 흐름의 종착지예요. 코딩 에이전트 평가는 모델과 하네스를 한 몸, 하나의 solver로 봐야 한다. 리더보드의 점수가 모델의 점수가 아니라 모델+하네스 조합의 점수라는 얘기입니다. 같은 모델을 쓰고도 남과 다른 결과를 내는 이유가, 이제 벤치마크 숫자로 설명되는 겁니다.

확산은 아직 초입입니다. 중국어 소개 트윗 하나가 이미지 세 장과 함께 올라온 정도예요. 구글 문서 정리 트윗이 조회 27만을 찍었던 걸 생각하면, 이 논문의 확산 곡선은 이제 시작점에 있습니다. 담론이 트윗 논쟁에서 사내 문서로, 제품 발표로, 검증 가능한 논문으로 단단해지는 순서 자체가 이 분야의 성숙 과정이에요.

남는 생각

저는 43에서 72라는 폭보다, 그 폭을 만든 재료의 시시함이 이 논문의 진짜 뉴스라고 봅니다.

낡은 툴 출력 압축, 맴돌기 감지. 새 아키텍처도, 새 학습법도 아니에요. 오후 한나절이면 떠올릴 법한 배선 두 가닥입니다. 그 시시한 배선이 과제 29건을 갈랐어요.

모델을 갈아타는 건 비쌉니다. 배선을 고치는 건 쌉니다. 그런데 성적표에 미치는 힘은 배선 쪽이 이만큼 크다는 게 세 번에 걸쳐 실측됐어요. 게다가 이번 배선은 동결한 그대로 모델 3종에 통했으니, 한 번 고치면 다음 모델에서도 쓰는 자산이 됩니다.

에이전트 성능이 아쉬울 때 모델 탓부터 하던 습관을, 저부터 고치는 중입니다. 청구서와 성적표를 함께 바꾸는 지렛대는 지금 하네스 쪽에 있습니다.

---

원문·소스

• 논문 arXiv 2608.26218 (Sydney Lewis 외): https://arxiv.org/abs/2608.26218
• 처리 코드 Yuj 레포: https://github.com/sydches/yuj
• 중국어 소개 트윗 (@vintcessun): 초기 발굴분 (조회 두 자릿수)