하네스 배선 두 가닥이 같은 모델의 완전 해결을 43건에서 72건으로 올렸습니다

연구팀은 같은 모델로 완전 해결을 43건에서 72건까지 늘렸습니다. 모델은 그대로, 과제도 그대로예요. 바꾼 건 컨텍스트 압축과 정체 감지, 하네스 배선 두 가닥뿐입니다.

시드니 루이스 팀이 8월 26일 arXiv에 올린 논문 "Same Model, Different Harness: Different Coding-Agent Results"의 실측입니다. 연구팀은 처리 코드 Yuj도 깃허브에 전부 공개했어요.

하네스가 성적을 바꾼다는 증거는 앞서 두 번 있었습니다. 구글 팀의 Harness Engineering 문서, 그리고 팩토리AI의 완료 판정 연구. 이번엔 연구팀이 논문과 오픈소스 레포를 같이 내놨습니다. 세 번째 증거예요.

하네스 배선 두 가닥은 무엇을 바꿨나요?

연구팀은 비교를 깔끔하게 설계했습니다. 같은 모델, 같은 과제에서 하네스 설정만 바꿨어요.

대조군은 전체 대화를 시간순 그대로 모델에 공급합니다. 대부분의 에이전트가 기본으로 하는 방식이에요. 처리군은 컨텍스트가 차면 오래된 툴 출력부터 기계적으로 압축합니다.

전체 대화를 그대로 넣으면 순서 때문에 손해를 봅니다. 초반에 읽은 긴 파일 출력이 창 앞부분을 계속 차지하고, 정작 지금 필요한 최근 맥락이 밀려나요. 처리군은 이 낡은 출력부터 접어서, 창 공간을 현재 작업에 돌려줍니다.

연구팀은 정체 감지도 하나 더 넣었어요. 같은 실패 명령을 되풀이하거나, 편집 없이 읽기만 반복하는 상태를 맴돌기로 판정하고 대응합니다.

에이전트를 돌려본 사람이라면 이 장면을 압니다. 에이전트는 요란한 오류보다 조용한 공회전에서 더 자주 멈추거든요. 같은 grep을 세 번 돌리고, 같은 파일을 네 번 열고, 아무것도 고치지 않는 그 시간이요.

연구팀은 그 공회전을 기계로 잡아내는 감지기를 하네스에 넣었습니다.

좁은 창에서 처리군은 얼마나 앞섰나요?

연구팀은 조건을 일부러 빡빡하게 잡았습니다. 20,480토큰 창, 과제당 480초 제한, SWE-bench Verified 169과제.

약점이 잘 드러나도록 창을 좁히고 시간을 짧게 잡은 거예요. 창이 좁을수록 낡은 출력이 공간을 더 많이 잡아먹고, 시간이 짧을수록 공회전 한 번이 치명적입니다.

이 조건에서 처리군이 크게 앞섰어요. 처리군은 과제당 F2PF 평균을 28%에서 49%로 올렸습니다. 완전 해결은 43건에서 72건. 배선 두 가닥으로 과제 29개를 더 풀었습니다.

저는 이식성이 더 눈에 띄었어요. 연구팀은 모델별 재튜닝 없이, 동결한 같은 처리를 설계가 다른 모델 3종에 그대로 얹었고, 세 모델 모두 두 지표를 올렸어요. 모델을 가리지 않고 통하는 배선이라는 뜻입니다.

창이 넓어지면 이 배선은 쓸모없나요?

연구팀은 한계도 정직하게 적었습니다.

컨텍스트 창이 넓은 Qwen3.6으로 돌리자 처리군은 Verified와 Pro에서 크게 앞서지 못했어요. FeatureBench에서도 처리군이 앞섰지만 유의성은 불안정했습니다. 창이 넉넉하면 굳이 압축할 필요가 적으니까요.

대신 다른 이득을 챙겼습니다. 처리군은 넓은 창에서도 턴당 프롬프트 토큰을 줄였어요. 성능이 같아도 매 턴 모델에 밀어 넣는 토큰을 줄이면, 그만큼 비용을 아낍니다.

모든 상황에서 이기는 만병통치약은 아니라는 뜻이에요. 한계까지 적어둬서 저는 수치를 더 믿게 됐어요.

쓰는 환경에 따라 이렇게 나뉩니다. 값싼 모델이나 로컬 모델처럼 창이 좁은 환경을 쓴다면, 이 배선으로 성능 자체를 끌어올릴 수 있습니다. 프런티어 모델의 넓은 창을 쓴다면, 성능보다는 비용을 줄이는 쪽이에요.

왜 세 번째 증거라고 부르나요?

앞선 흐름 위에 놓으면 위치가 보입니다.

구글 팀은 문서에서 같은 소넷, 같은 벤치마크로 하네스만 바꿔도 성능을 바꿀 수 있다고 보여줬습니다. 팩토리AI는 완료 판정을 모델 밖으로 꺼내 모든 모델의 장기 과제 성능을 올렸다고 발표했어요. 이번엔 연구팀이 벤치마크 수치와 공개 코드로 같은 결론을 확인했습니다.

세 팀은 조금씩 다른 형식을 골랐습니다. 구글은 사내 문서로, 팩토리는 제품 발표로 말했어요. 이번 연구팀은 조건·수치·코드를 전부 공개해서, 누구든 자기 하네스에 같은 배선을 얹어 재현할 수 있습니다.

연구팀은 결론을 이렇게 적었어요. 코딩 에이전트 평가는 모델과 하네스를 한 몸, 하나의 solver로 봐야 한다. 리더보드 점수는 모델과 하네스를 합친 점수라는 얘기입니다. 같은 모델을 쓰고도 남과 다른 결과를 내는 이유를 이제 벤치마크 숫자로 설명할 수 있어요.

사람들은 이 논문을 아직 잘 모릅니다. 중국어 소개 트윗 하나가 이미지 세 장과 함께 올라온 정도예요. 구글 문서를 정리한 트윗을 사람들이 27만 번 봤던 걸 생각하면, 이 논문은 이제 막 알려지기 시작했습니다.

남는 생각

저는 43에서 72라는 폭보다, 연구팀이 아주 시시한 재료로 그 폭을 만들었다는 점이 더 놀라웠어요.

낡은 툴 출력 압축, 맴돌기 감지. 새 아키텍처도, 새 학습법도 아니에요. 오후 한나절이면 떠올릴 법한 배선 두 가닥입니다. 연구팀은 그 시시한 배선으로 과제 29건을 더 풀었어요.

모델을 갈아타기보다 배선을 고치는 쪽이 훨씬 쌉니다. 그리고 세 팀 모두 배선만 고쳐도 성적을 이만큼 바꿀 수 있다고 실측했어요. 게다가 연구팀은 동결한 배선 그대로 모델 3종에서 효과를 봤으니, 한 번 고치면 다음 모델에서도 쓰는 자산이 됩니다.

에이전트 성능이 아쉬울 때 모델 탓부터 하던 습관을, 저부터 고치는 중입니다. 비용과 성적을 같이 바꾸는 지렛대는 지금 하네스 쪽에 있다고 봅니다.

---