완료의 정의를 줬더니 모든 프런티어 모델이 좋아졌습니다

팩토리AI가 새 연구를 트윗 하나로 발표했습니다. "세계에서 가장 진보한 프로그램 역엔지니어링 시스템을 만들었다"는 문장으로 시작하는 발표예요.

발표 자체는 조용했습니다. 영상 하나가 붙어 있을 뿐이에요.

그런데 문장을 뜯어 읽으면 조용히 지나갈 내용이 아닙니다. 에이전트에게 "완료의 독립적 정의(independent definition of done)"를 줬더니, 테스트한 모든 프런티어 모델의 장기 과제 성능이 올랐다는 주장이거든요.

팩토리AI가 무엇을 발표했나요?

원문을 그대로 옮기면 이렇습니다. "우리는 세계에서 가장 진보한 프로그램 역엔지니어링 시스템을 만들었다. 이 시스템은 모델 독립적이며, 에이전트에게 완료의 독립적 정의를 줌으로써 장기 소프트웨어 과제에서 우리가 테스트한 모든 프런티어 모델의 성능 개선을 보여줬다."

주장을 쪼개면 세 가지입니다. 첫째, 프로그램을 역엔지니어링하는 시스템을 만들었다. 둘째, 이 시스템은 특정 모델 전용이 아니다.

셋째, 테스트한 모든 프런티어 모델에서 장기 과제 성능이 올랐다. 세 문장 중 가장 무거운 건 셋째입니다. "일부 모델에서"도 "평균적으로"도 아니고, 테스트한 전 모델이 개선됐다는 주장이에요.

왜 모델 불문 개선이 무거운 주장인가요?

특정 모델에서만 성능이 올랐다면, 그건 그 모델의 특성에 맞춘 튜닝 이야기입니다. 모든 모델에서 올랐다면, 이야기가 달라져요. 성능을 막고 있던 병목이 모델 안이 아니라 모델 밖에 있었다는 뜻이 됩니다.

팩토리AI가 지목한 그 병목이 완료 판정입니다. 에이전트가 일을 못 해서가 아니라, 일이 끝났는지를 판단할 독립적 기준이 없어서 장기 과제가 무너진다는 진단이에요.

장기 과제일수록 이 문제는 커집니다. 단계가 길어질수록 "여기까지 하면 된 건가"를 판단할 지점이 늘어나요. 판단이 하나만 어긋나도, 이후 작업 전체가 어긋난 기준 위에 쌓입니다.

완료의 독립적 정의란 무엇인가요?

"독립적"이라는 단어를 저는 이렇게 읽습니다. 에이전트가 스스로 완료를 선언하게 두지 않는다는 것. 완료의 기준을 에이전트 바깥에 세워두고, 에이전트는 그 기준을 향해 일하게 한다는 것.

수험생이 자기 답안을 자기가 채점하면 점수는 후해집니다. 에이전트도 같아요. "다 된 것 같다"는 모델의 자체 판단은 장기 과제에서 가장 먼저 무너지는 지점입니다.

역엔지니어링 시스템이 여기서 등장합니다. 프로그램을 역엔지니어링해 얻은 구조가 "완성이란 무엇인가"의 독립적 기준이 되어주는 구도로 저는 읽어요. 다만 원문 트윗이 시스템 내부를 공개한 건 아니라서, 구체 구현은 후속 자료로 확인해야 합니다.

원문보다 인용이 왜 더 멀리 갔나요?

이 발표를 인용하며 X 아티클을 단 글이 조회 10만을 넘겼어요. 원문 트윗의 성적을 훌쩍 넘어선 겁니다.

발표문 자체보다 풀이 쪽으로 사람이 몰렸다는 뜻이고, 이 연구가 해설을 부르는 주제라는 방증이에요. 인용 글의 전문은 아직 회수하지 못했습니다. 여기 쓴 건 조회수까지입니다.

남는 생각

저는 이 발표를 검증 루프 연구의 공식화로 읽습니다.

계속 추적해온 축이 있습니다. 에이전트는 실행력이 아니라 완료 판정에서 무너진다는 것. 검증 루프를 세우고 승인선을 긋는 쪽이 결과물을 가져간다는 것.

현장에서 경험칙으로 굴러다니던 이 이야기를, 팩토리AI는 "테스트한 모든 프런티어 모델에서 개선"이라는 실험 결과로 내놨습니다. 경험칙이 연구가 되는 순간이에요.

다음 경쟁의 자리도 여기서 보입니다. 모델은 갈아 끼우면 됩니다. 모델 불문이니까요. 갈아 끼울 수 없는 건 완료를 정의하는 체계 쪽입니다. 저는 에이전트 시대의 해자가 모델이 아니라 이 판정 체계에 생길 거라고 봅니다.

---

원문·소스

• 팩토리AI 연구 발표 트윗 (@FactoryAI): https://x.com/FactoryAI/status/2093077744292884896 (조회 6만 6천, 좋아요 671, 리트윗 59)