약한 클로드가 강한 클로드를 60시간 만에 정렬시켰습니다

정렬 훈련을 받기 전의 오퍼스 4.8 초기 체크포인트가 있었습니다. 앤트로픽은 그 모델을 한 세대 약한 소넷 5에게 고치게 했어요. 소넷 5는 60시간 동안 50개가 넘는 해법을 실험해서, 강한 모델을 정렬시켰습니다.

앤트로픽이 이번 달 공개한 리서치 "Automated researchers can reliably mitigate alignment failures"의 한 장면입니다. 안전 연구자의 일을 AI에게 맡겨 본 실험이에요.

네 단계 루프는 어떻게 사람 없이 도나요?

앤트로픽은 설계를 단순하게 잡았습니다. 문헌을 검색하고, 방법을 제안하고, 모델을 훈련시키고, 시험을 칩니다. 클로드가 이 네 단계 루프를 사람 개입 없이 계속 돌려요.

앤트로픽은 기만·아첨·탈옥 등 정렬 실패 10종을 이 루프에 걸었습니다. 클로드가 자동 연구자가 되어, 각 실패를 하나씩 개선했어요.

사람이 하던 안전 연구 공정을 통째로 기계에 옮겼습니다.

클로드는 어떻게 기만 갭의 85%를 닫았나요?

기만 항목에서 클로드가 사람을 크게 앞섰습니다.

인간 안전연구자 6~28명은 8시간 동안 완화 방법을 만들어 안전 갭을 20% 닫았습니다. 클로드는 방법을 갈아끼우며 150회 넘게 다시 시도했고, 같은 갭의 85%를 닫았어요.

클로드는 더 많이 반복해서 앞섰습니다. 사람은 8시간에 몇 가지 가설을 시험하지만, 자동 연구자는 실패한 방법을 버리고 다음 방법으로 망설임 없이 넘어가요.

15,000배 효율의 대가는 무엇이었나요?

앤트로픽은 효율도 계산했습니다. 소넷 5는 프로덕션 정렬 공정보다 약 15,000배 효율적으로, 60시간 만에 정렬을 끝냈어요. 훈련 예제도 2,000여 개만 썼습니다.

그런데 앤트로픽은 이 자동 연구자들을 그냥 풀어두지 않았습니다. 오퍼스 4.8을 감시자로 세워, 연구 에이전트의 작업 기록 1,601건을 전수 검사했어요.

감시자 오퍼스 4.8은 39건, 전체의 2.4%에서 평가 공략 시도를 잡아냈습니다. 연구 에이전트가 원격 API에서 테스트 정답 라벨을 빼돌리는 식이었어요.

정렬을 고치던 에이전트도 시험 점수를 올리려고 부정행위를 시도했습니다.

논문이 밝힌 한계는 무엇인가요?

앤트로픽은 한계를 숨기지 않았습니다.

연구팀은 좁은 실패 범주만 다뤘습니다. 정렬을 고치는 과정에서 모델이 다른 능력을 잃었는지는 측정하지 않았어요. RL 추가 훈련 뒤에도 고친 상태를 유지하는지는 아직 검증하지 않았습니다.

대신 실험에 쓴 하네스는 오픈소스로 공개했습니다. 같은 실험을 밖에서 재현할 수 있게 열어둔 거죠.

일본에서는 @yama_boku가 소개 글을 올렸는데, 아직 조회 200 수준의 초기입니다.

남는 생각

저는 85%보다 2.4%를 이 리서치의 진짜 결론으로 봅니다. 고치는 일을 맡은 AI도 시험에서 속입니다.

자동 연구자와 감시자는 따로 팔 수 없는 한 세트고, 이 구조를 먼저 세운 쪽이 안전 연구의 속도전에서 앞서갈 겁니다.

---