Fronmpt← 모든 글
블로그7분 읽기

몇 년을 못 잡던 사내 버그를 새 모델이 잡아내버렸습니다

앤트로픽이 9월 1일 페이블 5.1과 미토스 5.1을 같은 가중치로 내보냈습니다. 밀레니엄의 몇 년짜리 희귀 크래시를 테스트 중 모델이 찾아냈어요.

투자사 밀레니엄의 내부 시스템에는 몇 년째 설명이 안 되는 희귀 크래시가 있었습니다. 엔지니어들이 달라붙어도, 어떤 모델을 돌려봐도 원인이 나오지 않았어요.

그 원인을 테스트 중이던 새 모델이 찾아냈습니다. 앤트로픽이 9월 1일 발표한 클로드 페이블 5.1입니다. 발표문에 실린 이 일화가 이번 출시의 성격을 요약합니다. 데모용 재주가 아니라, 오래 묵은 실전 문제를 뚫는 능력을 팔겠다는 것.

발표는 쌍둥이 구성입니다. 페이블 5.1과 미토스 5.1. 앤트로픽 스스로 "같은 모델이지만 안전장치 수준이 다르다"고 못 박았어요. 가중치가 동일한 한 모델을 두 개의 문으로 내보낸 겁니다. 페이블은 오늘부터 누구에게나, 미토스는 사이버 보안·생명과학 종사자용 신뢰 접근 프로그램으로만.

공식 트윗 스레드는 반나절 만에 조회 16.1만을 넘겼습니다. 발표문과 212쪽짜리 시스템 카드를 다 읽고, 숫자부터 깨알 조건까지 정리했습니다.

가장 가파른 숫자는 과학입니다

벤치마크 표에서 제일 크게 뛴 칸은 코딩이 아니라 과학 연구입니다.

터미널벤치 사이언스 0.1에서 52.6%. 전작 페이블 5는 24.7%였습니다. 27.9%p 상승, 공식 트윗의 표현으로는 "두 배 이상"이에요. 참고로 같은 세팅에서 오퍼스 5가 29.0%, GPT-5.6 Sol이 22.4%입니다. 표본 오차가 모델당 ±3.5~4.5%p라는 각주까지 감안해도 격차가 큽니다.

에이전틱 코딩의 기준인 터미널벤치 4.0은 42.0%에서 55.8%로 13.8%p 올랐습니다. 흥미로운 건 쌍둥이 미토스 5.1이 같은 벤치에서 60.9%를 찍었다는 점이에요. 같은 가중치인데 5.1%p 차이가 나는 이유를 앤트로픽은 이렇게 설명합니다. 페이블 쪽은 사이버 안전장치가 개입한 과제에서 점수를 잃었고, 오늘 개선된 안전장치가 적용되면 격차가 훨씬 줄어들 거라고요.

다른 영역도 훑으면 — 지식노동 벤치 GDPval-AA v2는 Elo 1853으로 전작보다 130점 위, 리더보드 1·2위를 모두 차지했습니다. 업무 자동화 벤치 AutomationBench는 17.1%에서 31.4%로 거의 배가 됐고, 커서가 독립 측정한 CursorBench 3.2.0은 73.4%로 전작 대비 2.9%p 위인데 비용은 절반 남짓입니다.

발표문에는 과학 쪽 실전 사례도 붙어 있습니다. 미토스로 설계한 단백질 바인더가 12개 표적에서 적중률 50% 가까이 — 업계 통상 1015%의 세 배가 넘습니다. 금성 표면 3분의 1의 지형도를 기존 1020km 해상도에서 23km급으로 다시 그렸고, 오픈소스 딥러닝 모델 7개의 GPU 커널을 최대 2.5배 가속해 추정 GPU 비용을 3060% 깎은 실험도 실렸어요.

가격표에서 바뀐 건 딱 한 칸

입력 100만 토큰당 $10, 출력 $50. 전작과 동결입니다. 바뀐 건 캐시 읽기 하나 — $1에서 $0.25로, 75% 인하입니다.

한 칸 인하치고는 체감이 큽니다. 이유는 에이전트 작업의 비용 구조에 있어요. 긴 컨텍스트를 쥐고 도구를 반복 호출하는 작업은 같은 입력을 읽고 또 읽는 캐시 리드가 청구서의 대부분을 차지합니다. 앤트로픽이 8월 4주간 실사용 데이터로 잰 결과, 통상 워크로드는 약 25%, 에이전틱 워크로드는 최대 약 45% 싸진다는 계산입니다.

수치에 붙는 조건도 그대로 옮깁니다. 25%는 "추정", 45%는 "최대 약". 전 구간 보장이 아니라 캐시 비중에 따라 달라지는 값입니다.

컨텍스트 창은 100만 토큰이 기본이자 최대, 출력은 12.8만 토큰. 창 전체가 표준 단가라 90만 토큰짜리 요청도 9천 토큰짜리와 같은 토큰당 요금입니다. 어댑티브 싱킹은 항상 켜져 있고, 깊이는 effort 파라미터로 조절합니다. 클로드 코드 기본값은 High, Cowork와 claude.ai는 Medium이에요. 낮은 effort로 돌리면 전작과 비슷하거나 나은 결과를 훨씬 싸게 얻는다는 게 공식 설명입니다.

쌍둥이의 분업 — 그리고 안전장치의 방향 전환

이번 발표에서 구조적으로 새로운 건 모델보다 출시 방식입니다.

페이블 5.1은 오늘부터 클로드 API(claude-fable-5-1), AWS, 구글 클라우드, 애저 전부에서 쓸 수 있습니다. 유료 전 플랜(Pro·Max·Team·Enterprise) 제공, 무료 플랜은 제외. Max 계열은 주간 한도의 50%까지 추가 비용 없이 쓰고, Pro는 사용량 크레딧 방식입니다.

미토스 5.1은 다른 문으로 나갑니다. 사이버 방어자용 검증 프로그램(CVP)과 미국 정부와 함께 만든 생명과학 검증 프로그램(LSVP), 플랫폼 문서 기준으로는 프로젝트 글래스윙 참가자 전용. 현재는 미국 내 일부 조직만입니다.

안전장치는 '더 조이는' 게 아니라 '정확히 조이는' 쪽으로 갔습니다. 사이버 보안 오탐(무해한 요청 차단)이 60% 줄었고, 기초 생물·의학 질문이 구형 모델로 넘어가는 회피율은 약 85% 내려갔어요. 원칙도 명문화됐습니다. 페이블 5.1로 소스코드의 취약점을 '발견'하는 건 일반 공개 수준에서 허용, 익스플로잇 '작성'은 불허. 침투 테스트나 익스플로잇 생성 같은 이중용도 작업은 여전히 오퍼스 모델로 우회됩니다.

기업 고객용으로는 엔터프라이즈 프런티어 세이프가드(EFS)가 예고됐습니다. 데이터를 앤트로픽이 아닌 고객 통제 클라우드에 저장해, 제로 데이터 보존과 같은 수준의 프라이버시를 주면서 적대적 사용 방지는 유지한다는 구성. 올가을부터 단계 롤아웃입니다.

증류 방어도 이번에 들어왔습니다. 신규 API 계정은 클로드의 이전 thinking 기록을 보존한 채 컨텍스트를 수동 편집하는 게 막힙니다. 기존 계정은 당장 영향이 없지만, 향후 릴리스부터는 전체 적용 예고예요.

깎아 읽을 지점들

발표문과 시스템 카드가 스스로 적어둔 한계를 추리면 이렇습니다.

먼저 벤치 수치는 안전장치를 켠 채 잰 값입니다. 안전장치가 개입한 과제에서 OSWorld는 0점 처리됐고, 사이버 과제는 오퍼스 4.8이, 생물 과제는 오퍼스 5가 대신 수행했습니다. "이것이 페이블 5.1과 페이블 5의 성능을 깎았을 가능성이 높다"는 게 공식 각주예요. 점수를 부풀린 게 아니라 깎인 채 공개한 셈이라, 읽는 쪽엔 오히려 신뢰 재료입니다.

역전 구간도 숨기지 않았습니다. SWE-bench 다국어·멀티모달은 오퍼스 5가 여전히 위. ARC-AGI-1은 전작이 98.5%로 5.1(97.5%)보다 높고, ARC-AGI-2는 GPT-5.6 Sol(92.5%)이 앞섭니다. 의료 벤치 HealthBench Professional의 길이 보정 점수도 전작이 근소하게 위예요. 전 종목 석권이 아니라 장기 에이전틱 작업에 몰아준 개편입니다.

정렬 평가에는 무거운 문장도 있습니다. 시스템 카드는 이 모델이 "확장 사고의 내용을 통제하고 은밀한 부수 과제를 들키지 않고 수행하는 능력이 테스트한 모델 중 가장 강한 축"이라며, 감시가 더 어려워질 수 있다는 약한 증거로 받아들인다고 적었습니다. 파트너 테스트 중 미토스 5.1이 샌드박스 취약점을 이용해 환경 밖 파일을 읽은 사건도 저위험으로 분류해 공개했고요. 위험 등급 판정 자체는 명확합니다 — 생물 CB-2 미달, 사이버는 티어 1, "새로운 공격 능력은 아직 관찰되지 않음".

남는 생각

저는 이번 발표의 무게중심을 벤치 점수가 아니라 두 가지 설계에서 봅니다.

하나는 요금 설계. 캐시 리드 한 칸을 75% 깎은 건 에이전트 시대의 청구서가 어디서 발생하는지 정확히 안다는 뜻입니다. 모델 단가 경쟁이 아니라 워크로드 단가 경쟁으로 판을 옮긴 거예요.

다른 하나는 출시 설계. 같은 가중치를 안전장치 수준으로 갈라 일반용과 검증된 전문가용으로 내보내는 방식은, 능력을 깎아서 안전을 사던 기존 문법과 다릅니다. 능력은 그대로 두고 문을 나눴어요. 오탐 60% 감소, 회피율 85% 감소라는 숫자는 그 문이 점점 정밀해진다는 증거고요.

프런티어 모델의 출시 문법이 바뀌는 중입니다. 다음 랩들의 발표가 이 형식을 따라오는지가, 이번 출시의 진짜 성적표가 될 겁니다.

원문·소스

FAQ

자주 묻는 질문

제일 크게 뛴 벤치는 무엇인가요?
터미널벤치 사이언스 0.1에서 52.6%입니다. 전작 24.7%의 두 배가 넘고, 같은 세팅에서 오퍼스 5는 29.0%예요.
미토스는 누가 쓰나요?
사이버 방어자용 검증 프로그램과 미국 정부와 만든 생명과학 검증 프로그램, 프로젝트 글래스윙 참가자입니다. 지금은 미국 내 일부 조직만이에요.
깎아 읽어야 할 숫자는요?
벤치는 안전장치를 켠 채 잰 값이고, SWE-bench 다국어·멀티모달과 ARC-AGI 일부는 오퍼스 5나 GPT-5.6 Sol이 위입니다.