
목차앞 턴을 고치면 추론을 꺼낼 수 있었습니다
페이블 5.1 발표 스레드에서 벤치마크와 가격 다음, 여섯 번째 트윗에 이런 문장이 있습니다.
"증류 공격의 흔한 기법은 모델의 사고 연쇄(chain of thought)를 추출하는 것이다. 이 공격을 더 어렵게 만들기 위해 Messages API에 변경을 도입한다. 멀티턴 대화에서 클로드의 thinking 블록 앞에 오는 컨텍스트를 편집하는 것은 더 이상 불가능하다."
발표 스레드 첫 트윗은 조회 6만을 넘겼고, 이 여섯 번째 트윗은 5천 회 남짓이었어요. 대부분 그냥 지나친 항목이죠. 그런데 헬프센터 문서와 플랫폼 문서를 뜯어보면, 앤트로픽은 이 변경으로 프런티어 API의 설계 문법을 바꿉니다. 이름은 'preserved thinking'이에요.
앞 턴을 고치면 추론을 꺼낼 수 있었습니다
배경 지식 두 개가 필요합니다.
첫째, thinking 블록. 클로드가 응답을 만들며 수행하는 추론의 기록입니다. API에서는 멀티턴 대화를 이어갈 때 이 블록을 시스템 프롬프트, 도구, 이전 메시지와 함께 매 요청마다 되돌려보내는 구조예요.
둘째, 이 추론은 암호화돼 있습니다. 앤트로픽은 추론 원문이 밖으로 새지 않도록 thinking 블록을 암호화해서 내보냅니다.
구멍은 그 사이에 있었습니다. 헬프센터 문장을 그대로 옮기면 이렇습니다. "thinking 블록 앞의 대화를 편집하면, 사용자는 클로드가 자기 추론을 복호화해 출력하게 만들 수 있었다." 앞 턴의 지시문을 바꿔치기한 채 암호화된 블록을 돌려보내는 방식으로, 금고 안의 사고 과정을 끄집어내는 겁니다.
왜 문제일까요? 그렇게 추출한 사고 연쇄로 다른 모델을 학습시키는 게 무단 증류(illicit distillation)입니다. 앤트로픽 설명에 따르면 증류하는 쪽은 "종종 공장 돌리듯 가짜 계정 수천 개를 동원"하고, 그렇게 "능력은 물려받되, 사이버 공격과 무기 개발 같은 광범위한 오용을 막기 위해 구축한 안전장치는 물려받지 않은" 시스템을 만듭니다. 앤트로픽은 앞 턴 편집을 이 캠페인의 "흔한 기법"이라고 명시했어요.
서명으로 대화에 묶습니다
새 메커니즘의 이름만 봐도 내용을 짐작할 수 있어요. 보존된 사고(preserved thinking)입니다. thinking 블록을 그 블록이 나온 대화에 묶어요.
페이블 5.1은 thinking 블록에 서명(signature)을 찍습니다. 블록을 돌려보내면 API가 이 서명으로 두 가지를 검사해요. 이전 대화가 바뀌지 않았는지, 그리고 현재 모델이 이 블록을 읽을 자격이 있는지.
검사는 세 항목입니다.
하나, 모델. 블록은 그걸 만든 모델과 그보다 최신 모델만 읽을 수 있습니다. 페이블 5.1은 오퍼스 5, 페이블 5 등 이전 모델의 블록을 읽지만, 역방향은 안 됩니다. 구모델은 5.1의 블록을 못 읽어요. 고급 모델의 추론을 안전장치가 약한 저능력 모델로 흘려보내는 경로를 끊는 설계입니다.
둘, 앞부분(prefix). 최상위 시스템 프롬프트, 도구 목록, 그 블록보다 앞선 모든 메시지. 하나라도 바꾸면 서명이 안 맞습니다.
셋, thinking 체인의 연속성. 각 thinking 블록은 자기 앞의 블록을 기록합니다. 히스토리 앞쪽에서 블록을 걷어내는 건 되지만, 중간에서 하나를 빼면 API가 그 뒤의 모든 블록을 무효로 처리합니다.
검사에 실패하면 기본 동작은 400 에러입니다. API가 "이 블록은 다른 대화 소속이다"는 메시지와 함께 요청을 거부해요. 개발자가 베타 헤더로 옵트인하면 에러 대신 해당 블록(과 그 이후 thinking)을 모델 입력에서 조용히 제거하고 요청을 성공시키는 drop_block 모드도 있습니다. 어떤 블록을 왜 뺐는지는 응답의 input_transformations 배열에서 확인할 수 있고, 뺀 블록에는 과금하지 않아요.
앤트로픽은 문서에서 목적을 이렇게 못 박았습니다.
"이 검사는 한 지시문 집합 아래서 생산된 추론이 다른, 잠재적으로 적대적인 지시문 집합 아래서 재생될 수 없도록 하기 위해 존재한다."
누가 걸리고 누가 안 걸리나
앤트로픽은 시행 범위를 정교하게 잘랐습니다.
안 걸리는 쪽부터. 클로드 코드, claude.ai, 코워크, 서드파티 제품 사용자는 영향 없습니다. 공식 제품은 원래 prefix를 그대로 유지하니까요. 페이블 5.1이 아닌 모델도 무관합니다. 흥미로운 예외 하나: 쌍둥이 미토스 5.1은 같은 서명을 찍지만 대화 검사를 돌리지 않습니다.
걸리는 쪽은 2026년 8월 31일 00:00 UTC 이후 만든 새 API 계정입니다. 클로드 플랫폼 조직, 베드록 계정, 버텍스 AI 프로젝트, 애저 파운드리 프로젝트까지. 이유도 명시돼 있어요. "증류 관련 남용이 가장 집중되는 곳이 새 계정"이라서. 트윗의 표현으로는 "증류는 종종 다수의 새 가짜 계정을 이용한다."
기존 계정은 페이블 5.1 기간 동안 유예입니다. API가 불일치를 기록만 하고 막지는 않아요. 하네스를 손볼 시간을 주는 겁니다. 단, 유예는 이번 모델까지입니다. 앤트로픽은 헬프센터와 트윗 양쪽에 "미래 모델 릴리스에서는 모든 계정에 적용된다"고 적었습니다.
개발자가 고칠 패턴
Messages API로 직접 에이전트 루프를 짜는 개발자라면 손이 가는 마이그레이션입니다. 문서에서 꼽은 '이제 깨지는 패턴'을 보면 업계의 흔한 습관 목록이에요.
- 오래된 턴을 잘라내거나 클라이언트에서 요약해 갈아끼우기
- 앞 턴에 리마인더를 주입했다가 다음 요청에서 지우기
- 매 요청마다 시스템 프롬프트 재조립 (현재 시각, 토큰 예산, 모드 플래그…)
- 세션 중간에 tools 배열 편집
전부 prefix를 다시 쓰는 행위라 서명 검사에 걸립니다. 이제 대화 히스토리는 뒤에 이어 쓰기만(append-only) 해야 해요.
대신 앤트로픽은 대체재를 공식 기능으로 정리해 뒀습니다. 지시 변경은 대화 중간의 system 역할 메시지로, 턴 한정 리마인더는 clear_at 필드로, 도구 변경은 tool_addition/tool_removal로, 히스토리 축소는 서버 측 압축이나 컨텍스트 편집으로. 클라이언트 압축 자체를 금지하지도 않습니다. 규칙은 좁아요. "다시 쓴 prefix 뒤에 thinking 블록을 남겨두지 마라." 히스토리 전체를 요약 하나로 교체하고 thinking을 재전송하지 않으면 됩니다.
부수 효과도 명시돼 있습니다. prefix를 안 건드리면 프롬프트 캐시를 더 많이 재사용해 비용과 응답 시간을 같이 줄일 수 있어요. 안전과 비용 최적화를 한 방향으로 맞춘, 드물게 잘 정렬된 변경이에요.
주의 조항 하나가 눈에 띕니다. "사용자가 자기 API 키로 돌리는 도구나 프레임워크를 유지보수한다면, 새 계정의 사용자들이 당신보다 먼저 이 검사에 부딪힌다. 당신의 키는 아마 구계정일 테니까." 오픈소스 에이전트 프레임워크 관리자들을 정확히 겨냥한 문장입니다.
남는 생각
저는 이 변경을 선언으로 읽었습니다. 프런티어 랩이 사고 연쇄를 방어 자산으로 다루기 시작했다는 선언.
지금까지 증류 방어는 분류기와 약관의 영역이었습니다. 앤트로픽은 preserved thinking으로 그 방어를 프로토콜 층까지 내렸어요. 추론을 그 추론이 나온 대화에 암호 서명으로 묶고, 그 바깥에서는 재생 자체를 막는 구조. 능력 유출 방지를 '탐지'에서 '설계'로 옮긴 겁니다.
새 계정부터 한 칸씩 조이는 시행, 기존 개발자에게 준 유예, 옵트인 드롭 모드까지, 앤트로픽은 곳곳에서 마찰을 줄이려 했어요. 그래도 앤트로픽이 가려는 방향은 분명합니다. 트윗 마지막 문장에서는 한계도 인정했어요. "길게 보면 증류 공격을 막을 더 나은 해법을 찾기를 희망한다." 아직 싸움이 끝나지 않았다는 뜻입니다.
다음 모델부터는 전 계정 적용입니다. Messages API 위에 뭔가를 짓고 있다면, 유예 기간이 곧 마감 기한이에요.
원문·소스
- 공식 트윗 (발표 스레드 6번): https://x.com/ClaudeDevs/status/2094851238219403582
- 헬프센터 Preserved thinking: https://support.claude.com/en/articles/16761192-preserved-thinking-changing-how-the-messages-api-handles-thinking-blocks-to-protect-against-distillation
- 플랫폼 문서 Preserved thinking: https://platform.claude.com/docs/en/build-with-claude/preserved-thinking
- 페이블 5.1 마이그레이션 가이드: https://platform.claude.com/docs/en/models/fable-5-1/migration-guide
FAQ
자주 묻는 질문
- preserved thinking이 막는 공격은 무엇인가요?
- thinking 블록 앞 대화를 바꿔치기해 암호화된 추론을 꺼내는 기법입니다. 그 연쇄로 다른 모델을 학습시키는 무단 증류의 흔한 입구예요.
- 누가 걸리고 누가 안 걸리나요?
- 2026년 8월 31일 이후 새 API 계정이 대상입니다. 클로드 코드·claude.ai·코워크와 페이블 5.1이 아닌 모델은 영향이 없어요.
- 개발자가 고칠 패턴은요?
- 앞 턴 요약 교체, 리마인더 주입 후 삭제, 매 요청 시스템 프롬프트 재조립, 세션 중 tools 배열 편집입니다. 대화는 사실상 append-only가 됩니다.
