← 모든 글

엿새 동안 멈춘 자동 판매를 저는 알림 하나 못 받고 몰랐습니다

AI에게 권한을 넓혀 주기 전에, 멈추면 울리는 알림부터 달았어요.

3분 읽기
#클로드 코드#자동 모드#AI 권한#1인 판매
엿새 동안 멈춘 자동 판매를 저는 알림 하나 못 받고 몰랐습니다 대표 이미지
목차앤트로픽은 승인 창을 걷어내는 쪽으로 갔어요

저는 엿새 동안 자동 판매가 멈춘 줄 몰랐어요.

책이 한 권 팔릴 때마다 값을 5,000원씩 올리게 자동으로 맞춰뒀거든요. 그런데 열 번째 책을 판 날 화면을 보니 여전히 144,000원이었어요. 규칙대로면 149,000원이어야 했어요.

파고들어 보니 판매 정보를 읽어오는 인증 토큰을 8월 2일에 발급했는데, 엿새짜리 토큰이었어요. 결제가 오면 바로 알려주는 경로랑 주기적으로 확인하는 경로가 같은 토큰을 써서 둘 다 멈췄고요. 그동안 저는 알림을 한 번도 못 받았어요. AI는 잘못한 게 없어요. 엿새 동안 아무것도 안 한 거예요.

앤트로픽은 승인 창을 걷어내는 쪽으로 갔어요

앤트로픽이 자사 블로그에서 클로드 코드의 자동 모드를 8월 14일부터 기본값으로 바꾼다고 밝혔어요. 자기 제품을 자기가 설명하는 글이니 감안하고 읽으셔야 해요. 원문은 앤트로픽 공식 발표에서 보실 수 있어요.

방식은 이래요. 승인 창을 띄우는 대신 도구 호출 하나하나를 분류기에 통과시켜요. 되돌릴 수 없거나, 파괴적이거나, 내 환경 밖을 향하는 행동을 막는 데 겨눈 분류기예요. 코드나 비밀값을 밖으로 보내는 일은 아예 승인하지 않는 칸에 넣어뒀다고 적었어요.

같은 글에서 제 눈에 걸린 숫자가 있어요. 사람이 손으로 승인할 때 승인율이 97퍼센트였다는 앤트로픽 자체 수치예요. 앤트로픽은 이걸 사용자 다수가 명령을 하나하나 읽지 않고 반사적으로 누른다는 뜻으로 읽어요. 벤더가 자기 기능을 밀며 낸 숫자라 곧이곧대로 받을 건 아니에요. 다만 저도 손으로 누르기만 하면 검사한 셈이라고 믿었는데, 이 숫자를 보고 의심하게 됐어요.

같은 글에 실린 도판이에요. 앤트로픽은 사람이 검토했을 때 13.6퍼센트, 자동 모드가 89퍼센트를 잡아냈다고 적었어요. 도판 아래 출처줄에는 유료 개발자 1,053명을 모은 통제 실험이고 참가자는 무엇을 시험하는지 몰랐다고 적어 뒀고요. 이것도 앤트로픽이 자기 제품을 직접 시험해서 자기 채널에 실은 값이에요.

그래도 AI가 끝까지 못 연 설정이 있었어요

며칠 전에 발행 명령 하나를 허용 목록에 넣으려고 했어요. AI가 네 번 시도했고 네 번 다 막혔어요. 설정 스킬로 한 번, 파일을 직접 고치는 방법으로 한 번, 제가 그 스킬을 직접 부른 뒤 다시 한 번, 세션에 권한을 준 뒤 또 한 번이요.

결국 제가 텍스트 편집기를 열어서 설정 파일에 두 줄을 직접 넣었어요.

막혀서 다행이었어요. AI가 자기 허용 범위를 스스로 넓히는 일은 주인이 시켜도 막아야 맞아요. AI가 그걸 열 수 있으면 나머지 경계도 마음대로 넘을 수 있으니까요.

그래서 얼마나 줘야 하나요

제가 정한 기준은 두 줄이에요.

  1. 되돌릴 수 있는 일은 넘겨요. 되돌릴 수 없는 일과 자기 권한을 넓히는 일은 안 넘겨요.
  2. 넘긴 일에는 죽었을 때 소리가 나게 해둬요.

두 번째는 제가 엿새를 잃고 배웠어요. 지금은 매시간 토큰 상태를 확인해요. 발급이 안 되거나 인증 파일이 나흘 넘게 묵으면 텔레그램으로 알림을 받아요. 실측 수명이 엿새였으니 이틀 여유를 둔 셈이에요.

토큰을 다시 발급한 날 값을 149,000원으로 맞췄어요. 다음 결제부터는 제가 손을 안 대도 시스템이 154,000원으로 올려요.

권한은 누구나 쉽게 넓혀요. 다만 넓힌 다음에 그 일이 아직 살아 있는지는 따로 챙겨야 알 수 있어요.

AI한테 무엇을 넘기고 무엇을 쥐고 있을지 정하는 순서는 『시키는 기술』에 담아뒀어요. 23,500원이고 지금까지 131분이 가져가셨어요.

『시키는 기술』 보러 가기

FAQ

자주 묻는 질문

AI한테 권한을 어디까지 열어주는 게 좋을까요?
되돌릴 수 있는 일만 넘기시면 돼요. 파일 고치기, 글 초안 쓰기, 값 계산하기는 틀려도 되돌려요. 반대로 지우는 일, 밖으로 보내는 일, AI가 자기 허용 범위를 넓히는 일은 손에 쥐고 계세요. 저는 마지막 항목에서 네 번 막혔는데 막혀서 다행이었어요.
자동으로 돌게 맡겨두면 사고가 나지 않나요?
제 경우엔 AI가 잘못한 게 없었어요. 인증 토큰이 만료된 뒤 AI는 엿새 동안 아무것도 안 했고, 저는 알림을 못 받아서 몰랐어요. 그래서 권한을 넓히기 전에 멈추면 바로 알려주는 장치부터 붙이는 걸 권합니다. 저는 매시간 토큰 상태를 확인해서 문제가 있으면 텔레그램으로 알림을 받게 해뒀어요.
원고, 봉투, 책자가 오렌지 리본 하나로 이어진 모습

SEASON 3

시즌3 「콘텐츠로 팔기」

AI와 콘텐츠를 만들고 고객에게 연결하는 4주

제가 에이전트로 조사하고 쓰고 파는 과정을 그대로 보여 드려요. 그다음 각자의 주제로 같이 만들어 봐요.

10월 2일 OT · 10월 5일부터 월·수 4주 · 10월 31일 오프라인