AI한테 권한을 얼마나 줘야 하나요, 엿새를 잃고 정했어요

엿새 동안 아무 일도 안 일어났어요. 그게 문제였어요.

책이 한 권 팔릴 때마다 값이 5,000원씩 오르게 자동으로 맞춰뒀거든요. 그런데 열 번째가 팔린 날 값이 그대로였어요. 규칙대로면 149,000원인데 화면엔 144,000원이 떠 있었어요.

파고들어 보니 판매 정보를 읽어오는 인증 토큰이 8월 2일에 발급되고 엿새 만에 만료됐더라고요. 결제가 오면 바로 알려주는 경로랑 주기적으로 확인하는 경로가 같은 토큰을 쓰고 있어서 둘이 같이 멈췄고요. 그동안 알림은 한 번도 안 왔어요. AI가 잘못한 게 아니라 아무것도 안 한 거예요.

앤트로픽은 승인 창을 걷어내는 쪽으로 갔어요

앤트로픽이 자사 블로그에서 클로드 코드의 자동 모드를 8월 14일부터 기본값으로 바꾼다고 밝혔어요. 자기 제품을 자기가 설명하는 글이니 감안하고 읽으셔야 해요. 원문은 앤트로픽 공식 발표에서 보실 수 있어요.

방식은 이래요. 승인 창을 띄우는 대신 도구 호출 하나하나를 분류기에 통과시켜요. 되돌릴 수 없거나, 파괴적이거나, 내 환경 밖을 향하는 행동을 막는 데 겨눈 분류기예요. 코드나 비밀값을 밖으로 보내는 일은 아예 승인하지 않는 칸에 넣어뒀다고 적었어요.

같은 글에 눈에 걸리는 숫자가 있어요. 사람이 손으로 승인할 때 승인율이 97퍼센트였다는 앤트로픽 자체 수치예요. 글은 이걸 이렇게 읽어요. 그 정도로 높은 승인율은 많은 사용자가 명령을 하나하나 보는 게 아니라 반사적으로 누르고 있다는 뜻이라고요. 벤더가 자기 기능을 밀며 낸 숫자라 곧이곧대로 받을 건 아니에요. 다만 손으로 누르는 행위 자체가 검사라는 믿음은 흔들려요.

같은 글에 실린 도판이에요. 사람이 검토했을 때 13.6퍼센트, 자동 모드가 89퍼센트를 잡아냈다고 적혀 있어요. 도판 아래 출처줄에는 유료 개발자 1,053명을 모은 통제 실험이고 참가자는 무엇을 시험하는지 몰랐다고 붙어 있고요. 이것도 앤트로픽이 자기 제품을 재서 자기 채널에 실은 값이에요.

그래도 안 열리는 자리가 있었어요

며칠 전에 발행 명령 하나를 허용 목록에 넣으려고 했어요. AI가 네 번 시도했고 네 번 다 막혔어요. 설정 스킬로 한 번, 파일을 직접 고치는 방법으로 한 번, 제가 그 스킬을 직접 부른 뒤 다시 한 번, 세션에 권한을 준 뒤 또 한 번이요.

결국 제가 텍스트 편집기를 열어서 설정 파일에 두 줄을 직접 넣었어요.

막혀서 다행이었어요. AI가 자기한테 허용된 범위를 스스로 넓히는 일은, 주인이 시켜도 안 열리는 게 맞아요. 그 자리가 열리면 나머지 경계는 다 뜻이 없어지니까요.

그래서 얼마나 줘야 하나요

제가 정한 기준은 두 줄이에요.

1. 되돌릴 수 있는 일은 넘겨요. 되돌릴 수 없는 일과 자기 권한을 넓히는 일은 안 넘겨요.
2. 넘긴 일에는 죽었을 때 소리가 나게 해둬요.

두 번째가 엿새를 잃고 배운 거예요. 지금은 매시간 토큰 상태를 재요. 발급이 안 되거나 인증 파일이 나흘 넘게 묵으면 텔레그램이 와요. 실측 수명이 엿새였으니 이틀 여유를 둔 셈이에요.

토큰을 다시 발급한 날 값은 149,000원으로 맞춰졌어요. 다음 결제부터는 제가 손을 안 대도 154,000원으로 올라요.

권한을 넓히는 건 쉬워요. 어려운 건 넓힌 다음에 그게 살아 있는지 아는 일이에요.

AI한테 무엇을 넘기고 무엇을 쥐고 있을지 정하는 순서는 『시키는 기술』에 담아뒀어요. 23,500원이고 지금까지 131분이 가져가셨어요.

『시키는 기술』 보러 가기