AI가 만든 걸 검사하는 규칙을 세웠더니, 없는 잘못을 찾아냈어요

쓴 사람이 자기 글을 검사하면 늘 통과예요.

판매 글을 다 써놓고 몇 번을 다시 읽어도 저는 빠진 자리를 못 봤어요. 쓰면서 이미 다 봤다고 생각했으니까요. 그래서 검사를 제 눈에서 떼어내 파일로 옮겼어요.

검사를 네 줄로 바꿨어요

제가 쓰는 판매 스킬에 규칙을 적어뒀어요. 결제를 부탁하는 자리에는 네 가지가 있어야 한다고요. 무엇을 하라는 말, 누르면 받는 것, 왜 하필 지금인지, 누르면 나오는 다음 화면이요.

그 네 줄을 제 판매 원고에 대 봤어요. 두 자리가 비어 있었어요. 청약철회 표시가 없었고, 결제 버튼 바로 앞에 왜 지금인지가 없었어요. 둘 다 쓰면서는 못 봤어요.

앤트로픽은 이걸 검증 루프라고 불러요

앤트로픽이 자사 블로그에 스킬로 검증 루프 만드는 법을 올렸어요. 자기 도구인 클로드 코드를 자기가 설명하는 글이에요.

정의는 이래요. 검증 루프는 AI 에이전트가 자기 작업을 검사하고, 테스트나 검사 도구를 돌려서 실패한 걸 고친 다음 넘어가는 반복 주기라고요.

쓸모 있는 건 만드는 순서였어요. AI가 뭔가 만들어줄 때마다 내가 매번 손으로 확인하는 게 있으면, 그걸 그대로 받아 적으라고 해요. 그 받아쓴 게 곧 검사 규칙이 돼요. 글에 든 예시는 개발 쪽이지만 원리는 같아요. 숫자로 못 재는 기준도 문장으로 적을 수 있으면 검사가 되고요.

그런데 제 검사가 한 번 거짓말을 했어요

같은 규칙을 이미 올라가 있는 판매 페이지에 대 보고, 청약철회 표시가 통째로 빠져 있었다고 글에 써서 발행했어요.

거짓이었어요. 그 페이지 문답 맨 아래에 "디지털 파일이라 전달이 시작되면 청약철회가 제한될 수 있습니다"가 처음부터 있었어요.

왜 놓쳤냐면, 페이지 본문을 앞에서 300자만 잘라 읽고 판단했어요. 문답이 여덟 개인데 앞의 네 개만 보고 없다고 단정한 거예요. 그 페이지는 대부분이 이미지 카드라서 글자만 긁으면 안이 안 읽히거든요. 카드를 직접 열어봤으면 1초에 보였을 거예요.

바로 내리고 원고를 가리키는 문장으로 고쳤어요. 정직함을 파는 문장이 거짓이면 상품 자체를 반박하니까요.

규칙보다 검사 대상이 먼저예요

검사 규칙은 통과했는지 아닌지만 알려줘요. 무엇을 놓고 검사했는지는 안 알려줘요. 그 자리가 제일 조용히 틀려요.

그래서 검사표에 한 줄을 더 넣었어요. 요약본 말고 원본을 열 것, 이미지 안은 글자 추출로 안 읽힌다는 걸 전제할 것.

혹시 AI가 만들어준 걸 검사하고 계신다면 순서를 이렇게 잡아보세요. 먼저 매번 손으로 확인하던 걸 문장으로 받아 적고, 그다음 그 문장을 무엇에 댈지를 정하는 거예요. 두 번째를 빼먹으면 규칙이 있어도 엉뚱한 데를 검사해요.

AI한테 일을 넘기고 결과를 받아 검사하는 순서는 『시키는 기술』에 담아뒀어요. 23,500원이고 지금까지 131분이 가져가셨어요.

『시키는 기술』 보러 가기