
목차검사를 네 줄로 바꿨습니다
자기가 쓴 글을 자기가 검사하면 늘 통과시키게 됩니다.
판매 글을 다 써놓고 몇 번을 다시 읽어도 저는 빠진 부분을 못 찾았습니다. 쓰면서 이미 다 봤다고 생각했으니까요. 그래서 검사를 제 눈에서 떼어내 파일로 옮겼어요.
검사를 네 줄로 바꿨습니다
제가 쓰는 판매 스킬에 규칙을 적어뒀습니다. 결제를 부탁하는 문단에는 네 가지가 있어야 한다고요. 무엇을 하라는 말, 누르면 받는 것, 왜 하필 지금인지, 누르면 나오는 다음 화면이요.
그 네 줄로 제 판매 원고를 검사했습니다. 두 가지를 빠뜨렸더라고요. 청약철회 표시를 안 넣었고, 결제 버튼 바로 앞에 왜 지금인지도 안 적었습니다. 둘 다 쓰면서는 못 봤어요.
앤트로픽은 이걸 검증 루프라고 부릅니다
앤트로픽이 자사 블로그에 스킬로 검증 루프 만드는 법을 올렸습니다. 자기 도구인 클로드 코드를 직접 설명하는 글이에요.
앤트로픽은 검증 루프를 이렇게 정의합니다. AI 에이전트가 자기 작업을 검사하고, 테스트나 검사 도구를 돌려서 실패한 걸 고친 다음 넘어가는 반복 주기라고요.
제게 쓸모 있던 부분은 만드는 순서였습니다. AI가 뭔가 만들어줄 때마다 내가 매번 손으로 확인하는 게 있으면, 그걸 그대로 받아 적으라고 해요. 받아 적은 문장을 그대로 검사 규칙으로 씁니다. 앤트로픽이 든 예시는 개발 쪽이지만 원리는 같습니다. 숫자로 못 매기는 기준도 문장으로 적으면 검사할 수 있죠.
한 번은 없는 잘못을 찾아냈습니다
같은 규칙으로 이미 올라가 있는 판매 페이지를 검사하고, 청약철회 표시를 통째로 빠뜨렸다고 글에 써서 발행했습니다.
제가 틀렸습니다. 그 페이지 문답 맨 아래에 "디지털 파일이라 전달이 시작되면 청약철회가 제한될 수 있습니다"라는 문구를 처음부터 적어뒀더라고요.
왜 놓쳤냐면, 페이지 본문을 앞에서 300자만 잘라 읽고 판단했기 때문이에요. 문답 여덟 개 중 앞의 네 개만 보고 없다고 단정한 거예요. 그 페이지를 대부분 이미지 카드로 만들어서 글자만 긁으면 카드 안을 못 읽거든요. 카드를 직접 열어봤으면 1초 만에 찾았을 거예요.
바로 내리고 원고를 가리키는 문장으로 고쳤습니다. 정직함을 파는 사람이 거짓 문장을 쓰면 제 상품을 제가 반박하는 셈이니까요.
규칙보다 검사 대상을 먼저 정합니다
규칙으로는 통과 여부만 알 수 있습니다. 무엇을 놓고 검사할지는 제가 정해야 해요. 저는 거기서 가장 조용히 틀렸습니다.
그래서 검사표에 한 줄을 더 넣었습니다. 요약본 말고 원본을 열 것, 이미지 안의 글자는 글자 추출로 못 읽는다고 전제할 것.
AI가 만들어준 걸 검사하고 계신다면 순서를 이렇게 잡아보세요. 먼저 매번 손으로 확인하던 걸 문장으로 받아 적고, 그다음 그 문장으로 무엇을 검사할지 정합니다. 두 번째를 빼먹으면 규칙이 있어도 엉뚱한 곳을 검사하게 됩니다.
AI한테 일을 넘기고 결과를 받아 검사하는 순서는 『시키는 기술』에 담아뒀어요. 가격은 23,500원이고, 지금까지 131분이 가져가셨어요.
FAQ
자주 묻는 질문
- 검증 루프를 만들려면 코딩을 알아야 하나요?
- 아니에요. 앤트로픽이 소개한 형식도 마크다운 파일 한 장이에요. 맨 위에 이름과 설명을 적고 아래에 검사 절차를 평범한 문장으로 쓰면 끝이에요. 제 것도 결제를 부탁할 때 무엇이 있어야 하는지 네 줄로 적어둔 게 전부예요.
- AI한테 자기 결과물을 검사시키면 제 편만 들지 않나요?
- 그래서 검사 기준을 결과물 바깥에 미리 적어두는 거예요. 만들면서 판단하면 만든 사람 눈으로 보지만, 밖에 적힌 네 줄에 대면 있는지 없는지만 남아요. 다만 무엇을 놓고 검사하는지는 사람이 정해야 해요. 요약본에 대면 규칙이 없는 잘못을 만들어내요.
