AI한테 시킨 걸 파일로 굳혔더니 거짓말 네 개가 나왔어요

만들어놓고 안 쓰는 폴더가 하나쯤 있을 거예요. AI한테 시켜서 뽑아내긴 했는데 돈이 된 적은 없는 것들요.

저도 그랬어요. 이번엔 하나를 파일로 굳혀 남한테 줄 물건으로 만들어봤어요. 그러다 제가 쓴 거짓말 네 개를 봤어요.

왜 파일로 굳히면 다른가

오픈AI가 최근 장기 실행 에이전트 이야기를 정리했는데, 스킬을 이렇게 설명해요. "파일 묶음에 SKILL.md 매니페스트를 더한 것." 순서를 파일에 적어두고 에이전트가 따라가게 하는 방식이에요.

같은 글에 뼈아픈 대목이 있어요. 스킬을 새로 얹고 나서 오히려 정확도가 떨어진 사례요. Glean이라는 회사는 20퍼센트를 잃었다가, 설명에 "이럴 땐 쓰지 마세요"를 넣고 나서야 회복했대요. 글은 이렇게 못 박아요. "스킬의 설명이 곧 모델의 판단 경계다."

읽고 나서 제 파일을 다시 봤어요. 저는 설명을 잘 썼다고 생각했거든요.

남처럼 써봤더니

산 사람이 이 파일 하나만 받아서 던지는 상황을 그대로 재현했어요. 두 번 돌렸고, 네 개가 나왔어요.

첫째, 없는 파일을 읽으라고 했어요. 진행 상태를 상태.json에서 읽어온다고 적어놨는데, 정작 그 파일을 만드는 대목이 어디에도 없었어요. 유령이었죠. 결과물 자체를 상태로 보게 바꿨어요.

둘째, 남의 책상에 없는 책을 펴라고 했어요. "본편 1장을 읽어라"라고 썼는데, 그건 제 폴더에 있는 책이에요. 산 사람 폴더엔 없죠. 책이 없어도 끝까지 굴러가게 고쳤어요.

셋째, 설치 안내가 거짓이었어요. 폴더에 넣으면 된다고만 적었는데, 실제로는 한 번 껐다 켜야 인식해요. 그 한 줄이 빠져서 처음 쓰는 사람은 안 된다고 덮었을 거예요.

넷째, 같은 폴더인데 답이 갈렸어요. 재료를 찾는 범위를 안 정해놨더니, 하위 폴더를 한 겹까지 볼 때와 두 겹까지 볼 때 판정이 달랐어요. 넉 줄짜리 규칙을 새로 적었어요.

네 개 다 제가 못 본 것들이에요

혼자 쓸 땐 하나도 안 걸렸어요. 상태 파일이 없어도 제 머리가 기억했고, 책은 제 폴더에 있었고, 재시작은 손이 알아서 했으니까요.

내 머릿속에 있는 걸 파일이 가진 척했던 거예요. 남한테 넘기는 순간에만 그게 드러나요.

거창한 검증 도구를 쓴 게 아니에요. 산 사람인 척하고 두 번 돌려본 게 전부예요.

그래서 이게 돈이 되나

네 개를 고치고 나서야 그 파일이 물건 노릇을 해요. 지금은 책을 산 분들께 후기를 남기시면 드리는 걸로 붙여뒀어요.

파일 하나가 상품이 되는 조건은 단순해요. 내가 없어도 굴러가는가. 그 질문에 답하려면 남한테 한 번은 넘겨봐야 하고요.

폴더에 쌓아둔 것 중에 하나만 골라보세요. 순서를 파일로 적고, 아무것도 모르는 사람인 척 처음부터 따라가보는 거예요.

AI한테 일을 시키는 순서 자체를 정리한 건 『시키는 기술』에 담아뒀어요. 23,500원이고 지금까지 131분이 가져가셨어요.

『시키는 기술』 보러 가기