프롬프트 토큰 9,240만 개 중 새로 계산한 건 1.8%뿐이었습니다

구독료만 내는 사람은 캐시 효율을 신경 쓸 일이 별로 없습니다. 전기요금을 직접 내는 사람에게는 사정이 다르죠. 같은 주에 이걸 보여 주는 사례를 둘 봤어요. 한쪽에서는 AI 회사 CEO가 셀프호스트 대시보드로 캐시 히트 98.2%를 공개했고, 다른 쪽에서는 이름도 회사도 없는 모델이 무료로 풀려 개발자들이 몰렸습니다. 두 사례 모두 토큰의 값을 아는 사람들이 움직이기 시작했다는 신호예요.

캐시 히트 98.2%는 왜 거대한 숫자인가요?

숫자부터 볼게요. OsmanticAI의 CEO가 딥시크 하네스를 셀프호스트 V4 Flash로 몇 시간 돌리고 공개한 실측이에요. 12세션 동안 프롬프트 토큰 92,400,834개를 넣었고, 그중 90,723,584개를 캐시에서 꺼내 썼어요. 새로 계산한 토큰은 1,677,250개, 전체의 1.8%예요. 이 사용기 트윗은 조회 6만을 넘겼습니다.

에이전트는 같은 것을 반복해서 다시 읽어요. 시스템 프롬프트, 파일 내용, 이전 대화. 턴마다 이걸 전부 새로 계산하면 그게 다 돈이고 시간이에요. 캐시에서 꺼내 쓰면 비용을 자릿수 단위로 줄일 수 있어요.

셀프호스트의 회계는 단순합니다. GPU 시간이 곧 전기요금이고, 캐시 히트율이 곧 할인율입니다. 구독 사용자에게 캐시는 회사가 알아서 할 최적화지만, 자기 GPU를 돌리는 사람은 98.2%라는 숫자를 그대로 지갑에서 확인해요.

사용기 원문도 간결했어요. 칭찬 두 문장, 불만 한 문장. 딥시크 하네스 진짜 좋다, 98.2% 캐시 히트는 거대하다, 유일한 단점은 웹 전용이라 TUI가 필요하다. 그 불만까지 커뮤니티가 답글에 TUI 레포를 올려 해결했어요. 모든 게 플러그인이라는 설계라, 공식이 안 만든 기능을 커뮤니티가 먼저 채웁니다.

스텔스 무료 모델의 창은 언제 닫히나요?

같은 질문의 반대편에 무료 모델 사냥이 있습니다.

중국어권 커뮤니티에서 설정법이 돌던 Ox Alpha Free가 대표 사례예요. OpenCode API에 키 하나 넣고 모델 ID를 x-preview-f-free로 잡으면 1M 컨텍스트를 주장하는 모델을 공짜로 쓸 수 있었어요. 화면 표시명과 API용 ID가 달라서 401 에러 함정에 빠진 사람이 속출했고, 원문 작성자도 키를 몇 번이나 바꿨다고 적었을 정도예요.

다만 냉정하게 볼 지점이 있었습니다. 1M 컨텍스트도, 무제한 무료도, 데이터 미보존도 전부 트윗 작성자의 주장이었고 공식 문서는 없었어요. 정체불명 모델에 업무 데이터를 넣는 건 무료라서 좋다는 말과는 다른 문제고요.

이후 Z.ai(지푸)가 블룸버그 질의에 자사 GLM 계열 모델이라고 직접 확인했고, 가중치 공개도 예고했어요. 엿새짜리 추리극의 전말은 별도 글에 정리해뒀어요.

무료의 창이 언제 닫히느냐는 질문에 정답은 없지만 패턴은 있습니다. 제공사는 스텔스 무료 기간에 평가 데이터를 모으고, 정체를 공개하면서 과금을 시작합니다. 창이 열려 있는 동안 실험하고, 닫히기 전에 대안을 세워두는 게 이 게임의 규칙이에요.

셀프호스트로 갈아탈 기준은 뭔가요?

두 사례를 겹쳐 보면 판단 기준을 세 가지로 정리할 수 있어요.

첫째, 사용량이에요. 토큰 소비가 월 구독료의 손익분기를 넘는지 계산하세요. 에이전트를 상시로 굴리는 사람일수록 반복 컨텍스트가 많아서 캐시로 더 많이 아낄 수 있어요. 12세션에 9,240만 토큰이라는 실측을 보면 규모를 가늠할 수 있습니다.

둘째, 데이터 경로예요. 무료 창구든 구독이든, 내 프롬프트가 어디에 보관되는지 확인이 안 되면 민감한 작업은 못 맡겨요. 셀프호스트는 이 문제를 원천에서 없애고요.

셋째, 운영 부담이에요. 셀프호스트를 하면 설정과 유지보수라는 비용을 치르죠. 그 비용을 상쇄할 만큼 쓰는 사람에게만 전기요금이 구독료보다 쌉니다.

절충안도 있어요. 캐시 98.2% 사용기의 답글에는 셀프호스트 딥시크에 qwen3.8 서브에이전트를 함께 쓰는 조합 사용기도 올라왔습니다. 본체 모델에는 큰 일을 맡기고, 가벼운 작업은 소형 모델에 넘기는 이원화죠. 모든 작업을 셀프호스트 본체로 돌리지 않아도 되는 절반짜리 이행입니다.

남는 생각

저는 무료와 셀프호스트가 같은 질문의 두 답이라고 봅니다. 질문은 하나예요. 토큰의 원가는 누가 부담하는가. 무료 모델은 그 원가를 제공자가 잠시 대신 내주는 것이고, 셀프호스트는 그 원가를 전기요금으로 직접 마주하는 거고요.

하네스를 고를 때 캐시 히트율부터 보게 된 것도 이 흐름의 증상이에요. 기능은 다들 비슷하니, 같은 일을 얼마나 싸게 하느냐로 고르게 돼요.

공짜에도 누군가는 값을 치릅니다. 그 값을 아는 사람만 공짜를 오래 씁니다.

---