Fronmpt← 모든 글
블로그4분 읽기

토큰의 98.2%를 다시 계산하지 않는 사람들의 경제학

셀프호스트 딥시크가 캐시 히트 98.2%를 찍고, 정체불명 무료 모델에 개발자들이 몰렸습니다. 토큰 원가를 누가 부담하느냐는 질문에 두 사건이 같은 답을 냈습니다.

구독료를 내는 사람에게 캐시 효율은 남의 일이지만, 전기요금을 내는 사람에게는 생존 조건입니다. 같은 주에 이 명제를 증명하는 사건이 둘 나왔어요. 한쪽에서는 AI 회사 CEO가 셀프호스트 대시보드로 캐시 히트 98.2%를 공개했고, 다른 쪽에서는 이름도 회사도 없는 모델이 무료로 풀려 개발자들이 몰렸습니다. 둘 다 결론은 같아요. 토큰의 값을 아는 사람들이 움직이기 시작했습니다.

캐시 히트 98.2%는 왜 거대한 숫자인가요?

숫자부터 볼게요. OsmanticAI의 CEO가 딥시크 하네스를 셀프호스트 V4 Flash로 몇 시간 돌리고 공개한 실측이에요. 12세션 동안 프롬프트 토큰 92,400,834개가 들어갔는데, 그중 90,723,584개를 캐시에서 꺼내 썼어요. 새로 계산한 토큰은 1,677,250개, 전체의 1.8%예요. 이 사용기 트윗은 조회 6만을 넘겼습니다.

에이전트는 같은 것을 반복해서 다시 읽어요. 시스템 프롬프트, 파일 내용, 이전 대화. 턴마다 이걸 전부 새로 계산하면 그게 다 돈이고 시간이에요. 캐시가 받아주면 비용이 자릿수로 떨어져요.

셀프호스트의 회계는 단순합니다. GPU 시간이 곧 전기요금이고, 캐시 히트율이 곧 할인율입니다. 구독 사용자에게 캐시는 회사가 알아서 할 최적화지만, 자기 GPU를 돌리는 사람에게는 98.2%라는 숫자가 그대로 지갑에 찍혀요.

사용기 원문도 간결했어요. 칭찬 두 문장, 불만 한 문장. 딥시크 하네스 진짜 좋다, 98.2% 캐시 히트는 거대하다, 유일한 단점은 웹 전용이라 TUI가 필요하다. 그 불만마저 답글에서 커뮤니티제 TUI 레포가 달리며 해소됐어요. 모든 게 플러그인이라는 설계라, 공식이 비운 자리를 커뮤니티가 먼저 채웁니다.

스텔스 무료 모델의 창은 언제 닫히나요?

같은 질문의 반대편에 무료 모델 사냥이 있습니다.

중국어권 커뮤니티에서 설정법이 돌던 Ox Alpha Free가 대표 사례예요. OpenCode API에 키 하나 넣고 모델 ID를 x-preview-f-free로 잡으면 1M 컨텍스트를 주장하는 모델이 공짜로 돌아가요. 화면 표시명과 API용 ID가 달라서 401 에러 함정에 빠진 사람이 속출했고, 원문 작성자도 키를 몇 번이나 바꿨다고 적었을 정도예요.

다만 냉정하게 볼 지점이 있었습니다. 1M 컨텍스트도, 무제한 무료도, 데이터 미보존도 전부 트윗 작성자의 주장이었고 공식 문서는 없었어요. 정체불명 모델에 업무 데이터를 넣는 건 무료라서 좋다는 말과는 다른 문제고요.

이 미스터리는 이후 결말이 났습니다. 블룸버그 질의에 Z.ai(지푸)가 자사 GLM 계열 모델임을 직접 확인했고, 가중치 오픈 예고까지 나왔어요. 엿새짜리 추리극의 전말은 별도 글에 정리해뒀어요.

무료의 창이 언제 닫히느냐는 질문에 정답은 없지만 패턴은 있습니다. 스텔스 무료는 평가 데이터를 모으는 기간이고, 정체가 공개되면 과금 체계가 따라옵니다. 창이 열려 있는 동안 실험하고, 닫히기 전에 대안을 세워두는 게 이 게임의 규칙이에요.

셀프호스트로 갈아탈 기준은 뭔가요?

두 사건을 겹치면 판단 기준이 나와요.

첫째, 사용량이에요. 토큰 소비가 월 구독료의 손익분기를 넘는지 계산하세요. 에이전트를 상시로 굴리는 사람일수록 반복 컨텍스트가 많아져서 캐시 효율의 수혜가 커져요. 12세션에 9,240만 토큰이라는 실측이 그 규모감입니다.

둘째, 데이터 경로예요. 무료 창구든 구독이든, 내 프롬프트가 어디에 보관되는지 확인이 안 되면 민감한 작업은 못 태워요. 셀프호스트는 이 문제를 원천에서 없애고요.

셋째, 운영 부담이에요. 셀프호스트는 설정과 유지보수라는 비용을 치르죠. 그 비용을 상쇄할 만큼 쓰는 사람에게만 전기요금이 구독료보다 쌉니다.

절충안도 있어요. 캐시 98.2% 사용기의 답글에는 셀프호스트 딥시크에 qwen3.8 서브에이전트를 붙여 쓰는 조합 사용기도 달렸습니다. 본체 모델은 큰 일을 맡기고, 가벼운 작업은 소형 모델이 받는 이원화죠. 전부 셀프호스트로 갈 필요 없이, 비싼 계산만 밖에 맡기는 절반짜리 이행도 성립합니다.

남는 생각

저는 무료와 셀프호스트가 같은 질문의 두 답이라고 봅니다. 질문은 하나예요. 토큰의 원가는 누가 부담하는가. 무료 모델은 그 원가를 제공자가 잠시 대신 내주는 것이고, 셀프호스트는 그 원가를 전기요금으로 직접 마주하는 거고요.

캐시 히트율이 하네스 선택 기준의 앞자리로 올라온 것도 이 흐름의 증상이에요. 기능 목록은 비슷해지고, 남는 차이는 같은 일을 얼마나 싸게 하느냐예요.

공짜의 값은 어딘가에 있습니다. 그 값을 아는 사람만 공짜를 오래 씁니다.

원문·소스

FAQ

자주 묻는 질문

캐시 히트 98.2%는 왜 거대한 숫자인가요?
12세션 동안 프롬프트 토큰 9,240만 개 중 새로 계산한 건 1.8%뿐이었습니다. 셀프호스트는 GPU 시간이 곧 전기요금이라 이 비율이 그대로 지갑에 찍힙니다.
스텔스 무료 모델의 창은 언제 닫히나요?
정체불명으로 돌던 Ox Alpha Free는 이후 Z.ai의 GLM 계열 모델임이 블룸버그 질의로 확인됐습니다. 스텔스 무료는 평가 데이터를 모으는 기간이고, 정체가 공개되면 과금 체계가 따라오는 패턴입니다.
셀프호스트로 갈아탈 기준은 뭔가요?
토큰 소비가 구독료 손익분기를 넘는지, 프롬프트 데이터 경로가 확인되는지, 운영 부담을 감당할 사용량인지 세 가지로 판단합니다. 본체는 셀프호스트하고 가벼운 작업만 소형 모델에 맡기는 절충안도 있습니다.