Fronmpt← 모든 글
블로그5분 읽기

스페인어 영상 한 편이 토큰 90% 절감을 내걸었습니다

토큰 90% 절감을 내건 스페인어 영상 한 편이 조회 139,474를 받았습니다. 한 AI 회사 대표의 대시보드에는 프롬프트 토큰 9,240만 개 중 98.2%가 캐시에서 나온 기록이 찍혔어요.

스페인어 영상 한 편이 토큰 90% 절감을 내걸었습니다 대표 이미지

스페인어로 올라온 영상 한 편이 조회 139,474를 받았습니다. 주제는 클로드 코드 토큰 사용량을 90% 줄이는 방법이에요. 번역을 거치지 않고 스페인어 그대로 받은 숫자입니다.

본문은 다섯 문장이 전부였습니다. 토큰 사용을 90% 줄여라. 정확한 방법들을 공개했다. 대부분은 그냥 지나칠 것이다. 복잡한 것은 없다. 그리고 마지막 한 줄, 저장해둬라.

영상 안에서 어떤 방법을 짚었는지는 확인하지 못했습니다. 그래서 이 글은 방법을 옮기는 글이 아닙니다. 절약법이 저장각 콘텐츠 자리에 올라섰다는 사실, 그 사실 자체를 읽는 글입니다.

절약법은 왜 저장각 콘텐츠가 됐을까요?

사람들이 저장 버튼을 누르는 글은 정해져 있습니다. 세금 신고 요령, 통신 요금제 갈아타기, 대출 갈아타기. 당장은 안 읽어도 언젠가 돈이 걸리는 문서들이에요.

토큰 절약법이 그 목록에 들어갔습니다. 읽고 감탄하는 기술 소식이 아니라, 지갑을 지키려고 챙겨두는 살림 문서로 분류된 겁니다. 작성자가 "복잡한 것은 없다"고 못을 박은 대목도 같은 방향을 가리킵니다. 연구 결과를 자랑하는 말투가 아니라, 요령을 넘겨주는 말투예요.

저장 신호는 이 바닥에서 이미 한 번 관측됐습니다. 로컬 추론 엔진 FreeToken 발표 트윗은 좋아요 3,800을 받는 동안 북마크를 4,493 받았어요. 재미있다는 반응보다 나중에 꺼내 쓰겠다는 반응이 더 많았다는 뜻입니다.

"대부분은 그냥 지나칠 것"이라는 문장도 흥미롭습니다. 아직 청구서가 아프지 않은 사람은 이걸 안 읽는다는 뜻이니까요. 아픈 사람과 안 아픈 사람이 갈리기 시작했다는 신호로 읽힙니다.

청구서는 어디서 불어날까요?

에이전트가 토큰을 태우는 구조는 단순합니다. 같은 파일, 같은 지시, 같은 대화 기록을 턴마다 다시 읽습니다. 사람이라면 "아까 봤다"로 끝낼 자리에서 기계는 매번 처음부터 다시 봅니다. 그 반복이 그대로 요금으로 찍힙니다.

이 반복을 캐시가 얼마나 받아내는지 실측한 화면이 있습니다. 한 AI 회사 대표가 셀프호스트 대시보드를 공개했는데, 12세션 동안 들어간 프롬프트 토큰이 92,400,834개였어요. 그중 90,723,584개를 캐시에서 꺼내 썼습니다. 히트율 98.2%. 새로 계산한 토큰은 1,677,250개, 전체에서 1.8%뿐이었습니다.

같은 작업을 캐시 없이 돌리면 저 9,240만 개를 전부 새로 계산해야 합니다. 절약법이 다루는 영역이 바로 이 격차예요. 쓰는 사람이 바꿀 수 있는 변수가 실제로 남아 있다는 뜻이기도 하고요.

격차가 벌어지는 자리도 대체로 정해져 있습니다. 대화 하나를 며칠씩 끌고 다니면서 필요 없는 기록까지 매 턴 다시 태우는 경우. 한 번 읽으면 될 파일을 작업마다 통째로 다시 물리는 경우. 캐시가 살아 있을 때 정리하지 않고, 식은 다음에 손대는 경우.

어느 쪽이든 모델을 바꾸거나 요금제를 올려서 푸는 문제가 아닙니다. 쓰는 습관에서 갈리는 문제예요. 절약법이라는 말이 성립하는 자리도 거기라고 봅니다.

공급 쪽은 어디까지 내려왔을까요?

값을 깎는 싸움은 사용자 혼자 하고 있지 않습니다.

크웬이 공개한 오픈웨이트 모델은 총 125B인데 실제로 켜지는 파라미터가 6B입니다. 같은 아키텍처를 쓰는 API 값은 입력 100만 토큰에 0.16달러예요. 요청마다 도는 파라미터를 줄여서 서빙 원가부터 내려버린 설계입니다.

만드는 비용도 같이 내려갔습니다. 크웬은 이 모델을 전작 대비 9분의 1 학습비로 만들었다고 밝혔어요. 제조 단가와 추론 단가를 한 번에 깎은 셈입니다.

엔진 쪽도 같은 방향으로 왔습니다. 버클리 연구진이 아파치 라이선스로 연 추론 엔진 FreeToken은 8GB 게이밍 노트북에서 35B 모델을 초당 39토큰으로 돌렸습니다. 발표 트윗은 조회 1,063,851을 받았고요. 구독료 대신 전기요금을 내는 선택지가 실제로 손에 들어온 겁니다.

이 엔진이 자랑한 수치 가운데 프리필 속도가 특히 눈에 띕니다. 로컬 실행 표준인 올라마와 비교해 디코드는 34배, 프리필은 630배 빠르다고 못을 박았어요. 프리필은 긴 컨텍스트를 읽어들이는 구간이라, 코드베이스를 통째로 물고 시작하는 에이전트에서 병목이 되는 자리입니다. 엔진을 만드는 쪽도 결국 같은 낭비를 겨누고 있다는 뜻이에요.

모델은 켜지는 부분을 줄이고, 엔진은 소비자 장비로 내려오고, 사용자는 절약법을 저장합니다. 세 층이 같은 지점을 향해 동시에 움직이고 있습니다.

왜 하필 스페인어권이었을까요?

토큰 요금은 언어를 가리지 않습니다. 구독료는 달러로 청구되고, API 단가표는 어느 나라에서 접속하든 같은 숫자를 보여줍니다. 버는 돈은 나라마다 다른데 내는 돈은 같습니다.

그래서 이런 콘텐츠는 영어권보다 바깥에서 더 뜨겁게 돕니다. 저는 139,474를 같은 요금을 같은 무게로 느끼는 사람들이 모여 만들어낸 숫자로 읽습니다. 번역을 기다리지 않고 스페인어로 직접 만들어 올렸다는 점도 그렇고요.

한국어권도 다르지 않습니다. 클로드 코드 요금제를 두고 오가는 대화, 한도가 언제 리셋되는지 세는 습관, 컨텍스트를 언제 비울지 재는 감각. 전부 같은 청구서에서 나옵니다.

그래서 무엇이 달라진 걸까요?

저는 이 영상을 기술 뉴스가 아니라 생활비 뉴스로 읽습니다.

절약법을 저장해두는 행동은 취미 개발자가 팁을 모으는 일과 성격이 다릅니다. 매달 빠져나가는 돈을 줄이려는 살림에 가깝습니다. 에이전트를 하루 종일 돌리는 사람에게 토큰 요금은 이미 고정 지출이에요. 전기요금과 통신요금 옆에 나란히 붙는 항목이 하나 늘어난 겁니다.

도구가 생활비 항목이 되는 순간, 그 도구를 보는 눈도 바뀝니다. 장난감을 고를 때는 기능 목록을 보지만, 생활비를 고를 때는 단가를 봅니다. 하네스를 고를 때 캐시 히트율을 먼저 묻는 사람이 늘어나는 이유가 여기 있다고 봅니다.

절약법이 저장각이 된 순간, 에이전트는 장난감 자리를 떠났습니다. 저는 이 흐름이 되돌아가지 않는다고 판단합니다. 쓰는 시간이 길어질수록 청구서는 커지고, 청구서가 커질수록 절약법은 더 멀리 퍼집니다.

원문·소스

FAQ

자주 묻는 질문

절약법은 왜 저장각 콘텐츠가 됐을까요?
토큰 절약법이 지갑을 지키려고 챙겨두는 살림 문서로 분류됐기 때문입니다. FreeToken 발표 트윗은 좋아요 3,800을 받는 동안 북마크를 4,493 받았고, 재미있다는 반응보다 나중에 꺼내 쓰겠다는 반응이 더 많았어요.
청구서는 어디서 불어날까요?
같은 파일, 같은 지시, 같은 대화 기록을 턴마다 다시 읽는 반복이 그대로 요금으로 찍힙니다. 12세션 동안 프롬프트 토큰 9,240만 개가 들어갔는데, 캐시 없이 돌리면 전부 새로 계산해야 해요. 쓰는 습관에서 갈리는 문제입니다.
공급 쪽은 어디까지 내려왔을까요?
크웬의 125B 모델은 실제로 켜지는 파라미터가 6B이고, 같은 아키텍처를 쓰는 API 값은 입력 100만 토큰에 0.16달러예요. FreeToken은 8GB 게이밍 노트북에서 35B 모델을 초당 39토큰으로 돌렸습니다.
왜 하필 스페인어권이었을까요?
구독료는 달러로 청구되고 API 단가표는 어느 나라에서 접속하든 같지만, 버는 돈은 나라마다 다릅니다. 저는 139,474를 같은 요금을 같은 무게로 느끼는 사람들이 모여 만들어낸 숫자로 읽습니다.