Fronmpt← 모든 글
블로그5분 읽기

8GB 게이밍 노트북이 35B 프론티어 모델을 초당 39토큰으로 돌립니다

버클리 연구진의 오픈소스 추론 엔진 FreeToken이 8GB RTX 4060 노트북에서 35B 모델을 초당 39토큰으로 돌립니다. 753B GLM-5.2도 GPU 한 장에서 초당 15토큰으로 돕니다.

8GB RTX 4060 노트북에서 크웬3.6 35B가 초당 39토큰으로 돕니다. RTX 5090 데스크톱에서는 284B 딥시크 V4-Flash가 초당 22~25토큰, RTX PRO 6000 워크스테이션에서는 753B GLM-5.2가 초당 15토큰이에요.

전부 극단 양자화 없이 공식 체크포인트 그대로 낸 숫자입니다.

8월 21일에 올라온 발표 트윗은 조회 1,063,851을 기록했는데, 좋아요보다 북마크가 많았습니다. "재밌다"가 아니라 "내 장비에 깔아봐야겠다"는 반응이 다수였다는 뜻이에요.

실제 구동 장면을 담은 데모 영상을 붙인 발표 문구는 이렇게 끝납니다. "클로드 코드든 코덱스든, 이제 프론티어 모델로 0달러에 돌리세요." 버클리 연구진이 공개한 오픈소스 추론 엔진, FreeToken 이야기입니다.

FreeToken은 어떻게 게이밍 PC에서 프론티어 모델을 돌리나요?

핵심은 접근의 방향이 반대라는 점입니다.

지금까지 로컬 실행은 모델을 깎아서 우겨넣는 방식이었어요. 4비트로 누르고, 성능 저하를 감수하고, "그래도 로컬이니까"로 위안하는 구조였습니다. 그 대가로 공식 체크포인트와는 다른 물건을 돌리게 되고요.

FreeToken은 모델 대신 하드웨어를 쥐어짭니다. GPU, CPU, 램, 인터커넥트를 하나의 탄력적 추론 플랫폼으로 묶어서, 게이밍 PC 한 대가 가진 자원을 남김없이 긁어 쓰는 쪽이에요.

이게 가능한 건 MoE 구조 덕입니다. 혼합전문가 모델은 추론 때 전문가 일부만 켜지는데, FreeToken은 대역폭에 맞춰 전문가를 CPU와 GPU에 동적으로 배분하고, 자주 쓰는 전문가만 VRAM에 캐시합니다. 753B 모델이 GPU 한 장에서 도는 트릭의 정체가 이겁니다.

저자가 후속 트윗에서 방법론을 두 구절로 요약했습니다. "대역폭 적응형 CPU-GPU 실행, 그리고 시맨틱 인지 캐싱." 근거는 아카이브 논문으로 걸어뒀고요.

올라마보다 얼마나 빠른가요?

속도 주장도 구체적입니다. 같은 후속 트윗에서 로컬 실행의 사실상 표준인 올라마와 비교해 디코드 34배, 프리필 630배 빠르다고 못을 박았어요.

프리필 격차가 특히 큰 게 눈에 띕니다. 프리필은 긴 컨텍스트를 읽어들이는 단계라, 코드베이스를 통째로 물고 시작하는 코딩 에이전트 워크로드에서 병목이 되는 구간이거든요.

에이전트 작업을 위한 장치도 따로 들어 있습니다. 툴 호출이나 사고 블록으로 컨텍스트가 수정돼도 재계산을 피하는 시맨틱 앵커 체크포인트예요. 채팅 데모가 아니라 클로드 코드·코덱스 같은 코딩 에이전트를 정면으로 겨눈 설계라는 게 여기서 드러납니다.

누가 만들었고 어떻게 설치하나요?

Song Han, Ion Stoica, Matei Zaharia, Kurt Keutzer. 효율 추론과 분산 시스템의 교과서급 이름들이 저자 명단에 올라 있습니다. 익명 레포의 과장 벤치마크로 치부하기 어려운 라인업이에요.

배포 형태도 진입장벽을 낮추는 쪽입니다. 아파치 2.0 오픈소스에, 앤트로픽·오픈AI 호환 API라 기존 코딩 에이전트에 바로 물립니다. 네이티브 GUI에 한 줄 설치까지, 연구 코드가 아니라 제품의 모양새입니다.

답글창은 그대로 수요의 지도가 됐습니다. 맥 지원은 "가는 중"이라는 답이 달렸고, 듀얼 GPU 구성, 안드로이드, VS Code 연동, 윈도우 설치 폴더, 아치 리눅스 설치 깨짐까지 질문이 쏟아졌어요. 구경꾼의 감탄이 아니라, 지금 당장 자기 장비에 얹으려는 사람들의 질문 목록입니다.

모델과 엔진은 어느 방향으로 움직이나요?

닷새 뒤에 나온 크웬 Flash-Next와 겹쳐 보면 그림이 완성됩니다.

크웬의 새 모델은 활성 파라미터가 6B예요. 모델 쪽은 추론 때 켜지는 부분을 줄이는 방향으로 가고, 엔진 쪽은 FreeToken처럼 소비자 GPU로 내려오는 방향으로 가고 있습니다. 양쪽이 같은 지점을 향해 움직이는 거예요.

MoE에서 활성 파라미터가 작아질수록, 전문가를 CPU와 GPU에 나눠 태우는 FreeToken 방식의 이득은 커집니다. 모델 설계의 흐름 자체가 이 엔진의 순풍인 셈입니다.

남는 생각

저는 이 물건이 셀프호스트의 임계점이라고 봅니다.

어제까지 로컬 프론티어는 다중 GPU 서버의 영역이었어요. 이제 조건이 게이밍 PC와 전기요금으로 내려왔습니다. 구독료를 내는 이유였던 "내 장비로는 못 돌린다"가 무너지는 지점이에요.

토큰 비용의 구조 자체가 바뀌는 신호이기도 합니다. API 과금은 쓴 만큼 무한히 늘어나는 변동비인데, 로컬 실행은 이미 산 GPU에 전기요금만 얹는 고정비 구조거든요. 에이전트가 24시간 토큰을 태우는 시대에 이 차이는 갈수록 벌어질 수밖에 없습니다.

다만 초기 버전 특유의 거칢은 감안해야 합니다. 답글창의 설치 깨짐 보고가 말해주듯 지원 포맷과 설정 성숙도가 아직 좁고, 맥 사용자는 기다려야 하고, 리눅스 배포판에 따라 설치가 깨지는 상태예요.

그래도 방향은 정해졌다고 봅니다. 교과서급 저자들이 아파치 라이선스로 문을 열었고, 발표를 본 사람들은 감상 대신 저장을 택했어요. 구독료의 시대 다음은 전기요금의 시대입니다.

원문·소스

FAQ

자주 묻는 질문

FreeToken은 어떻게 게이밍 PC에서 프론티어 모델을 돌리나요?
모델을 4비트로 깎는 대신 GPU, CPU, 램, 인터커넥트를 하나의 탄력적 추론 플랫폼으로 묶습니다. MoE 전문가를 대역폭에 맞춰 CPU와 GPU에 동적으로 배분하고 자주 쓰는 전문가만 VRAM에 캐시해, 753B 모델도 GPU 한 장에서 돕니다.
올라마보다 얼마나 빠른가요?
저자가 후속 트윗에서 디코드 3~4배, 프리필 6~30배 빠르다고 밝혔습니다. 프리필은 코드베이스를 통째로 읽어들이는 코딩 에이전트 워크로드의 병목 구간이라 이 격차의 의미가 큽니다.
누가 만들었고 어떻게 설치하나요?
Song Han, Ion Stoica, Matei Zaharia, Kurt Keutzer가 저자 명단에 오른 버클리 연구진의 물건입니다. 아파치 2.0 오픈소스에 앤트로픽·오픈AI 호환 API, 네이티브 GUI, 한 줄 설치까지 갖췄습니다.
모델과 엔진은 어느 방향으로 움직이나요?
닷새 뒤 나온 크웬 Flash-Next는 활성 파라미터가 6B입니다. 모델은 추론 때 켜지는 부분을 줄이는 방향으로, 엔진은 소비자 GPU로 내려오는 방향으로 같은 지점을 향해 움직이고 있습니다.