구글이 시계열 예측을 한 번의 전방 계산으로 끝내는 모델을 냈습니다

구글리서치가 8월 31일 타임스에프엠-3를 발표했습니다. 시간 순서로 기록된 데이터의 다음 값을 예측하는 기초 모델(foundation model)이에요. 사람들이 발표 트윗을 117만 번 넘게 봤고, 이번 주 가장 많이 본 소재가 됐습니다.

매개변수 3억 3천만 개, 학습 데이터는 1조 시점 이상. 저는 규모보다 범위의 변화를 더 크게 봅니다. 전작 타임스에프엠-2.5는 변수 하나만 예측했어요. 이번 모델은 여러 변수의 미래를 한 번에 그려냅니다.

저는 공식 트윗과 블로그, 깃허브 README, 허깅페이스 카드를 모두 읽고 정리했습니다. 순위 수치와 함께 라이선스의 함정까지 옮깁니다.

구조는 디코더 전용 트랜스포머입니다

아키텍처부터 봅니다. 모델은 과거 시점을 32개씩 묶어 패치로 만들고, 시간축 어텐션과 변수축 어텐션을 교차시켜 예측 수평선 전체를 한 번의 전방 계산(forward pass)으로 처리합니다. 발표 제목의 "제로샷(zero-shot)"은 이와 별개로, 새 데이터로 추가 학습하지 않고 바로 예측한다는 뜻이에요.

모델은 값 하나 대신 10번째부터 90번째 백분위까지 아홉 개 분위수(quantile)로 예측을 내놓습니다. 단일 값 대신 구간으로 내다보는 거죠.

구글은 세 벤치마크에서 1위라고 밝혔습니다

깃허브 README의 벤치마크 표를 그대로 옮깁니다. fev-bench에서 100개 실전 예측 과제 전체 1위, 타임 벤치에서 50개 도메인 데이터셋과 98개 평가 과제 1위, 기프트이밸에서 파운데이션 모델 중 1위입니다.

비교 대상은 크로노스-2, 토토 2.0 계열, 전작 타임스에프엠-2.5입니다. 다만 구글이 직접 평가한 결과예요. 구글은 블로그에 과제별 점수 표를 싣지 않고 차트 캡션만 달았습니다.

구글은 허깅페이스 카드에 구조를 더 구체적으로 적었습니다. 컨텍스트 패치 길이 32, 예측 수평선 패치 길이 64, 트랜스포머 레이어 20개, 모델 차원 1280, 헤드 16개입니다. 사전학습에는 기프트이밸 프리트레인, 위키피디아 페이지뷰(2023년 11월 컷오프), 구글 트렌드 상위 질의(2022년 말 컷오프), 합성 데이터를 섞어 썼습니다.

가중치는 비영리 전용입니다

돌려보려면 라이선스를 먼저 확인해야 합니다. 사전학습 가중치는 별도 라이선스로 비영리·비프로덕션 용도에만 쓸 수 있어요. 구글은 상업 또는 프로덕션 사용을 허용하지 않습니다. 소스 코드만 아파치-2.0으로 열었습니다.

구글은 세 경로로 배포합니다. 깃허브 레포(별 2만 8,701, 포크 2,801)와 허깅페이스 체크포인트, 그리고 수 주 안에 들어올 빅쿼리 연동이에요. 이 글을 쓰는 시점에는 그중 깃허브와 허깅페이스에만 올렸습니다.

구글은 README에 단서를 하나 더 달았습니다. "이 오픈 버전은 구글의 공식 지원 제품이 아닙니다." 연구용으로 열었고, 운영 책임은 쓰는 쪽에 있다는 뜻입니다.

남는 생각

저는 이번 발표를 예측의 폭 확장으로 읽습니다.

전작까지는 변수 하나만 예측할 수 있었습니다. 이번 모델은 여러 변수를 한 번에 다루고, 분위수로 구간까지 제시합니다. 같은 입력으로 더 넓은 세계를 그릴 수 있게 된 거예요.

다만 상업 이용이 막힌 지금은 연구용 도구로 보는 게 정확해 보입니다. 구글이 비영리 라이선스를 언제 풀지 지켜볼 만해요. 라이선스를 여는 순간, 여러 팀이 이 모델을 얹은 제품을 낼 겁니다.

---

원문·소스

• 공식 트윗 (@GoogleResearch): https://x.com/GoogleResearch/status/2094483372718580066
• 블로그: https://research.google/blog/timesfm-3-a-zero-shot-foundation-model-for-multivariate-forecasting/
• 깃허브 레포: https://github.com/google-research/timesfm
• 허깅페이스 카드: https://huggingface.co/google/timesfm-3.0-pytorch