파일을 폴더에 던지기만 하면 에이전트가 영상을 편집합니다

원시 영상과 파일을 폴더에 던지면 에이전트가 편집본을 만들어 줍니다. 타임라인도, 수동 편집도, 우회로도 없이요. 브라우저유즈가 공개한 클로드 코드용 오픈소스 편집기 비디오유즈의 소개 문구입니다.

사람들은 이 소식을 전한 트윗을 41만 번 넘게 봤습니다. 스페인어로 쓴 바이럴 소개 트윗은 이렇게 적었죠. "누군가 방금 클로드 코드용 무료 영상 편집 도구를 만들었다. 그리고 그건 미친 짓이다." 브라우저유즈는 4월에 레포를 만들었고, 별 2만 2,707개와 포크 2,802개를 받았습니다.

비디오유즈에서 모델은 영상을 보지 않고 읽습니다. 저는 트윗과 레포 README, 스킬 파일의 하드 룰까지 읽고 아래에 정리했습니다.

에이전트는 다섯 단계로 편집합니다

만든 팀은 README에 동작 원리를 한 줄로 적었습니다. "LLM은 영상을 절대 보지 않는다. 읽는다."

에이전트는 전사, 압축, 추론, 편집 목록, 렌더 순으로 작업합니다. 마지막에 스스로 평가해서 문제가 있으면 고쳐 다시 렌더하고, 수정은 최대 세 번으로 끊어요.

전사는 일레븐랩스 스크라이버가 맡습니다. 스크라이버는 단어 단위 타임스탬프와 화자 분리를 제공하고, 비디오유즈는 모든 테이크를 약 12KB 텍스트 파일 하나로 압축합니다.

4천 5백만 토큰을 12KB로 줄였습니다

원시 프레임 3만 개를 토큰으로 넣으면 모델에 4천 5백만 토큰어치 노이즈를 먹이게 됩니다. 비디오유즈는 그걸 12KB 텍스트와 PNG 몇 장으로 줄여요. 스크라이버로 단어 경계를 잡고, 장면은 필요할 때만 PNG로 확인하는 2층 구조입니다.

편집 규칙도 꼼꼼하게 정해뒀습니다. 모든 컷에 30밀리초 오디오 페이드를 넣어 팝 소리를 막고, 단어 중간은 절대 자르지 않습니다. 400밀리초 이상 침묵을 가장 깨끗한 컷 후보로, 150밀리초 미만을 위험한 구간으로 분류합니다. 스크라이버가 타임스탬프를 50~100밀리초씩 어긋나게 찍기 때문에 컷 가장자리에 패딩도 둡니다.

기본 자막은 두 글자 대문자 덩어리로 넣습니다. 애니메이션 오버레이는 하이퍼프레임스, 레모션, 마님, PIL 중에서 골라 병렬 서브에이전트로 돌립니다.

무료지만 API 키는 필요합니다

브라우저유즈는 레포와 스킬을 MIT로 공개했습니다. 다만 전사에 일레븐랩스 API 키가 필요해요. 완전 무비용은 아닙니다.

소개 트윗은 "레모션을 넘어선다"고 했지만, README를 보면 비디오유즈는 레모션을 애니메이션 오버레이 엔진 중 하나로 불러 씁니다. 바이럴 소개에 과장을 조금 섞은 셈이에요.

만든 팀은 스킬 파일에 하드 룰 12개를 적어뒀습니다. 자막은 필터 체인의 마지막에 적용, 손실 없는 세그먼트 연결, 컷 안쪽 패딩, 단어 단위 원문 전사만 사용, 소스별 전사 캐시, 모든 출력은 편집 폴더에 저장. 에이전트가 믿고 따를 수 있는 규칙 목록입니다.

남는 생각

저는 이 도구를 편집의 문법 변화로 봅니다.

에이전트는 이제 영상을 보지 않고 읽어서 편집합니다. 시간축을 직접 만지는 대신 텍스트로 자르고 이어붙이는 방식이에요. 에이전트로 영상을 다루는 사람들은 4천 5백만 토큰을 12KB로 압축하는 이 설계를 기본으로 쓰게 될 거라고 봐요.

저는 다음에 같은 파이프라인을 오디오 팟캐스트나 라이브 클립에도 쓰게 될 거라고 예상합니다.

---

원문·소스

• 소개 트윗 (@lisaknowsai): https://x.com/lisaknowsai/status/2094061655990702150
• 레포: https://github.com/browser-use/video-use
• 15초 데모 (TikTok): https://www.tiktok.com/@browser_use/video/7639824093721758989