How I Fully Automated Video Editing (Claude Code)

Sandy Lee가 Claude Code로 영상 편집을 완전 자동화한 시스템(컷·자막·모션그래픽·효과음·AI B롤)을 툴·비용·라이브 데모까지 공개하는 영상입니다. (본인은 비개발자)

00:00Claude Code가 대신 편집해주는 것들

• 지금 보는 영상은 처음부터 끝까지 Claude Code가 편집했고, 본인은 영상을 폴더에 넣기만 하면 됨.
• 과거 AI 영상 편집기는 형편없었지만 좋아 보이게 만드는 방법을 찾음. 자동으로 하는 것: 모든 컷 편집, 데드 스페이스(빈 공간) 제거, 모션 그래픽 추가, 하단 자막(폰트·색상이 내 브랜드 키트 — 원하면 다른 스타일도 가능, 커스터마이즈 자유).
• 영상을 듣고 효과음(sound effect)을 자동 추가하고, 한 단계 더 나아가 영상 맥락에 맞는 AI B롤을 자동 생성.
• 남들이 잘 안 다루는 비용 문제도 다룰 것 — 몇 주간 직접 써봐서 정확한 비용을 알기에 공유해 돈 낭비를 막아주겠다. (초기 콘텐츠 시작 때 편집이 너무 오래 걸려 몇 번이나 포기할 뻔했던 경험).

02:12사용하는 정확한 툴들 (secret sauce)

• Claude Code — 본인은 Max 플랜(월 $100). 편집을 많이 안 하면 베이직 $20/월로 시작해 토큰 부족하면 업그레이드.

02:45Whisper & FFmpeg

• Whisper(무료) — 영상을 단어 단위로 전사(transcribe). 이 전사본을 기준으로,
• FFmpeg — 컷·트림, 반복해서 말한 부분 제거, 그리고 오디오 정리·노멀라이즈. 앞서 말한 효과음 기능도 이 툴에서 나옴. → 두 기능 모두 갖추는 게 중요.
• 하이퍼프레임즈(Hyperframes) — Hen(HeyGen)이 만든 오픈소스(무료), 앞서 말한 모션 그래픽·차트 애니메이션·다이어그램 담당. Remotion·Claw Design과 비교(별도 영상 있음) — Claw Design을 개인적으로 좋아하지만 자동 편집이 안 됨, 완전 자동 편집엔 하이퍼프레임즈 추천.

04:12힉스필드 AI B롤

• 힉스필드(Higgsfield) — AI B롤로 영상을 한 단계 업그레이드. 제네릭한 B롤은 지루하고, 인터넷 B롤은 저작권 문제(최악엔 그 구간을 잘라내야) → AI로 내 B롤을 직접 생성.
• 과거(MCP 이전)엔 플랫폼을 오가며 편집하기 힘들었지만, 이제 MCP로 맥락을 읽음. 예: 내가 "cut"이라고 말하면 AI는 (칼로 자르는 게 아니라) 클립을 컷한다는 맥락을 이해 → 힉스필드 MCP가 내 말을 정확히 읽어 최적의 B롤을 생성. 유명 편집 유튜버들은 다 B롤을 쓴다 — 중요.

05:36감독처럼 생각하라 (마인드셋)

• 초반엔 Claude를 내 스타일로 만드는 데 시간이 좀 걸림(본인은 너무 많이 썼지만, 다 공유하니 시청자는 덜 걸림).
• 핵심 마인드셋: 당신은 감독(아트/크리에이티브 디렉터)이다. "쿨한 영상 만들어줘"라고만 하면 Claude는 '쿨'이 뭔지 모른다. "이 스타일 vs 저 스타일"처럼 구체적으로 지시해야 함.
• 폴더 구조: 프로젝트별로 raw 파일 → output 파일. raw에서 편집하면 output 폴더에 결과가 들어감.
• 구체화 방법 = 스크린 캡처: 예로 Dean Martell의 자막 스타일(2단어씩, 폰트·브랜드 컬러 강조)을 캡처해 "이 스타일 좋은데 색만 내 브랜드 키트 색(골드)으로 바꿔줘"라고 지시. 시네마틱으로 갈지, 애니메이션을 넣을지 등 원하는 걸 구체적으로 감독하라.
• (참고: 롱폼→숏폼 재활용 시스템도 시도 중 — 궁금하면 댓글에 "shorts" 남기면 영상 제작)

08:21실제 비용

• 좋은 소식: Claude가 편집할 때 크레딧이 아니라 토큰을 쓴다. 만약 크레딧이었다면 요청마다 큰돈이 나갔을 것. 토큰(사용 한도 있음) 기반이라 Claude 구독료만 내면 됨.
• 프로급으로 깔끔하게 하려면 B롤(힉스필드) 추가 — 영상당 약 $2~$7. 편집자 고용($50~$3,000/롱폼, 스킬에 따라)에 비하면 훨씬 저렴하고 커스터마이즈 가능.

09:51전체 라이브 데모 세팅

• 사용 IDE는 Antigravity IDE(무료) — Antigravity 에이전트는 토큰이 너무 빨리 소진돼 못 쓰지만 IDE는 계속 사용, 그 위에서 Claude Code 구동. (현재 롱폼→숏폼 작업 중)
• 셋업 순서: ①OpenAI Whisper 다운로드 ②FFmpeg 다운로드 ③힉스필드 MCP(hickfield.ai/mcp) + 하이퍼프레임즈 MCP(hyperframes.hen.com) 연결. Claude Code에 복붙만 하면 됨.
  • MCP 연결 확인: 슬래시 커맨드 → MCP servers 입력해 연결 상태 확인. 연결이 안 되면 Antigravity/Claude Code를 껐다 재시작.
• 폴더 구조: cloud 폴더 안 long form 프로젝트에 커뮤니티 공유용 MD 파일 + raw 폴더(영상 투입) → 결과는 output으로.
• 브랜드 MD(폰트·색)를 넣고, 인트로 디자인용 프롬프트를 복붙. 더 나아가 스킬로 저장 — /long form edit 커맨드로 저장해두면 Claude가 읽고 전 과정을 시작.
• 데모: /command long form edit + edit sandy lead.ai … in raw folder → 편집 시작. 크레딧이 아니라 토큰 사용(크레딧이면 큰돈).
• 모델 팁: 실행(action)은 Sonnet, 계획·셋업은 Opus(가장 똑똑) 추천. 모델 변경은 슬래시 커맨드 → switch model. 자동으로 Fable로 갔는데, Fable은 이 작업엔 너무 비싸서 중단하고 Sonnet으로 변경. (고ROI 프로젝트라면 Fable 사용)
• 첫 라운드에서 완벽을 기대하지 말 것 — 여기저기 조정 필요. 어차피 토큰을 쓰니 내 스타일로 최선의 결과를 뽑아내라. (하이퍼프레임즈는 코드로 만들기에 크레딧 절약. 하이퍼프레임즈 GitHub에 설명·다운로드 가능한 스킬들이 있음 — 설명란에 링크. HeyGen이 만든 거라 Hunam 아바타 다운로드를 유도하지만 안 해도 됨)

16:57힉스필드로 B롤 만들기

• B롤 생성 전에 Claude가 질문을 하도록 설정 — 힉스필드는 크레딧(=돈)을 쓰므로 랜덤 B롤로 낭비하지 않기 위함. Claude가 전체 맥락을 읽어 컷 리스트를 만들고, 4~5단어짜리 'B롤이 필요한 순간'을 식별.
• 전사에 2~3분 소요. 데모용으로 인트로만 하려 했는데 전체 영상을 편집해 구조·아이디어(어디에 B롤·애니메이션을 넣을지)까지 제안. 훅(hook)을 특히 신경 씀 → "인트로부터 같이 작업하자."
• ("Claude가 일하는 동안 초콜릿 먹는 게 이 시스템의 묘미" — 대기 중 다른 작업/영화 시청)

20:45최종 편집 영상

• 하이퍼프레임즈 프리뷰(스토리보드 포함) 확인. 처음엔 프리뷰가 잘 안 떠서 기다림 → Claude Code는 계속 사고 중, 힉스필드 AI를 MCP로 사용하는 게 보임. 몇 번 프롬프트를 주고받은 뒤 완성.
• 마음에 들어 MP4로 렌더링. "이거 고쳐/저거 고쳐"를 몇 번 시켰지만, 직접 편집하면 모션 그래픽·B롤 찾기에만 몇 시간 걸렸을 것(게다가 모션 그래픽 할 줄도 모름). MCP 덕에 훨씬 쉬워진 게 최고.
• 최종 영상이 Claude Code로 편집됨을 확인 — 초보자일수록 이 시스템을 도입하면 시간을 크게 절약해 더 많은 영상을 발행할 수 있다. (롱폼→숏폼 궁금하면 댓글 "shorts", 훅·스크립트 등 전체 시스템은 다른 영상 안내)

📌 최종 요약 정리

• Sandy Lee가 비개발자로서 Claude Code로 영상 편집을 완전 자동화한 파이프라인 — 영상을 raw 폴더에 넣으면 컷·데드스페이스 제거·브랜드 자막·모션그래픽·효과음·AI B롤까지 자동 생성된다.
• 툴 스택: Claude Code(Max $100 또는 베이직 $20) + Whisper(무료 전사) + FFmpeg(컷·트림·오디오·효과음) + 하이퍼프레임즈(무료 오픈소스, 모션그래픽) + 힉스필드(AI B롤, MCP 연결). Whisper/FFmpeg 설치 후 두 MCP를 붙이고 /MCP servers로 확인, 안 되면 재시작.
• 비용의 핵심: 편집 자체는 크레딧이 아닌 토큰 기반이라 구독료만 내면 되고, B롤(힉스필드)만 영상당 $2~$7로 편집자 고용($50~$3,000)보다 훨씬 싸다. 모델은 셋업=Opus, 실행=Sonnet 추천(Fable은 이 작업엔 과함).
• 관통하는 마인드셋: "당신은 감독" — "쿨하게"가 아니라 원하는 스타일을 스크린 캡처+구체적 지시로 감독해야 하고, B롤은 Claude가 맥락(예: "cut")을 읽어 낭비 없이 생성한다. 첫 결과는 완벽하지 않으니 조정하되, 그래도 수작업 대비 몇 시간을 절약한다는 것이 결론이다.

전체 대본(타임스탬프 포함) 원문이 필요하면 말해줘 — 그대로 붙여줄게.