본문으로 건너뛰기

첫 AI 영상 제작기

Apps › Branch › devlog · 26.09.29

Prologue

D-log를 기획하면서 한번 해보고 싶었던게 Landing Page를 인터렉티브하게 꾸미고, 이 랜딩페이지가 나의 PR이 될 수 있게 역할했으면 좋겠다는 것이었다.

그래서 애초에 나의 닉네임인 "가지두부"와 엮어서 만들 수 있는 랜딩페이지를 연출하고자 하였고, 첫 랜딩페이지는 나무를 주제로 만들었었다.

잠들기전 문득 연출이 떠올랐는데, 그래서 얼른 노트에 옮겨 적었다.

위에서 보면 사방으로 뻗은 나무의 가지가 보임, 나무는 눈속메 있는 겨울 자작나무임 (하얀색 나무 껍질을가진)
내가 사주적으로 을목사주 + 겨울생임을 암시.
스크롤을 내리면 카메라가 탑뷰에서 정면뷰로 내려오면서, 겨울에 홀로 서있는 자작나무 한그루가 보임. 잎은 없이, 가지들이 하나씩 있음.
큰 가지는 카테고리며, 해당 카테고리에 새로운 것들이 추가 될때마다 가지가 생겨남.
스크롤을 내리면 나무 주위를 회전하면서 여러 가지/카테고리를 볼 수있음. 가지에는 점만 찍히며, 프로젝트 명들이 약칸 별자리 처럼 써져있음.
그리고 스크롤을 계속 아래로 내리면, 나무를 한바퀴 회전한뒤, 카메라가 나무를 아래서 위로 보는 형태로 전환하게 되며, 바닥으로 카메라가 들어가며 하늘을 보게 됨.
이때 전체 카테고리가 한 화면에 각 별처럼 찍혀서 보이게 됨.
그리고 각지를 클릭하거나 사이트맵을 통해서 프로젝트별 피드로 들어갈 수 있음.
가지를 통해서 피드로 들어가는 효과는 고민중.

그리고 해당 연출을 GPT에게 어떤식으로 나올지 콘티를 맡겼다.

20260929-landing-reference-2026-09-14
made by GPT-6

"가지두부"에 맞게,
"가지"가 가진 중의적인 의미의 Branch를 활용하고,
"두부"가 가진 부드러움과 하얀 느낌을 눈과 자작나무에서 가져왔었다.

그래서 연출한 것이 하늘위 나무에서 시작해서 나무 가지위에 달린 프로젝트들을 둘러 볼 수 있게 함이었다. 또, 각 프로젝트들이 성장함에 따라. 또 새로운 것들이 만들어질 때마다 가지가 늘어나는 연출을 해보고 싶었다.

결론은... 매우 어려웠다.

사실 저 연출을 만들고 Claude에게 저런식으로 연출해서 제작해 달라했을때 받은 결과물은 처참했다.

20260929-gate0-first
made by Claude

위에 보이는 이미지가 위의 연출을 들은 클로드가 만들어낸 나무 이미지인데, 진짜 눈을 의심했다. 🥹🥹 아무리 그래도 이런 3D 모델링이 나올줄이야. 텍스쳐나 가지의 뻗어나감의 랜덤성도 없는 매우 조잡한 모양.

그리고 나서, 다시 GPT로 옮겨가서 HTML기반으로 이미지가 아닌 구동 가능한 형태를 요청했고 아래와 같은 이미지를 만들었다.

20260929-screenshot-2026-09-29-at-10-14-31-pm
made by GPT

보다시피 모델링과 페이지 디자인의 차이가 느껴진다.

사실 두가지 결과물에 대해서 입력된 프롬프트 차이도 크지 않았음에도 불구하고, 이미지화하여 구현하는 것에는 차이가 좀 있는 편임을 다시한번 느꼈다. 해당 이미지 생성간 대화한 모델은 둘다 ASTRA와 FABLE로 작업당시 제일 프론티어 보델이었다.

그리고 GPT와 Claude를 번갈아 계속 쓰면서 느끼는 바지만, 이미지를 생성하거나 3D 모델을 생성하기위해서 Blender를 다루는 능력은 아직 GPT가 더 우위에 있는 것 같다고 개인적으로는 생각한다.

이 글을 시점에서도 Opus 5.5가 나왔지만, 지금까지 생각은 변함 없다. 왜냐면 모델링을 2가지를 시켰을 때 차이가 심했기 때문에... (첨부할 영상을 보면 이해할 수 있겠지만 아직 본 페이지에 영상 첨부 기능이 없다...)

무튼, 다시 돌아와서 이러한 초기 컨셉트를 잡았다가 조금 더 포토리얼한 느낌을 주고싶었고, 서칭을 해보니, 포토리얼한 느낌을 주기 위해서는 실제 사진을 기반해야 하고, 또 인터렉티브한 페이지를 위해서는 영상을 기반으로 해야한다는 사실이었다.

그래서 결론적으로 아직까지 단, 한번도 해본적 없던 AI 영상을 시도해보게 되었다.

그렇게 추석 가족들이 만난 자리에서 이와 같은 경험을 누나네 부부와 공유했고, AI 영상을 만들기 위한 사이트도 추천 받았다.

나는 Aicron(https://aicron.io/)을 플랫폼으로 썻는데, 사실 Higgsfield(https://higgsfield.ai/)와 다르지 않은 플랫폼이라고 보면 된다.

둘다 다양한 AI 영상모델을 쓸수 있도록 모아놓은 플랫폼이었으며,
어떤 영상 플랫폼이 괜찮은지 모르는 나에게, 어쩌면 비용 효율적으로 좋은 선택지였다.

Body

앞서서 말했듯, 나는 기존 페이지가 주는 너무 조잡한 3D 모델 느낌의 페이지에서 벗어나, 포토리얼의 느낌을 줄 수 있는 페이지를 기획하고 싶어서, 새로이 영상을 활용하여 랜딩페이지를 만들고자 했다.

1. 기획

그래서 처음한건 당연히도 기획이었다.

어떤식으로 기존의 연출과 다르게 가져갈 건지를 고민했다. 기존의 연출이 너무 심심하고 직관적이지 못하다는 판단에, 별, 나무, 뉴럴네트워크를 하나의 축으로 연결해보자했다.

그리고 그 연결을 인터렉티브 디자인으로 스크롤을 따라서 진행되는 영상을 만들고자 했다.

그래서 나온 것이 하늘에서 떨어진 씨앗이 자라서 나무/가지가 되고 그 가지가 뉴럴 네트워크로 연결 되는, 그런 스토리.

그리고 아래는 해당 스토리를 쓴 프롬프트다.

*"Landing Page를 만들기 위한 Base 영상 제작을 할것. 본 세션은 이를 위한 연출 프롬프트 작업임. 영상의 목적은 Landing page의 Interactive Design을 위한 것임. 연출을 위한 콘티를 생성하면서, 나와 논의하고 있는게 맞는 방향으로 가는지도 같이 확인하면서 갈 것.
아래는 내가 글로 풀어쓴 연출임. 해당 연출을 보강/개선하고 콘티를 짜는 작업과 해당 콘티를 같이 확인하면서 프롬프트를 짜보자

  1. 영상의 시작은 씨앗 하나로 시작함. 씨앗이 아래로 떨어지면서 땅에 심어짐 (Landing Page에서는 스크롤에 따라 씨앗이 이동하며, 스크롤 다운 하면 씨앗이 하강함. 그리고 쭉 일정 이상 하강하면 씨앗이 심어짐)
  2. 씨앗이 심어지면 사계절과 낮/밤이 반복적으로 흐르는 배경 연출과 함께 씨앗이 자라나서 큰 나무가 됨. (나무의 종류는 아직 고민중, 바오밥 나무, 자작나무 등이 후보군임 _ 라이온킹의 무파사의 바오밥 나무를 생각 중. 또는 내 배경에 맞게, 한국적인 은행나무도 생각 중 _ 의미에 따라 그리고 연출에 따라 달라질듯) / 나무는 독립적으로 혼자 있음.
  3. 씨앗에서 큰나무로 커갈 때, 나선으로 카메라가 줌아웃 되며 최종적으로 탑뷰로 넘어감. (Landing Page 에서 스크롤에 따라서 카메라 전환이 이뤄질 것임)
  4. 탑뷰로 넘어가는 시점은 겨울밤이 되어서 어두워 지며 (나무에는 잎이 없이 가지만 사방으로 뻗쳐있음), 해당 가지가 자연스래 Neural Network로 전환됨. 그리고 Eletrical Signal 이 랜덤하게 사방 뻗친 Neural Network로 순차적으로 뻗어감.
  5. 여기까지가 영상은 마지막임. 다만 Landing Page에서 추가적으로 편집해야할 것은 Electircal Signal이 사방으로 뻗어가는 가장 마지막 끝 가지에 마우스가 스크롤 오버 되면, 해당 가지 끝으로 Signal이 다시 뻗어나가는 연출과 함께, 메뉴 이름이 뜰 것임. ("Games", "Apps", "Thoughts", "Hobbies" ... ), 이러한 가지가 현재 메뉴수에 맞게 최소 6개는 준비되어야함. 그리고 해당 끝 가지를 누르면 하단에 이어지는 Landing 페이지로 스크롤 다운되어서 내려감.
  6. 이와 별도로 Neural Network까지 왔으면, 그 이하로 스크롤 하면, 순차적으로 메뉴가 뜸. (해당 섹션 메뉴들은 내가 별도로 준비중. 우선은 본 랜딩 페이지를 위한 영상 연출 프롬프트를 준비하는게 본 세션의 목적)
    "*

2. 콘티구성

바로 해당 스토리를 기반으로 구성할 수 있는 콘티를 다시 GPT와 논의하였고, 총 12장의 콘티 이미지를 만들었다.

20261001-conti1
20261001-conti2
20261001-conti3
20261001-conti4

매우 그럴듯한 브랜드 광고 이미지 같지 않은가?

3. 3D 모델링

콘티를 만들었으니, 이를 영상으로 만들기 위해서 고민한 방법은 크게 2가지였다.

1. Start to End라는 이미지를 영상화 하는 방법.
2. 스토리보드를 기반으로 3D 모델링 영상을 제작하고, 모델링 영상과 이미지를 참조 시켜서 영상을 제작하는 방법.

당연히, 위에 매우 훌륭한 품질의 콘티 이미지를 만들었기에 나는 1번부터 시도해봤다.

그리고 답이 아니란걸 바로 깨달았는데, 문제는 이미지 전환의 문제였다.
분명 카메라의 전환이나 연출 방식의 의도를 프롬프트로 주었는데도 불구하고, 이미지의 전환을 단순하게 화면 바꿈과 같은 매우, 단순한 방법으로 처리해버렸다.

분명 프롬프트로 자라나는 모습을 표현해달라했는데, 그냥 전환으로 처리해버리는 AI...
매우 화가 나는 포인트...

그리고 이 부분에 대해서는 이미 이미지 모델이나 녹음 전사모델을 쓰면서 느낀 거지만, 프롬프트를 무시하는 걸 강제로 걸 수 가 없기에, 좀 빠르게 포기했다.

그리고 당연히 선택한것은 2번.

2번의 경우도 GPT와 Claude 둘다 맡겨보았고, 큰... 차이를 경험했다.
3D 모델링 성능의 차이가 좀 컸다.

그렇게 모델링 한 영상은,

꽤 그럴 듯하게 만들어졌다.
그리고 모델링한 영상에 만족하고 최대 50mb, 30초 범위 내로 편집 한뒤, 이미지 생성에 맡겼다.

이때, 좀 비싸더라도 (거의 1080p 기준 2만원어치 토큰), 가장 최신 모델인 seedance 2.5에 맡겨 봤는데, 매우 실수였다...

왜냐면 나온 영상이,

뭐 그냥 모델링을 사진으로 조금 전환한 정도,
어느 창의성이나 이미지 개선은 없고, 텍스쳐나 배치 등은 그냥 모델을 그대로 따라가버렸다. 내가 모델을 주면서 의도한 건, 각각의 배치와 카메라 구도 등으로 난 사용 되길 원했는데, 전혀 다른 방향으로 가버렸다.

아무래도 주변에 계정을 보면, 굉장히 잘 만들어진 영상들이 많던데, 어떤 식을 만드는지 한번 알아봐야겠다는 과제를 남기며, 마쳤다.