Mirelo SFX 2.0 영상 사운드 재생성: 대사 보존부터 API 설정·검수까지

Mirelo SFX 2.0은 영상 화면은 그대로 두고, 모델이 감지한 대사 연기와 효과음·환경음을 새로 만들어 내는 모델입니다. 편집이 끝난 영상에 새 사운드를 입히는 용도라서, 기존 음성 파일을 손대지 않고 남겨 두는 작업과는 성격이 달라요.

작업 순서는 이렇게 권합니다. 대사에서 무엇을 보존할지부터 정하고, 완성 편집본을 올린 뒤 길이와 후보 수를 설정하고, 생성·검수를 거쳐 편집기에 반영하는 흐름이에요. 컷을 여러 개 이어 붙인 편집본으로 작업하면 컷 사이 환경음이 자연스럽게 이어지는지까지 함께 볼 수 있다는 장점이 있습니다. 음악은 대사와 효과음 검수가 끝난 다음에 얹는 편이 낫습니다.

'대사 보존'이 원본 음성을 남긴다는 뜻은 아니에요

여기서 가장 많이 헷갈립니다. 공식 FAQ가 말하는 대사 보존은, 감지한 대사 연기를 새 주변 소리와 함께 다시 생성한다는 의미예요. 원본 음성 파형을 그대로 복사해 두는 기능으로 받아들이면 결과물이 기대와 어긋날 수 있습니다. 그래서 설정에 들어가기 전에 대사 연기만 유지되면 충분한지, 아니면 원본 녹음 자체가 꼭 있어야 하는지를 먼저 판단해 두는 게 좋아요. 이 차이는 Mirelo SFX 2.0 공식 발표의 FAQ에서 확인할 수 있습니다.

원본 음성 파형이 필요한 경우라면, 별도 음성 트랙을 확보하는 방법부터 검토하는 게 순서입니다.

기존 효과음과 환경음까지 바꿔 버리기 때문에 배경음악만 교체하는 작업과도 구분해야 해요. fal에는 return_speech라는 옵션이 있는데, 입력에서 분리한 음성을 별도 파일로 돌려줍니다. 문제는 대사 보존을 켠 생성 결과에 이미 재생성된 음성이 들어 있다는 점이에요. 분리된 음성을 그 위에 그대로 겹치면 목소리가 이중으로 들릴 수 있습니다.

Studio와 API, 완성 편집본은 이렇게 처리합니다

Studio에서는 아래 순서대로 진행합니다.

1. 로그인 후 프로젝트를 만들고 완성 편집본을 업로드합니다.
2. 영상 기반 사운드 생성을 선택하고, 필요하면 짧은 설명을 입력합니다.
3. 생성 후보를 화면과 함께 재생하며 대사와 동기화를 비교합니다.
4. 적합한 후보를 고르거나 설명을 수정해 다시 생성합니다.
5. 선택한 오디오를 다운로드해 편집기에 배치합니다.

프롬프트는 화면만 봐서는 알 수 없는 소리를 채워 넣는 데 쓰는 게 효과적이에요. 가령 '화면 밖의 먼 사이렌'을 설명으로 넣을 수 있고, API에서는 빼고 싶은 음악을 negative_prompt에 지정할 수 있습니다. 화면에 보이는 동작을 길게 묘사하기보다는, 영상에 드러나지 않는 의도를 전하는 쪽에 문장을 쓰는 게 낫습니다.

fal API에서 꼭 알아야 할 입력은 네 가지입니다. 필수 항목인 video_url, 대사 보존 여부를 정하는 preserve_speech, 생성 길이인 duration, 후보 개수인 num_samples예요. 기본값은 대사 보존 true, 길이 10초, 후보 2개로 잡혀 있습니다. 여기서 놓치기 쉬운 부분이 길이인데, 60초 영상 전체를 처리하려면 duration을 60으로 직접 지정해야 해요. 최대 지원 길이와 기본 생성 길이는 별개라서, 영상을 올리기만 하면 전체가 처리될 거라고 생각하면 곤란합니다.

생성 길이는 1~600초를 지원하고, 원본 영상 길이를 넘지는 않습니다. 요청을 제출한 뒤 상태를 조회하다가 완료되면 결과에서 오디오 파일 목록을 받아 오는 흐름이에요. 돌아오는 건 영상이 아니라 오디오이고, 기본 형식은 WAV입니다. 세부 입력과 응답 구조는 fal API 공식 문서를 기준으로 구현하세요.

받은 오디오는 편집기에서 원래 화면에 맞춰 놓고, 기존 오디오와 겹쳐 재생되지 않게 트랙을 정리한 다음 검수에 들어갑니다.

후보를 고르기 전에 볼 것: 대사, 동기화, 비용

후보를 비교할 때는 대사를 제일 먼저 들어 보길 권합니다. 동작과 컷 전환은 그다음이에요. 자음이 뭉개지거나 호흡이 어색하면 주변 소리가 아무리 좋아도 채택하기 어렵기 때문입니다. 대사가 괜찮다면 충돌음이 화면 속 접촉 순간에 맞춰 시작하는지, 같은 공간을 잇는 컷 전환부에서 환경음이 갑자기 바뀌지 않는지 차례로 확인하세요. 처음에는 전체를 한 번 듣고, 걸리는 구간만 따로 반복해서 비교하면 판단이 훨씬 수월해요.

완성 편집본을 통째로 올린다고 모델도 통째로 처리하는 건 아닙니다. fal은 10초를 넘는 입력을 내부적으로 10초 구간 단위로 처리한다고 안내하고 있어요. 그러니 전체 영상을 제출했더라도 구간 경계와 컷 전환부는 따로 들어 보는 게 안전합니다. 한국어 대사 품질과 실제 처리 시간에 대해서는 제시된 실측 근거가 없으므로, 자기 영상으로 품질과 소요 시간을 먼저 확인한 뒤 일정에 반영하는 편이 좋겠습니다.

다시 생성하기 전에는 길이와 후보 개수를 한 번 더 확인하세요.

비용 구조가 플랫폼마다 달라서예요. fal은 출력 초와 샘플 수를 기준으로 비용을 계산하므로, 같은 길이라도 후보를 늘리면 그만큼 비용이 커집니다. WaveSpeedAI는 요청한 duration을 기준으로 과금하는데, 원본보다 긴 시간을 요청해 실제 생성 길이가 줄어들더라도 요청한 길이가 그대로 적용돼요. 이 과금 기준은 WaveSpeedAI 공식 문서에서 확인할 수 있습니다. 필요한 길이와 비교할 후보 수를 미리 정해 두면 불필요한 재생성 비용을 줄이는 데 도움이 됩니다.