AI 음성 · 나레이션을 만드는 방법
목차
영상만 AI로 만들어도 나레이션이나 대사가 기계적이라면 단번에 '생성물 같음'이 나옵니다. AI 음성은 문장을 읽는 TTS뿐만 아니라 말하기, 감정, 속도를 조정하고, 긴 척을 Studio로 정리하고, 다언어화할 수 있는 단계까지 와 있습니다. MV의 직극, 해설 동영상, 쇼트 동영상, 캐릭터 소개에서는 특히 효과가 큰 공정입니다.
AI 음성으로 할 수 있는 일
가장 기본적인 것은 Text to Speech, 즉 문장에서 음성을 만드는 기능입니다. 대본을 입력하여 목소리를 선택하고 생성된 음성을 동영상 편집 소프트웨어로 가져갑니다. 단순한 독서뿐만 아니라, 서비스에 따라서는 웃음, 속삭임, 흥분한 말투 등의 표현을 지시할 수 있습니다.
게다가 기존의 목소리·연기를 다른 음색으로 바꾸는 Speech to Speech, 복수의 음성을 나란히 긴 작품을 정돈하는 Studio, 다른 언어로의 더빙·현지화 등도 있습니다. 대응 언어나 연기의 지정 방법은 모델마다 다르기 때문에, 일본어의 대본을 짧게 생성해 읽는 방법을 확인합니다.
동영상 제작자가 AI 음성을 사용하는 장면
1. 해설 나레이션
AI 동영상을 만드는 방법, 뉴스, 랭킹, 상품 소개와 같은 동영상에서는 설명을 들을 수 있도록 읽는 방법과 볼륨을 확인합니다. 매번 스스로 녹음하지 않아도 대본 수정 후 바로 음성을 다시 만들 수있는 것이 AI 음성의 강점입니다.
2. 캐릭터의 대사
MV의 전후에 치즈극을 넣는, 캐릭터가 한마디 말하는, 복수인물이 대화하는 등의 사용법입니다. 같은 캐릭터에 같은 목소리를 할당하면 영상뿐만 아니라 소리에서도 인물을 고정할 수 있습니다.
3. 해외용 날아다니기
일본어판을 만든 후 영어, 중국어 등으로 전개하는 경우 자막뿐만 아니라 음성까지 바꾸면 시청 체험이 크게 바뀝니다. 특히 Shorts 및 TikTok에서는 화면 내 텍스트를 읽기 전에 벗어날 수 있으므로 음성 현지화가 활성화될 수 있습니다.
4. 임시 내레이션
궁극적으로 인간의 내레이터를 사용하는 동영상에서도 편집 단계의 임시 음성으로 AI를 사용할 수 있습니다. 대본의 길이, 컷의 척, 자막의 위치를 먼저 결정하고 나서 본 녹음할 수 있으므로, 편집의 손 반환을 줄일 수 있습니다.
ElevenLabs를 사용하는 흐름
대본을 입력하고 Text to Speech에서 목소리를 골라 생성한다. 처음에는 한 문장만. 목소리와 읽는 방식이 정해지면 나머지를 만든다. 문단이나 대사별로 나누면 실패한 부분만 다시 만들 수 있다.
대본은 '판독용'으로 고치는 것이 포인트입니다. 웹 기사의 문장을 그대로 읽으면 한 문장이 너무 길거나 괄호가 많아서 듣기가 어려워집니다. 1문을 짧게 해, 숫자의 읽는 방법이나 영문자 표기를 필요에 따라서 히라가나・가타카나에 고쳐 줍니다.
동영상 편집 측에서는, 우선 음성을 타임 라인에 두고 나서 영상을 맞추는 방법이 추천입니다. 사람은 소리의 도중을 부자연스럽게 자르면 위화감을 느끼기 쉽기 때문에, 먼저 나레이션의 사이를 확정해, 그 사이에 AI 동영상이나 화상을 늘어놓습니다.
자연스럽게 들려주는 요령
문장을 '쓰는 말'에서 '말씀'으로 바꾼다.
한 문장에 복수의 화제를 채우지 않고, 청취자가 구분을 파악할 수 있는 길이로 합니다. 예를 들어 "음성 생성 후 자막 작성 및 음량 조정을 실시합니다"는 "목소리가 나면 자막을 붙입니다. 마지막으로 음량을 갖습니다"라고 나눌 수 있습니다.
구두점을 연출로 사용
독점과 구점은 음성 사이에 영향을 미칩니다. 중요한 한마디의 전후를 짧은 문장으로 나누는 것만으로도 듣기 쉬워집니다. 생성 모델에 따라서는 음성 태그나 감정 표현을 사용할 수 있기 때문에, 필요한 장면만 연기를 강화합니다.
모든 것을 같은 장력으로 만들지 마십시오.
30초의 쇼트라면 기세로 누를 수 있습니다만, 몇 분의 해설 동영상에서는 쭉 큰 소리라고 피곤합니다. 도입은 조금 강해, 설명은 침착해, 결론만 다시 강하게 하는 등, 장면에서 변화를 붙입니다.
음성만으로 완성이라고 생각하지 않는다
편집시에 BGM, 환경음, 효과음을 넣으면 목소리의 위화감이 눈에 띄기 어려워집니다. 컴프레서나 EQ로 음량을 갖추는 것도 유효합니다. AI 음성의 품질뿐만 아니라 "동영상 전체의 소리"로 정돈합니다.
상용 이용은 할 수 있는가?
ElevenLabs는 공식 페이지로, 유료 플랜에는 생성된 음성의 상용 이용권이 포함된다라고 안내하고 있습니다. YouTube 동영상, Podcast, 광고, 오디오북, 영화, 게임, 앱 등을 예로 들 수 있습니다. 한편, 무료 플랜은 개인·비상용용으로, 귀속 표시도 필요하다고 설명되고 있습니다.
상용 사용 권한은 다른 사람의 목소리를 자유롭게 복제할 수 있는 권한이 아닙니다. 타인의 목소리를 본인의 허락 없이 복제하는, 저명인 본인이 말하지 않은 내용을 본인의 발언처럼 보이는 등의 이용에는 다른 권리나 규약상의 문제가 있습니다.
자신의 목소리, 자사 캐릭터, 허락을 받은 출연자 등 이용 권한이 명확한 소재를 사용하는 것이 기본입니다. 광고에 사용하는 경우 특히 '본인이 추천하는 것처럼 보이는' 표현을 피해야 합니다.
AI 음성뿐만 아니라 '자막'과 세트로 만든다
음성이 완성되면 음성을 바탕으로 자막을 만듭니다. 자막은 전체 문장을 그대로 표시하는 것보다 1 ~ 2 줄로 짧게 자르는 것이 스마트 폰으로 읽기 쉬워집니다. 목소리와 자막이 같은 타이밍에 나오는 것으로, 무음 시청에도 대응할 수 있습니다.
다국어 배포에서는 일본어 음성, 영어 음성, 중국어 음성을 별도의 동영상으로 내보내는 방법도 있습니다. 영상을 공통화할 수 있으면 한 번 만든 AI 동영상을 여러 시장에서 돌릴 수 있습니다. 다만 문화적인 농담이나 넷밈은 직역하면 의미가 사라지기 때문에 번역보다 "현지용의 바꾸기"가 필요합니다.
MV에서 가성까지 AI로 하는 경우
나레이션과 노래는 별개입니다. 악곡 자체를 AI로 만든다면 Suno등의 음악 생성 서비스, 대사·나레이션이라면 ElevenLabs,와 역할을 나눕니다. Suno의 유료 플랜에서는 허가된 다운로드를 실시한 자작곡에 상용 이용권이 부여됩니다만, 무료곡이나 타인의 Remix에서는 조건이 다릅니다.
「곡은 Suno, 대사는 ElevenLabs, 영상은 Runway나 Veo, 마무리는 Premiere」라고 하는 복수 서비스를 조합하는 것이, 2026년의 AI MV 제작에서는 자연스러운 구성입니다.
실제로 사용하기 전 체크리스트
- 수익을 창출한다면 유료 플랜의 상용 이용 조건을 확인 했습니까?
- 복제 할 목소리에 대해 본인의 권리와 허가를 확인 했습니까?
- 대본에 타인의 저작물을 그대로 대량 이용하고 있지 않은가
- 광고의 경우 실제 인물이 상품을 추천하는 표현이 아닌가?
- 장문을 일괄 생성하지 않고, 수정하기 쉬운 단위로 나누었는가
- 자막·BGM·효과음까지 포함한 최종 음량을 확인했는가
AI 동영상과의 조합 예
30초의 캐릭터 소개 동영상이라면, 우선 이미지를 1장 만들고, Runway등에서 5초 정도의 움직임을 복수 생성합니다. 그 후, ElevenLabs로 15~20초 정도의 대사를 만들어, 필요한 컷만 립싱크. 마지막으로 Premiere에서 음성, 영상, 배경 음악, 자막을 맞춥니다.
모든 컷에서 말할 필요는 없습니다. 업의 2컷만 입 박을 맞추고 나머지는 걷는 모습이나 배경을 보이는 것만으로도 충분히 MV가 됩니다. AI의 고비용 공정을 '눈에 띄는 장소에만' 사용하는 것이 효율적입니다.