한국어 더빙, 글로벌 1등 쓰면 될 줄 알았다
AI 음성 하면 흔히 ElevenLabs를 떠올린다. 영어 더빙에선 거의 표준이니까. 그래서 한국어도 당연히 잘하겠거니 했는데, 벤치마크와 실사용 평가를 찾아보니 얘기가 달랐다. 한국어에선 영어만큼 안 나온다.
운영자 노트 — 영어 영상 더빙엔 ElevenLabs가 정말 좋다. 근데 한국어를 시켜보면 발음이 어딘가 '외국인이 한국어 읽는' 느낌이 난다는 평이 많고, 나도 비슷하게 느꼈다. 왜 그런지 수치로 확인해봤다.
한국어 음질 점수, ElevenLabs가 중위권
다국어 TTS 벤치마크 MINT-Bench(2026-04)의 한국어 지각품질 점수를 보면 순위가 의외다(높을수록 좋음).
| 모델 | 한국어 지각품질 (높을수록 좋음) |
|---|---|
| Gemini 2.5 Pro | 4.13 |
| Gemini 2.5 Flash | 4.08 |
| Qwen3TTS (오픈소스) | 3.77 |
| ElevenLabs (ttv-v3) | 3.46 |
| MiniMax Speech | 3.07 |
| GPT-4o-Mini-TTS | 2.33 |
영어권 강자 ElevenLabs가 3.46으로, 구글 제미나이 계열은 물론 오픈소스 Qwen보다도 아래다. '영어에서 1등'이 '한국어에서 1등'은 아니라는 얘기다. 언어마다 학습 데이터와 발음 처리가 다르니 어찌 보면 당연한 결과이기도 하다.
출처: MINT-Bench(arXiv), 2026-04
한국어 숫자·문맥은 국산이 강하다
수치 너머 실사용에서 갈리는 지점이 있다. 한국어 숫자 읽기다. 한 실사용 리뷰는 네이버 클로바더빙이 "25살"을 "스물다섯 살"로, "25년도"를 "이십오 년도"로 문맥에 맞게 읽어낸다고 짚는다. 한국어는 같은 숫자도 단위에 따라 읽는 법이 달라서, 이걸 자연스럽게 처리하는 게 생각보다 어렵다. 반면 같은 리뷰는 ElevenLabs의 한국어 발음이 "외국인이 한국어를 읽는 듯한" 느낌이 있다고 지적한다.
감정 표현도 국산이 공들이는 영역이다. 네이버 클로바 보이스 기반 한국어 감정 합성 연구는 자연스러움·감정표현 MOS에서 각각 3.92, 3.94를 기록했고, 타입캐스트는 2025년 9월 업데이트로 학습 데이터를 10배 늘리고 "[뛸 듯이 기뻐하며]" 같은 문맥 기반 감정 연기를 700종 넘는 캐릭터에 입혔다. '읽는' TTS에서 '말하는' TTS로 가는 흐름이다.
출처: 네이버 클로바 보이스 감정합성 연구(arXiv) · 캐럿 TTS 비교 · 타입캐스트 공식
흔한 착각 몇 가지
- "영어에서 최고니 한국어도 최고" — 언어마다 다르다. 한국어 더빙이면 한국어 점수·발음을 따로 확인하라.
- "무료 샘플 안 듣고 결제" — 목소리 톤·숫자 읽기는 귀로 들어야 안다. 본인 대본 한 문단을 꼭 미리 들어보고 고르자.
이 작업이면 이거
한국어 내레이션·더빙, 특히 숫자·날짜가 많은 대본이면 국산(네이버 클로바더빙·타입캐스트)이 안전하다. 다양한 감정 연기나 캐릭터 보이스가 필요하면 타입캐스트, 영어·다국어를 같이 다루면 ElevenLabs나 제미나이 계열을 함께 보면 된다. 받아쓰기(STT) 쪽 한국어 비교는 여기에 정리했다.
TTS 품질·기능은 업데이트로 빠르게 바뀌며, 벤치마크 점수는 평가 방식에 따라 달라집니다. 본문 수치는 각 출처 확인 시점(2025~2026) 기준입니다.
