한국어 받아쓰기, Whisper면 끝일 줄 알았다
회의록·인터뷰 받아쓰기에 Whisper를 떠올리는 사람이 많다. 영어에선 강하니까. 근데 한국어 벤치마크를 찾아보니 그림이 달랐다. 한국어에선 국산 특화 엔진이 Whisper를 꽤 앞섰다.
먼저 고백하자면 — 나도 처음엔 무료라는 이유로 Whisper를 돌렸다. 근데 한국어 회의 녹음, 특히 전화 음질에선 오타가 너무 많아 손보는 시간이 더 들었다. 왜 그런지는 벤치마크를 보고 납득했다.
한국어는 'CER'로 잰다 — 그리고 한국 엔진이 앞선다
먼저 측정법. 한국어는 조사가 붙는 교착어라 단어 경계가 모호해서, 영어식 단어오류율(WER) 대신 문자오류율(CER)로 재는 게 적절하다. 한 독립 벤치마크(리턴제로, 도메인별 3,000문장)의 평균 CER은 이랬다(낮을수록 좋음).
| 엔진 | 평균 CER (낮을수록 좋음) |
|---|---|
| 리턴제로 | 5.91% |
| 네이버 클로바스피치 | 7.52% |
| OpenAI Whisper | 11.39% |
| Google Cloud v2 | 11.50% |
한국어 특화 엔진(리턴제로·클로바)이 Whisper보다 오류율이 거의 절반이다. 격차가 가장 벌어진 건 음질 나쁜 음성이다. 저음질 전화망에서 리턴제로는 4.40%인데 Whisper는 17.27%까지 치솟았다. 상담 콜 음성도 리턴제로 3.51% 대 Whisper 7.51%. 깨끗한 녹음이 아니면 차이가 더 난다. (네이버 클로바스피치는 회의록 앱 '클로바노트'와 같은 네이버 한국어 음성인식 계열이다.)
출처: 리턴제로 한국어 음성인식 벤치마크 · 공개 측정 데이터, 2023-08
회의록이면 '화자분리'가 진짜 변수
정확도만큼 중요한 게 누가 말했는지 나누는 화자분리다. 회의록은 발화자가 섞이면 무용지물이니까. 여기서 갈린다 — 네이버 클로바노트와 다글로는 여러 발화자를 자동으로 구분해 준다. 반면 오픈소스 Whisper(웹)는 화자를 나누는 기능이 아직 없다. 받아쓰기는 되는데 "누가 말했는지"는 안 나온다는 뜻이다. 회의록 용도라면 이 한 가지가 무료 Whisper를 쓰기 어렵게 만든다.
출처: 한국어 음성인식 도구 비교(클로바·다글로·Whisper) · Novascribe Whisper 정확도
결제 전에 짚고 갈 함정
- "영어에서 좋다니 한국어도 좋겠지" — Whisper의 한국어 CER은 8~12%대로 영어(WER 2.7~5%)보다 확연히 높다. 한글 구조가 복잡한 탓이다.
- "받아쓰기만 되면 회의록 끝" — 화자분리가 없으면 누구 발언인지 다 뭉친다. 회의 용도면 화자분리 지원부터 확인.
통화 녹음이면 국산, 원음이 깨끗하면 Whisper
한국어 회의·인터뷰 받아쓰기, 특히 통화·저음질 녹음이면 한국 특화 엔진(클로바노트·리턴제로 계열)이 안전하다. 화자분리까지 필요하면 더더욱. Whisper는 무료라는 장점이 크지만, 깨끗한 음질의 단일 화자에 어울린다. 참고로 이 벤치마크는 2023년 자료라 그 뒤 Whisper도 개선됐을 수 있으니, 본인 음성 한 토막으로 직접 비교해 보는 걸 권한다. 클로바노트·Otter 비교는 여기.
인용 벤치마크는 2023년 시점이며 엔진 업데이트로 수치가 달라질 수 있습니다. Otter 등 영어 중심 도구는 한국어 정확도가 위 한국 엔진과 다릅니다.
