"한국어 번역은 어디가 제일 나아요?" — 답이 하나가 아니더라
자주 받는 질문이다. 그래서 내 감으로 1등을 못 박는 대신, 공개된 번역 벤치마크랑 전문가 평가를 한자리에 모아 교차로 읽었다. 결과부터 말하면 김이 좀 샌다. 출처마다 1등이 달랐다.
먼저 고백하자면 — 나는 번역 품질을 감으로 줄 세우는 걸 안 믿는다. 사람마다 문장이 다르고, 한 문장으론 표본이 너무 적으니까. 그래서 이번엔 내 의견 대신, 남들이 통제된 조건에서 잰 숫자를 모았다. 그랬더니 오히려 더 정직한 그림이 나왔다 — "그때그때 다르다".
출처마다 1등이 갈린다
한쪽 공개 벤치마크(intlpull, 2026)는 원어민 채점에서 GPT-4가 유창성 4.4로 Claude 3.5(4.3)·DeepL(4.2)·Gemini 1.5(4.0)를 앞섰다고 본다. 문화적 적절성도 GPT-4 4.2 대 DeepL 3.9로 GPT 우위.
그런데 다른 쪽(Lokalise 2025 블라인드 평가)에선 전문 번역가들이 Claude 3.5의 결과를 'good'으로 꼽은 비율이 78%로 가장 높았고, GPT-4·DeepL·구글보다 자주 선호됐다. WMT24 번역 대회에선 Claude 3.5가 11개 언어쌍 중 9개에서 1위였다.
같은 질문에 한쪽은 GPT, 한쪽은 Claude. 이게 함정이다. "AI 번역 1등"이라는 한 줄짜리 답은 애초에 없다. 평가 방식과 문장 종류가 바뀌면 순위가 따라 바뀐다.
출처: intlpull 번역 벤치마크 · BLEND(Lokalise·WMT24 인용)
그런데 한국어엔 둘 다 못 넘는 벽이 있다 — 존댓말
여기서부턴 평가가 한목소리다. 한국 문학 번역을 평가한 연구(arXiv, 2024-12)는 대놓고 적는다 — "GPT-4o를 포함한 모든 모델이 심각한 존댓말 오류를 알아채지 못한다." GPT-4o가 존댓말 평가에선 그나마 제일 나았지만(상관계수 .50, Claude 3.5 .39), '제일 나음'이 '믿을 만함'은 아니다. 한국어는 격식 단계가 여러 겹인데 영어는 그 뉘앙스를 문맥에 기대니, 톤을 옮기는 게 모델 공통 난제로 꼽힌다.
풀어 말하면 이렇다. 거래처에 보낼 정중한 메일을 번역시키면, 문장은 매끄러워도 격식의 '높이'가 슬쩍 어긋날 수 있다. 그건 사람이 봐야 잡힌다.
출처: arXiv 한국 문학 번역 평가 · MachineTranslation.com
DeepL은 왜 따로 노나
번역 전용 DeepL은 결이 다르다. 기계 지표(BLEU)는 높은데 직역·격식체로 흐른다는 평가가 많다. 실사용 비교(브런치 리뷰)도 비슷하게 본다 — DeepL은 원문 구조·전문용어를 곧이곧대로 지키고, ChatGPT는 표현을 풀어 더 자연스러운 한국어를 만든다. 그래서 지표가 높다고 체감이 좋은 게 아니다. 실제로 GPT·Claude는 BLEU가 낮아도 사람 평가·문화 적합성에서 더 높게 나오는 역전이 관찰된다.
출처: 브런치(위키북스) 번역 비교
결제 전에 짚고 갈 함정
- "벤치마크 1등이니 내 번역도 1등" — 평가마다 1등이 다르다. 네 문장 종류(계약서냐 SNS냐)로 직접 두세 개 돌려 비교하는 게 백 배 정확하다.
- "존댓말도 알아서 맞추겠지" — 연구가 직접 "다 못 잡는다"고 했다. 격식 메일·공문은 번역 후 높임 수준을 사람이 확인.
직역 충실도냐 읽히는 한국어냐
원문 구조·용어를 곧이곧대로 지켜야 하면 DeepL. 자연스럽게 풀어 읽히는 한국어가 우선이면 ChatGPT나 Claude. 둘 사이는 벤치마크가 엇갈리니, 정중한 비즈니스 톤이 관건이면 Claude(전문가 선호 평가가 높았던 쪽)를 먼저 시험해 보고 결과를 네 눈으로 비교해 정하면 된다. 어느 쪽이든 격식 걸린 문서는 마지막에 사람이 한 번 본다. 같은 두 도구 전반 비교는 ChatGPT vs Claude, 요약 실측은 여기.
인용한 평가들은 GPT-4·Claude 3.5 등 평가 시점(2024~2026) 모델 기준이며, 최신 모델·문장에 따라 결과가 달라질 수 있습니다. 본문 수치는 각 출처 확인 시점 기준입니다.