"사진 찍어 올리면 표까지 읽어주겠지" — 반만 맞다
영수증, 계약서, 차트 이미지를 AI에 던지고 "정리해 줘" 하는 일이 흔해졌다. 글자는 곧잘 읽는다. 근데 표 구조나 글자 위치까지 정확히 잡느냐는 다른 문제다. 벤치마크를 보면 범용 AI의 OCR은 생각보다 약하다.
써 본 입장에서 — 나도 영수증·표를 사진으로 올려 정리시켜 봤다. 단순한 건 잘하는데, 칸이 많은 표에서 숫자가 엉뚱한 열로 들어가는 걸 몇 번 봤다. 그게 왜 그런지 벤치마크가 설명해준다.
범용 AI의 OCR 점수, 100점 만점에 50점대
OCRBench v2(2025)는 문서 이미지 이해를 종합 평가한다. 범용 멀티모달 모델들의 점수가 다 50점 안팎이다(100점 만점). 영어 기준 Gemini-Pro 51.9, Qwen2.5-VL 46.7, GPT-4o 46.5, Claude 3.5 Sonnet 45.2. 다들 비슷하게 절반 수준이라는 게 핵심이다.
특히 약한 지점이 또렷하다. 글자를 읽긴 해도 '어디에 있는지' 위치를 짚는 점수(text spotting)는 0~1.3%로 사실상 0이다. 논문이 꼽은 공통 약점도 비슷하다 — 드문 글자, 겹치거나 회전된 복잡 레이아웃, 표를 구조화된 형식으로 변환하기, 복잡한 수식 추론에서 무너진다. 칸 많은 표에서 숫자가 어긋나는 게 우연이 아니었던 거다.
출처: OCRBench v2(arXiv), 2025-01
그래도 범용 중엔 제미나이가 앞선다
범용 모델끼리 줄 세우면 제미나이가 머리 하나 앞선다. OCRBench v2 공식 리더보드(2025-09)에서 Gemini-2.5-Pro가 영어 평균 59.3, 중국어 62.2로 1위급이고, GPT-4o(47.6)·Claude 3.5(47.5)를 꽤 앞선다. 문서·이미지 이해가 잦다면 제미나이 계열을 우선 후보로 둘 만하다. 단 한국어 문서 기준 수치는 이 벤치마크에 없으니(영어·중국어 중심), 한글 문서는 직접 한 장 시험해 보는 게 안전하다.
출처: OCRBench v2 공식 리더보드, 2025-09
복잡한 표·대량 문서는 전용 OCR이 낫다
정밀함이 필요하면 범용 AI 한 개로 끝내지 않는 게 맞다. 문서 파싱 벤치마크(OmniDocBench, CVPR 2025)에서 전용 OCR 도구가 범용 모델을 앞선다. 표 인식 정확도(TEDS)만 봐도 전용 모델 MinerU2.5-Pro가 종합 95.75인 반면 GPT-4o는 82.95에 그친다. 다만 위안도 있다 — 오픈소스 모델(Qwen2.5-VL 약 75%)이 GPT-4o급까지 따라붙어, 비용을 아끼며 OCR을 돌릴 길도 넓어졌다.
출처: OmniDocBench(arXiv, CVPR 2025) · getomni 오픈소스 OCR 벤치
고르다 흔히 하는 실수
- "AI가 읽었으니 표 숫자도 맞겠지" — 위치·표 구조는 범용 AI가 약하다. 칸 많은 표는 결과를 원본과 대조하라.
- "한 도구로 문서 처리 끝" — 단순 텍스트는 범용 AI로 충분해도, 대량·정밀 문서 디지털화는 전용 OCR이 정확하다.
글자만 뽑을 건가, 표까지 살릴 건가
영수증·간단한 문서에서 글자만 뽑을 거면 범용 AI로 충분하고, 그중엔 제미나이 계열이 앞선다. 칸 많은 표, 복잡한 레이아웃, 대량 문서 디지털화는 전용 OCR(또는 오픈소스 OCR 모델)을 끼우는 게 정확하다. 어느 쪽이든 표 숫자는 원본과 한 번 대조한다. 표를 읽은 다음 분석으로 넘어가는 흐름은 데이터 분석 비교, 긴 문서 처리 한계는 여기에 정리했다.
벤치마크는 모델 버전·시점(2024~2026)·언어(영어·중국어 중심)에 따라 달라지며, 한국어 문서 정확도는 다를 수 있습니다. 본문 수치는 각 출처 확인 시점 기준.