"제일 똑똑한 모델 쓰면 덜 틀리겠지" — 정반대였다
AI가 그럴듯하게 거짓말하는 거, 다들 한 번쯤 데였다. 그래서 어느 모델이 덜 지어내는지 환각 리더보드를 찾아 줄 세워 봤다. 결과가 직관을 배신했다. 비싸고 똑똑한 추론 모델이 오히려 더 잘 지어냈다.
운영자 노트 — 나는 이 데이터를 보고 습관 하나를 바꿨다. 사실 정리가 중요한 작업엔 일부러 '제일 센 모델'을 안 쓴다. 요약·정리는 출처를 딱 주고, 모델이 멋대로 추론하지 않게 막는 쪽이 더 안전하더라. 왜 그런지는 아래 숫자가 말해준다.
요약 환각률: 작은 모델이 이긴다
Vectara HHEM 리더보드(2026-05-11)는 같은 문서를 요약시켜 '원문에 없는 내용을 지어낸 비율'을 잰다. 낮을수록 좋다. 순위가 의외다.
| 모델 | 요약 환각률 (낮을수록 좋음) |
|---|---|
| Gemini 2.5 Flash Lite | 3.3% |
| DeepSeek-V3 | 6.1% |
| Gemini 2.5 Pro | 7.0% |
| GPT-4o | 9.6% |
| DeepSeek-R1 (추론) | 11.3% |
| Claude Sonnet 4.5 | 12.0% |
| GPT-5-High | 15.1% |
가볍고 빠른 Gemini Flash Lite가 3.3%로 가장 안 지어냈고, 덩치 크고 비싼 GPT-5-High가 15.1%로 더 많이 지어냈다. 즉 '똑똑함'과 '안 지어냄'은 다른 축이다.
출처: Vectara Hallucination Leaderboard, 2026-05-11
추론을 켜면 더 지어낸다 — DeepSeek가 보여준 사례
가장 선명한 증거가 DeepSeek다. 같은 회사 모델인데, 추론형 R1의 환각률이 14.3%로 비추론 전작 V3(3.9%)보다 거의 4배 높았다. 생각을 길게 시킬수록 중간에 없는 사실을 끼워 넣을 여지가 커지는 거다. Vectara의 더 어려운 차세대 벤치(7,700개 기사, 최대 32K 토큰)에서도 Claude Sonnet 4.5·GPT-5·Grok-4·DeepSeek-R1 같은 '생각하는' 모델은 죄다 환각률 10%를 넘겼다. 심지어 갓 나온 Gemini-3-pro도 13.6%였다.
출처: Vectara — R1 vs V3 · 차세대 리더보드
단답 사실성은 또 다른 얘기
'요약 충실도'와 '아는 사실을 맞히기'는 다른 능력이다. 단답 사실성 평가(SimpleQA, 각사 자체 보고 집계)를 보면 GPT-5(main)는 정확도 46%에 환각률 47%, GPT-4.5는 정확도 62.5%·환각률 37.1%였다. 신세대일수록 모르면서 단정하는 경향이 더 셌다. 단 여기엔 함정이 있다 — Anthropic은 이 표준 환각 수치를 공개하지 않는다. 그래서 Claude는 이 표에 아예 없다. "Claude가 1등"도 "꼴등"도 아니라, 잴 숫자가 없는 거다.
출처: AIMon Un-leaderboard(각사 시스템카드 집계), 2025-08
고르다 흔히 하는 실수
- "제일 비싼 모델이 제일 정확" — 요약 환각은 오히려 큰 모델이 더 높은 경우가 많다. 작업이 '지어내면 안 되는' 종류면 모델 등급보다 '출처 고정'이 먼저다.
- "추론 모드 켜면 다 나아짐" — 수학·논리엔 좋아도 사실 충실도는 되레 나빠질 수 있다. 요약·인용엔 추론을 굳이 안 켜는 게 안전할 때가 있다.
이 작업이면 이거
원문을 주고 요약·정리시키는 작업이면, 모델 등급을 올리기보다 "원문 밖 내용 넣지 마"를 명시하고 출처를 고정하라. 환각이 특히 치명적인 작업(인용·수치·보도 요약)은 결과를 원문과 대조하는 검수를 끼워라. 어느 모델이든 한 번은 사람이 본다. 검색·출처 정확도 얘기는 AI 검색 출처 정확도, 요약 실측은 여기.
환각률은 벤치마크·모델 버전·시점(2025~2026)에 따라 달라지며, 요약 충실도와 단답 사실성은 다른 지표입니다. 본문 수치는 각 출처 확인 시점 기준.
