"수학은 AI가 약하지 않아?" — 옛날 얘기다
몇 년 전만 해도 AI한테 수학 시키면 어이없게 틀렸다. 지금은 반대다. 고난도 경시 문제도 만점이 흔하다. 추론 벤치마크를 모아 보니, 따져야 할 게 '누가 잘 푸냐'에서 '같은 답을 얼마에 푸냐'로 옮겨가 있었다.
써 본 입장에서 — 추론 모델이 처음 나왔을 땐 점수에 다들 흥분했다. 근데 자료를 모아 보니 최상위권은 이미 점수가 천장에 붙었더라. 그래서 내가 보는 기준이 바뀌었다. 점수표 1등이 아니라, "내 문제 난도에 이 정도면 충분한가, 그리고 얼마인가"다.
최상위 수학은 이미 만점에 수렴했다
AIME 2025(미국 수학 경시) 리더보드(2026-06)를 보면 GPT-5.2 Pro·Gemini 3 Pro·GPT-5.2가 1.000 만점, Claude Opus 4.6이 0.998이다. 114개 모델을 줄 세운 표에서 상위권은 소수점 둘째 자리 싸움이다. DeepSeek-V3.2는 0.931로 30위권 — 프런티어보다 한 단계 아래지만, 절대 점수만 보면 충분히 높다.
더 어려운 대학원급 과학 추론(GPQA Diamond, 2026-06)도 비슷하다. Claude Mythos 94.6%, Gemini 3.1 Pro 94.3%, Claude Opus 4.7 94.2%, GPT-5.5 93.6%가 촘촘하고, DeepSeek-V4-Pro-Max가 90.1%로 약 4%p 뒤를 따른다.
출처: LLM-Stats AIME 2025 · GPQA 리더보드
'추론 모델'과 '일반 모델'의 진짜 격차
차이가 확 벌어지는 건 추론 전용이냐 아니냐다. 추론을 안 하는 GPT-4o는 AIME 2024에서 13.1%에 그쳤다. 같은 시험을 추론 모델들은 80% 안팎으로 푼다. 격차가 다섯 배가 넘는다. 단 중간 난도(MATH)에선 GPT-4o도 75.9%로 쓸 만하다. 즉 '어려운 수학'에서만 추론 모델의 값어치가 드러난다. 평범한 계산엔 굳이 비싼 추론 모드가 필요 없다는 뜻이기도 하다.
DeepSeek가 주목받은 이유가 여기 있다. 공식 논문 기준 R1은 AIME 2024 79.8%로 o1(79.2%)을 근소하게 앞서고 MATH-500도 97.3% 대 96.4%로 이긴다. 다만 GPQA(71.5 대 75.7)와 코딩 경쟁(Codeforces 2029 대 2061)에선 o1에 밀린다. 강점이 '수학'에 쏠려 있다는 얘기다. 가격은 R1이 입력/출력 100만 토큰당 $0.55/$2.19로 프런티어보다 한참 싸다.
출처: DeepSeek-R1 공식 논문 · Vellum 리더보드
점수만 보면 놓치는 것 — 추론은 환각을 부른다
여기서 다른 글과 이어진다. 추론을 길게 켤수록 사실을 더 지어내는 경향이 있다. 실제로 DeepSeek R1의 요약 환각률(14.3%)은 비추론 V3(3.9%)의 네 배에 가깝다. 그러니 "추론 모델이 무조건 상위 호환"은 아니다. 수학·논리엔 켜고, 사실 요약엔 끄는 식으로 작업에 맞춰 갈라 쓰는 게 맞다. (환각 얘기는 여기에 자세히.)
이렇게 고르면 대체로 후회합니다
- "리더보드 1등을 사야 안심" — 상위권은 이미 만점 근처다. 1등과 5등의 0.1%p 차이보다, 가격과 속도 차이가 체감엔 훨씬 크다.
- "추론 모델이 만능 상위 호환" — 어려운 수학엔 강하지만 사실 충실도는 되레 약해질 수 있다. 작업 종류로 갈라 써라.
추론 모드를 켤 때와 끌 때
경시 수준 수학·과학 추론이면 추론 전용 상위 모델(GPT-5 상위·Claude Opus·Gemini Pro). 비용을 눌러야 하면 DeepSeek 추론 라인이 가성비가 또렷하다. 반대로 평범한 계산·정리엔 추론 모드를 굳이 안 켜도 된다. 코딩 벤치마크는 여기에 따로 정리했다.
벤치마크는 모델 버전·시점(2025~2026)에 따라 빠르게 바뀌고, AIME 같은 지표는 상위권이 포화 상태입니다. 본문 수치는 각 출처 확인 시점 기준.
