"코딩은 그냥 Claude 아니야?" — 숫자를 보면 그렇게 단순하지 않다
코딩 AI 얘기가 나오면 으레 한 이름이 먼저 나온다. 근데 공개 벤치마크를 줄 세워 보면 그림이 복잡해진다. 채점 방식 하나만 바꿔도 1등이 왔다 갔다 한다. 직접 다 돌려볼 순 없으니, 공신력 있는 리더보드 숫자를 모아 교차로 읽었다.
직접 겪은 이야기 — 벤치마크는 만능이 아니다. 그래도 "내 느낌"보다는 훨씬 정직하다. 단 하나, 누가 어떤 환경에서 쟀는지를 꼭 같이 봐야 한다. 벤더가 자기 모델을 자기 방식으로 잰 숫자와, 제3자가 같은 잣대로 잰 숫자는 다른 얘기다.
같은 모델, 채점 바꾸니 순위가 뒤집혔다
SWE-bench Pro(2026-06) 기준이다. 제3자(Scale SEAL)가 같은 환경으로 잰 공개셋에선 GPT-5.4가 59.1%로 1위, Claude Opus 4.6이 51.9%로 3위다. GPT 우위처럼 보인다.
그런데 각 회사가 자기 환경에서 잰 발표값을 보면 Claude Opus 4.8이 69.2%로 GPT-5.5(58.6%)를 앞선다. 순위가 뒤집힌다. 한술 더 떠, 같은 SWE-bench Pro라도 비공개 상용 코드셋에선 Claude Opus 4.6이 47.1%로 1위, GPT-5.4는 43.4%로 내려온다.
그래서 "코딩 1등"을 한 줄로 못 박는 건 위험하다. 공개 문제냐 실무 코드냐, 누가 쟀냐에 따라 답이 바뀐다.
출처: Morph — SWE-bench Pro 리더보드
진짜 이변은 DeepSeek의 가성비
여기가 이 글의 핵심이다. SWE-bench Verified(2026-02)에서 Claude Opus 4.5가 76.8%로 선두인데, 과제당 비용이 $0.50이다. GPT-5.2는 72.8%에 $0.23. 그리고 DeepSeek V4 Flash는 70.0%를 과제당 $0.01에 찍었다. 1등과 6.8%p 차이를, 약 1/50 비용으로 낸 거다.
최신 LiveBench(2026-06)도 비슷하다. Claude Fable 5가 78.3%로 top이지만 과제당 $1.00, DeepSeek V4 Pro는 73.6%를 $0.03에 낸다. API 단가로 봐도 GPT-5.4 출력 100만 토큰 $15, Claude Opus 4.8 $25인데 DeepSeek V4 Flash는 $0.28이다. 자릿수가 다르다.
게다가 DeepSeek V4는 MIT 라이선스 오픈웨이트다. 최상위 변형(Pro-Max)은 SWE-bench Verified 80.6%로 오픈 모델 최고 성적을 내면서, 가중치를 받아 자체 서버에서 돌릴 수 있다. 회사 코드를 밖으로 안 내보내야 하는 곳엔 이게 결정적이다.
단 솔직한 한계도 적는다. DeepSeek는 제3자 표준 리더보드(Scale SEAL) 등재가 없어서, 위 폐쇄형 모델들과 '완전히 같은 잣대'로 직접 비교하긴 어렵다. 오픈웨이트 표준 1위 자리도 DeepSeek가 아니라 GLM-5.1(58.4%, 벤더 보고)이 차지하고 있다. 숫자는 분명 매력적인데, 측정 환경이 제각각이라는 점은 감안해야 한다.
출처: Failing Fast 코딩 벤치마크 · Morph — 모델별 단가 · MindStudio
자주 밟는 지뢰들
- "발표 자료 1등이 진짜 1등" — 벤더 자체 측정과 제3자 표준 채점은 순위가 다르다. 누가 어떤 환경에서 쟀는지를 같이 봐야 한다.
- "제일 비싼 게 제일 낫겠지" — DeepSeek V4 Flash는 1등과 몇 %p 차이를 1/50 비용에 낸다. 대량 작업이면 이 차이가 곧 돈이다.
이 작업이면 이거
최상위 정확도 한 끗이 결과를 가르는 작업이면 Claude(Opus·Fable 라인)나 GPT 상위 모델. 비용을 눌러가며 대량으로 코드를 돌리거나, 회사 코드를 자체 서버 안에 둬야 하면 DeepSeek가 현실적인 카드다. 다만 위 점수는 '도구'가 아니라 '모델' 기준이다. 실제로 터미널·에디터에서 손에 붙는 감은 또 다르니, 코딩 '도구' 비교는 Cursor·Copilot·Claude Code 비교를 같이 보면 된다.
벤치마크는 모델·시점(2026-02~06)·채점 환경에 따라 크게 달라집니다. 본문 수치는 각 출처 확인 시점 기준이며, 최신값은 각 리더보드에서 확인하세요.
