"CSV 던지면 알아서 분석해 주겠지" — 반은 맞고 반은 틀리다
엑셀이나 CSV를 통째로 올리고 "분석해 줘" 하는 거, 이제 다들 한다. 근데 어디까지 믿어도 되나. 데이터 분석 벤치마크와 기능 비교를 찾아보니, 쉬운 건 다 잘하는데 진짜 일은 따로 있었다.
직접 겪은 이야기 — 나는 한동안 AI 분석 결과를 꽤 믿었다. 단순한 합계·평균은 잘 맞으니까. 그러다 여러 표를 엮어 추론해야 하는 질문에서 슬쩍 틀린 답을 받고 정신이 들었다. 아래 숫자를 보면 그게 내 실수가 아니라 구조적인 한계였다.
단발 분석은 쉽고, 다단계는 무너진다
DABStep이라는 데이터 분석 벤치마크가 이 차이를 정확히 보여준다. 단일 데이터를 다루는 쉬운 과제(Easy)에선 다들 잘한다 — GPT-4.1 80.6%, Claude 3.5 Sonnet 77.8%, o4-mini 76.4%. 그런데 여러 데이터를 교차 참조하고 여러 단계로 코드를 돌려야 하는 어려운 과제(Hard)에선 점수가 폭락한다.
| 모델 | Hard 정확도 |
|---|---|
| o4-mini | 14.55% |
| Claude 3.7 Sonnet | 13.76% |
| Gemini 2.5 Pro | 12.70% |
| GPT-4.1 | 12.43% |
| DeepSeek R1 | 11.04% |
| GPT-4o | 6.08% |
1등도 15%를 못 넘는다. 즉 "표 두세 개 엮어서 결론까지 내 줘" 같은 진짜 분석은 아직 열에 한둘만 맞힌다는 얘기다. 단발 계산은 믿어도, 다단계 추론 결과는 반드시 사람이 검산해야 하는 이유다.
출처: DABStep 논문(arXiv), 2025-06
진짜 갈림길은 '코드를 직접 돌리느냐'
기능을 뜯어보면 결정적 차이가 하나 있다. 코드 실행이다. ChatGPT는 업로드한 파일을 실제 파이썬(pandas·matplotlib) 샌드박스에서 돌려 통계를 내고 차트를 그린다. 반면 제미나이는 자체적으로 코드를 실행하지 않고, Claude도 ChatGPT처럼 코드를 직접 돌리지는 않는다(대신 표 요약·이상치 탐지·패턴 추출엔 강하다). 그래서 "실제 계산해서 그래프까지" 뽑는 작업은 ChatGPT가 앞선다.
대신 용량·연동은 갈린다. 파일 업로드는 ChatGPT가 파일당 512MB, 제미나이는 100MB짜리 10개에 컨텍스트 100만 토큰, Claude는 채팅 30MB·API 500MB다. 큰 데이터를 통으로 읽혀 요약하는 건 컨텍스트 큰 Claude·제미나이가, 실제 연산·시각화는 ChatGPT가 유리한 구도다.
출처: DataStudios 스프레드시트 비교, 2025
자주 밟는 지뢰들
- "AI가 분석했으니 숫자는 맞겠지" — 다단계 분석은 1등도 15% 밑이다. 합계·평균 같은 단발만 믿고, 교차 추론 결과는 검산하라.
- "다 같은 채팅인데 분석력도 비슷" — ChatGPT만 실제 파이썬을 돌린다. 차트·통계 실연산이 필요하면 코드 실행 되는 쪽을 골라라.
이 작업이면 이거
CSV·엑셀을 실제로 계산하고 차트까지 뽑을 거면 ChatGPT(코드 실행). 대용량 표를 통으로 읽혀 요약·패턴을 보려면 Claude나 제미나이(큰 컨텍스트). 단 어떤 도구든 여러 단계로 엮은 결론은 사람이 검산하는 걸 기본값으로 두자. 긴 문서·표를 통째로 넣을 때의 한계는 장문 AI의 한계에 정리했다.
벤치마크·기능은 모델 버전·시점(2025~2026)에 따라 달라집니다. 본문 수치는 각 출처 확인 시점 기준.