가격표는 외웠는데, 한국어로 시키면 어떤지는 몰랐다
비교 글은 널렸다. 토큰이 몇이고 월 얼마고는 공식 페이지에 다 적혀 있다. 내가 정작 궁금했던 건 그게 아니었다. 같은 한국어 글을 던지면 세 도구가 진짜로 어떻게 답하느냐. 이건 직접 돌려보기 전엔 안 나온다.
운영자 노트 (2026-04-26) — 1,000자짜리 IT 뉴스 한 편을 골라 ChatGPT·Claude·Gemini 세 곳에 토씨 하나 안 바꾸고 똑같이 넣었다. 지시도 같았다 — "3문장으로 요약, 수치와 고유명사는 원문 그대로, 원문에 없는 말은 넣지 마." 딱 1회 비교다. 모델·세션에 따라 결과는 흔들리니, 절대평가가 아니라 "그날 내 화면에선 이랬다"로 읽어 주면 된다.
같은 지시, 다른 결
| 도구 | 모델 | 내가 본 결과 | 참고 평점 |
|---|---|---|---|
| ChatGPT | GPT-5.3 Instant | 핵심 사실 누락 없이 3문장, 수치 원문 보존, 문장 길이 균일 | ★★★★☆ |
| Claude | Sonnet 4.6 | 문장 흐름이 자연스럽고 전문용어를 풀어 설명. 한 문장이 다소 길어짐 | ★★★★☆ |
| Gemini | 2.5 Pro | 핵심은 정확하나 마지막 문장이 광고성 표현으로 변형 1회 관찰 | ★★★☆☆ |
2026-04-26 · 동일 프롬프트·동일 본문 1회 비교. 같은 데이터는 ChatGPT 도구 페이지의 벤치마크 항목에도 기록해 뒀다.
표만 보면 4·4·3이라 거기서 거기 같다. 근데 손에 남는 느낌은 셋이 다 달랐다.
ChatGPT — 깔끔한데 정은 없는 모범생
제일 안전했다. 세 문장 길이가 고르게 떨어졌고, 원문 숫자를 하나도 안 흘렸다. 요약만 놓고 트집 잡을 데가 없다. 대신 딱 거기까지였다. 다 읽고 나서 머리에 남는 문장은 없었다.
Claude — 잘 읽히는 대신 한 문장이 늘어졌다
문장이 자연스럽게 흘렀다. 전문용어를 그냥 두지 않고 한 번 풀어 쓴 게 눈에 띄었다. 사람이 정리해 준 느낌에 가까웠다. 흠이라면 세 문장 중 하나가 욕심을 내다 길어졌다는 것. 글자 수가 빡빡한 자리라면 그 한 줄은 다시 줄여야 한다.
Gemini — 마지막 문장에서 사고가 났다
핵심은 정확히 짚었다. 문제는 끝 문장이었다. 원문에 없던, 살짝 띄워 주는 광고 같은 톤이 한 번 끼어들었다. 뉴스 요약에는 어울리지 않는 평가가 슬그머니 붙은 거다. 딱 1회였다. 그래도 사실 보존이 생명인 요약에서 이건 그냥 넘기기 어렵다. 출처에 없는 뉘앙스가 출력에 섞이는 순간, 그대로 복붙하면 안 되는 글이 되니까.
왜 이렇게 갈렸는지는, 솔직히 단정 못 한다
모델마다 학습 방향과 기본 말투가 다르니 결이 갈리는 거라고 짐작은 한다. 짐작은 짐작이다. 단 한 편으로 원인까지 못 박을 순 없다. 다만 패턴 하나는 분명했다. 셋 다 "핵심을 빠뜨리는" 실수는 안 했다. 갈린 지점은 사실 정확도가 아니라 톤과 길이였다. 그러니 "어디가 한국어 1등이냐"를 따지기보다, "내 작업에서 어떤 실수가 제일 치명적이냐"를 기준으로 고르는 게 맞다.
고르다 흔히 하는 실수
- "한국어 점수 높은 거 하나만 쓰면 되지" — 작업이 갈리면 답도 갈린다. 요약은 무난해도 번역·코드·카피는 또 딴판이다. 한 도구로 다 밀어붙이면 어딘가에서 새는 게 보인다.
- "AI 요약이면 그대로 붙여도 되겠지" — Gemini 사례처럼 출처에 없던 뉘앙스가 끼면 그건 요약이 아니라 각색이다. 숫자랑 톤은 사람이 마지막에 한 번 본다. 그 30초가 사고를 막는다.
이 작업이면 이거
사실 그대로 안전하게 요약만 뽑을 거면 ChatGPT. 읽는 맛까지 챙기고 한 줄 더 다듬을 여유가 있으면 Claude. Gemini는 요약을 통째로 믿기보다 마지막 문장만 꼭 검수한다는 전제로 쓰면 된다. 셋 다 무료로 열려 있으니, 본인이 자주 다루는 글 한 편을 똑같이 세 군데 넣어 보는 게 이 글 백 번 읽는 것보다 빠르다.
한 번 돌린 기록이라는 점, 그리고 다음
다시 말하지만 딱 1회다. 같은 프롬프트라도 다음에 돌리면 다르게 나올 수 있다. 그래서 한 편으로 끝낼 생각은 없다. 같은 입력을 더 여러 도구, 더 여러 작업으로 돌린 기록은 한국어 직접 테스트 페이지에 계속 쌓는 중이다. 거기엔 요약뿐 아니라 한→영 번역, SNS 카피, 코드 주석, 복합 지시 준수까지 같은 입력으로 비교한다. 가격·기능을 통째로 본 비교는 ChatGPT vs Claude vs Gemini 2026 최종 비교에, ChatGPT와 Claude만 따로 맞붙인 기록은 여기에 정리해 뒀다.
테스트 방식과 한계는 리뷰 방법론을 참고하세요. 1회 비교이며 모델 업데이트·세션에 따라 결과가 달라질 수 있습니다.
