"긴 문서는 Claude에 통째로 던지면 된다"는 말, 절반만 맞다
계약서 수십 장, 논문 한 편을 잘라 넣지 않고 통으로 던질 수 있다는 건 분명 매력이다. 근데 '넣을 수 있다'와 '다 제대로 읽는다'는 다른 얘기다. 공식 문서랑 연구를 찾아보니, 이 차이를 인정한 쪽이 다름 아닌 모델 회사들 자신이었다.
현장 기록 — 나도 긴 문서를 통째로 넣는 걸 좋아한다. 편하니까. 근데 어느 순간부터, 문서 앞쪽에 있던 조건을 모델이 슬쩍 빠뜨리는 걸 몇 번 겪었다. 내 착각인가 했는데, 공식 문서가 그 현상에 이름까지 붙여놨더라 — context rot.
일단 용량은 셋 다 비슷하다
Claude는 Opus 4.8·4.7·4.6, Sonnet 4.6, 그리고 Fable 5까지 100만 토큰 컨텍스트를 받는다(그 외 모델은 20만). OpenAI GPT-5.4도 공식 스펙이 1,050,000 토큰. 제미나이도 100만 토큰 이상이다. 단 입력이 커도 한 번에 뱉는 출력은 대개 12만 8천 토큰 선으로 묶인다. 즉 '읽는 양'과 '쓰는 양'은 다르다.
출처: Anthropic 공식 · OpenAI 공식 · Google 공식
핵심은 "길수록 새는" context rot
여기서부턴 회사들도 솔직하다. Anthropic 공식 문서가 직접 적는다 — "컨텍스트가 크다고 무조건 좋은 게 아니다. 토큰이 늘수록 정확도와 리콜이 떨어지는데, 이를 context rot라 부른다." 그래서 '얼마나 많이' 넣느냐만큼 '무엇을' 넣느냐가 중요하다고 못 박는다.
독립 연구도 같은 결을 가리킨다. Chroma가 GPT-4.1·Claude 4·Gemini 2.5를 포함한 18개 최신 모델을 테스트했더니, 최상위 모델조차 입력이 길어질수록 성능이 점점 불안정해졌다(2025-07). 게다가 흔히 쓰는 'needle in a haystack'(긴 글에서 한 문장 찾기) 테스트는 너무 단순해서, 계약서 분석이나 요약 같은 실무 장문 작업의 어려움을 오히려 과소평가한다고 지적한다. 제미나이 공식 문서도 단일 항목 검색은 최대 99% 정확하지만, 여러 항목을 동시에 찾는 상황에선 그만큼 정확도가 안 나온다고 인정한다.
출처: Anthropic 공식 · Chroma Research(2025-07) · Google 공식
흔한 착각 몇 가지
- "100만 토큰이니 다 기억하겠지" — 길수록 정확도가 샌다(context rot). 회사 공식 문서가 인정한 현상이다. 분량으로 안심하면 안 된다.
- "통째로 던지면 알아서 핵심 잡겠지" — 관련 없는 내용까지 잔뜩 넣으면 오히려 방해가 된다. 필요한 부분만 추려 넣는 게 정확도를 올린다.
용량 스펙보다 넣는 방식이 가른다
긴 문서를 자주 다룬다면 1M 컨텍스트를 받는 Claude(Opus·Sonnet 4.6·Fable 5)나 GPT-5 상위, 제미나이 다 후보다. 용량 차이로 고르기보다 '어떻게 넣느냐'로 결과가 갈린다. 계약서라면 통째로 던지고 끝내지 말고, "이 조항과 저 조항이 충돌하나?"처럼 찾을 지점을 콕 집어 물어라. 핵심만 추려 넣으면 같은 모델도 훨씬 정확해진다. Claude 장문 강점은 Claude 상세, 세 모델 전반 비교는 여기.
컨텍스트 스펙·정책은 수시로 바뀝니다. 본문 수치는 각 공식 문서 확인 시점(2025~2026) 기준입니다.
