도구보다 용어에서 먼저 꼬인다
도구 리뷰를 올리다 보면 메일이나 댓글로 질문이 오는데, 읽다 보면 절반쯤은 도구 문제가 아니에요. "긴 문서를 넣었더니 앞부분을 까먹던데 불량인가요?", "RAG 붙였다는 서비스는 제 문서를 학습한 건가요?" 같은 질문들. 도구는 멀쩡한데, 그 도구를 설명하는 단어를 다르게 이해하고 있어서 기대와 결과가 어긋난 경우가 많았습니다.
그래서 이번 글은 도구 리뷰가 아니라 용어 정리예요. AI 기사·광고·리뷰에 매일 등장하는 네 단어(토큰, 컨텍스트, RAG, 에이전트)를 "흔한 오해 → 실제로는" 구조로 풀었습니다. 근거는 제 감이 아니라 Anthropic·Google 공식 문서이고, 각 절 끝에 출처와 확인일을 달아뒀어요. 가격이나 모델 스펙처럼 수시로 바뀌는 숫자는 이 글에서 다루지 않습니다. 그건 어차피 공식 페이지가 정답이니까요.
토큰 — "글자 수 아닌가요?"
흔한 오해: 토큰은 글자 수다. 1,000토큰이면 1,000자다. 그러니 토큰을 아끼려면 무조건 짧게 쓰면 된다.
실제로는: 토큰은 모델이 글을 처리하는 조각 단위예요. 글자와 1:1로 맞아떨어지지 않습니다. 어떤 토큰은 한 단어 전체이고, 어떤 토큰은 단어의 일부, 어떤 건 문자 하나예요. Google 공식 문서는 Gemini 기준 "1토큰은 약 4자, 100토큰은 영어 단어 약 60~80개"라고 안내하고, Anthropic 공식 용어집은 Claude 기준 "1토큰은 영어 약 3.5자이며, 정확한 수는 언어에 따라 달라진다"고 설명합니다. 즉 같은 내용이라도 언어와 모델(토크나이저)에 따라 토큰 수가 다르게 계산된다는 게 핵심이에요.
이 오해가 실전에서 문제가 되는 지점은 두 가지예요. 첫째, "몇 자까지 되나요?"라는 질문에는 정확한 답이 없습니다. 한도는 글자가 아니라 토큰으로 걸려 있고, 토큰 수는 넣어보기 전엔 대략치만 알 수 있어요. 둘째, 토큰을 아끼겠다고 지시를 뭉텅 잘라내면 오히려 손해입니다. 맥락이 빠진 요청은 엉뚱한 답을 만들고, 그걸 다시 시키는 왕복이 몇 배의 토큰을 씁니다. 아낄 곳은 지시가 아니라 불필요하게 긴 붙여넣기 쪽이에요.
출처: Google — Gemini API 토큰 문서(1토큰 ≈ 약 4자, 100토큰 ≈ 영어 60~80단어) · Anthropic 공식 용어집(토큰은 단어·서브워드·문자·바이트 단위, 언어에 따라 상이) · 확인일 2026-07-09
컨텍스트 — "한 번 말하면 계속 기억하죠?"
흔한 오해: 대화창에 한 번 알려주면 AI가 그걸 계속 기억한다. 컨텍스트 윈도우가 큰 모델이면 아무리 긴 대화도 전부 똑같이 잘 기억한다.
실제로는: 컨텍스트 윈도우는 모델이 답을 만들 때 참조할 수 있는 텍스트의 범위, Anthropic 공식 문서 표현으로는 "작업 기억(working memory)"이에요. 학습해서 몸에 밴 지식이 아니라, 지금 책상 위에 펼쳐져 있는 자료에 가깝습니다. 그래서 두 가지 성질이 따라와요.
- 밀려나면 잊습니다. 대화가 길어지면 한도에 다가가고, 채팅 서비스들은 오래된 대화를 먼저 밀어내거나 요약해 압축하는 식으로 관리해요. 긴 대화 끝에 "아까 그 조건 기억하지?"가 안 먹히는 이유가 이거예요. 고장이 아니라 설계입니다.
- 크다고 다 잘 기억하는 것도 아닙니다. Anthropic 공식 문서는 컨텍스트에 쌓인 토큰이 많아질수록 정확도와 회수율이 떨어지는 현상을 "컨텍스트 로트(context rot)"라는 이름으로 명시하고, 공간이 얼마나 남았는지만큼 무엇을 넣을지 고르는 일이 중요하다고 적어요.
그러니 긴 작업은 요령이 필요합니다. 중요한 전제 조건은 대화 초반 한 번으로 끝내지 말고 요청할 때 다시 붙여 주고, 주제가 바뀌면 이어 쓰기보다 새 대화에서 요점만 다시 제공하는 쪽이 안정적이에요. 컨텍스트 윈도우의 구체적인 크기는 모델마다 다르고 자주 바뀌니, 숫자는 쓰는 서비스의 공식 문서에서 확인하세요.
출처: Anthropic 공식 용어집(컨텍스트 윈도우 = 학습 데이터와 구별되는 "working memory") · Anthropic — 컨텍스트 윈도우 가이드(턴이 쌓이는 구조, 채팅 UI의 선입선출식 관리, context rot) · 확인일 2026-07-09
RAG — "제 문서를 학습했다는 거죠?"
흔한 오해: RAG를 붙였다는 건 AI가 내 문서를 학습(훈련)했다는 뜻이다. 그리고 RAG가 있으면 환각(지어내기)은 사라진다.
실제로는: RAG(Retrieval Augmented Generation, 검색 증강 생성)는 학습이 아니라 조회예요. Anthropic 공식 용어집의 설명을 따라가면, 질문이 들어온 그 시점에 외부 문서 저장소에서 관련 내용을 찾아와 질문과 함께 컨텍스트에 넣어주고, 모델이 그걸 근거로 답을 만드는 기법입니다. 모델 자체(가중치)는 그대로예요. 모델을 추가 데이터로 다시 훈련시켜 성질을 바꾸는 파인튜닝(fine-tuning)과는 다른 층위의 이야기입니다. 시험공부에 비유하면 파인튜닝은 외워서 시험장에 들어가는 것, RAG는 오픈북 시험이에요. 책을 반입했다고 그 내용이 머리에 새겨진 건 아니죠.
환각에 대해서도 공식 문서의 표현은 신중합니다. 검색해 온 근거에 답을 붙들어 매니 사실 정확도를 개선하는 데 도움이 되지만, 그 효과는 "지식 베이스의 품질과 검색해 온 내용의 관련성에 달려 있다"고 못 박아요. 엉뚱한 문서를 찾아오면 엉뚱한 근거로 자신 있게 답하고, 찾아온 문서를 요약하다 비틀 수도 있습니다. 줄여주는 장치이지, 없애주는 장치가 아니에요.
이 구분이 서면 서비스 광고 문구를 읽는 눈이 달라집니다. "당신의 문서 기반으로 답변"은 대부분 RAG 방식(문서를 올려두면 그걸 참조해 답하는 NotebookLM류)이고, 문서가 모델에 새겨진 게 아니니 문서를 지우면 근거도 사라져요. 반대로 "내 데이터가 학습에 쓰이는가"는 RAG냐 아니냐가 아니라 그 서비스의 데이터 정책 문제이니, 걱정된다면 정책 페이지를 확인하는 게 맞습니다.
출처: Anthropic 공식 용어집(RAG: 실행 시점 검색→컨텍스트 주입, 효과는 지식 베이스 품질에 의존 / fine-tuning: 추가 데이터로 모델을 재훈련) · Google Cloud — What is RAG · 확인일 2026-07-09
에이전트 — "그냥 좀 더 똑똑한 챗봇 아닌가요?"
흔한 오해: 에이전트는 챗봇의 마케팅용 새 이름이다. 아니면 반대로, 에이전트가 나왔으니 뭐든 맡기면 알아서 다 해주는 AI가 이미 완성된 거다.
실제로는: 둘 다 빗나갔어요. Anthropic의 에이전트 구축 가이드는 이 단어를 꽤 좁게 정의합니다. 미리 정해진 순서대로 모델과 도구를 호출하는 시스템은 워크플로(workflow)이고, 에이전트(agent)는 "모델이 스스로 자기 진행 과정과 도구 사용을 동적으로 결정하는 시스템"이에요. 챗봇과의 차이는 말재주가 아니라 행동입니다. 검색하고, 파일을 열고, 코드를 실행하고, 그 결과를 보고 다음 행동을 스스로 고르는 반복 고리가 있느냐가 갈림길이에요.
그렇다고 "다 알아서 해주는 AI"가 완성됐다는 뜻도 아닙니다. 자율성은 켜짐/꺼짐이 아니라 스펙트럼이고, 스스로 판단하는 폭이 넓어질수록 지연과 비용이 늘고 오류가 눈덩이처럼 굴러갈 여지도 커져요. 흥미로운 건 에이전트를 만들어 파는 당사자인 Anthropic 공식 가이드조차 "가능한 가장 단순한 해법을 찾고, 필요할 때만 복잡도를 올리라"며 많은 경우 LLM 호출 한 번을 잘 다듬는 것으로 충분하다고 적는다는 점이에요. 에이전트라는 단어가 붙었다고 더 좋은 서비스인 게 아니라, 그 작업에 그만큼의 자율성이 필요했는지가 판단 기준입니다.
덧붙이면, 에이전트는 AGI(범용 인공지능)의 동의어도 아니에요. 이 구분은 AGI 완전정리에 길게 적어뒀습니다.
출처: Anthropic — Building effective agents(workflow/agent 정의, "find the simplest solution possible") · 확인일 2026-07-09
덤 하나 — "채팅에 넣으면 그 자리에서 학습된다?"
네 단어를 정리하고 나면 자연스럽게 풀리는 오해가 하나 더 있어요. "대화창에 넣은 내용을 AI가 그 자리에서 학습한다"는 생각이요. 위에서 봤듯 대화 내용은 컨텍스트, 즉 작업 기억으로 들어가는 것이지 모델의 가중치를 바꾸는 학습(훈련)이 아닙니다. 대화가 끝나고 컨텍스트에서 밀려나면 모델 입장에선 없던 일이에요. 다만 입력한 데이터를 회사가 나중에 모델 개선(훈련)에 쓰는지는 별개의 문제로, 서비스와 설정에 따라 다릅니다. 민감한 내용을 다룬다면 용어가 아니라 그 서비스의 데이터 정책을 확인하세요.
단어가 잡히면 판단이 잡힌다
정리하면 이렇습니다. 토큰은 글자가 아니라 조각이고, 컨텍스트는 기억이 아니라 책상이고, RAG는 학습이 아니라 오픈북이고, 에이전트는 챗봇의 새 이름이 아니라 행동하는 고리예요. 이 네 줄만 잡혀도 "긴 문서를 까먹는다"는 불량 신고가 아니라 사용법 문제라는 걸 알게 되고, "당신의 데이터로 학습"이라는 문구 앞에서 무엇을 확인해야 하는지 보입니다.
다음 순서로는 이 이해를 손에 붙이는 글이 좋아요. 도구를 고르는 판단 순서는 AI 도구 선택 프레임워크에, 요청 문장을 고치는 연습은 프롬프트 비포 애프터 클리닉에, AI 답을 원 출처로 검증하는 방법은 1차 출처 검증 가이드에 정리해 뒀습니다.
이 글은 용어의 개념만 다루며, 가격·크레딧·모델별 한도 같은 수치는 수시로 바뀌어 싣지 않았습니다. 기술 설명은 본문 각 절에 표기한 공식 문서(확인일 2026-07-09) 기준이며, 서비스별 세부 구현은 각 공식 문서가 우선입니다.
