“틀렸다”는 다음 행동을 알려 주지 않는다
AI 답이 이상할 때 대부분의 기록은 한 단어로 끝난다. 틀렸다. 그 한 단어는 사실이지만 다음 행동을 전혀 알려 주지 않는다. 연도가 어긋난 것과, 존재하지 않는 보고서를 근거로 든 것과, 두 인물의 이력을 한 문장에 붙인 것은 각각 다른 곳을 열어야 확인된다.
이 랩은 오답을 기록할 때 오류 태그를 여섯 칸으로 나눠 쓴다. 아래는 그 여섯 칸을 그대로 펼친 것이다. 어떤 모델이 더 낫다는 판정은 하지 않는다. 답을 의심한 순간부터 확인이 끝나는 지점까지의 경로만 적는다.
운영자 노트 (2026-07-26): 여섯 칸은 처음부터 여섯 개였던 게 아니다. 오답 기록이 쌓이는 동안 “이건 앞의 어느 칸에도 안 들어간다”는 사례가 나올 때마다 칸을 하나씩 늘렸다. 그래서 이 분류는 완결된 이론이 아니라 지금까지 마주친 형태의 목록이다.
여섯 칸과 각 칸이 뜻하는 어긋남
표의 세 번째 열이 이 글의 요점이다. 유형이 정해지면 열어야 할 자료가 정해진다.
| 오류 유형 | 무엇이 어긋난 것인가 | 유형이 정해지면 먼저 열 곳 |
|---|---|---|
| 존재하지 않는 출처 인용 | 실재하지 않거나 원문을 확인할 수 없는 문서·링크·기관명을 근거처럼 제시 | 인용된 제목·기관명을 그대로 검색해 원문 존재 여부부터 확인 |
| 그럴듯한 숫자 날조 | 익숙해 보이는 수치·단위·연도를 근거 없이 만들거나 다른 항목의 값과 교체 | 그 수치를 처음 발표한 기관의 통계·고시 원문 |
| 두 사실의 잘못된 결합 | 각각은 맞을 수 있는 인물·장소·사건 정보를 한 문장에 잘못 이어 붙임 | 고유명사를 하나씩 분리해 각각의 연표를 따로 확인 |
| 시점 오류 | 발표일·시행일·사건 순서·학습 시점을 혼동해 시간 관계가 어긋남 | 날짜가 붙은 1차 발표문과 시행일 공고 |
| 대상 바꿔치기 | 가장 큼과 가장 가까움처럼 비교 기준이나 주체·대상을 슬쩍 교체 | 질문에 쓴 비교 기준을 다시 읽고 답이 같은 기준을 쓰는지 대조 |
| 지리 정보 오류 | 도시·국가·유역·항로 등 위치 관계를 서로 다른 지역과 섞음 | 지도·행정구역 자료에서 위치 관계 직접 확인 |
여섯 칸을 외울 필요는 없다. 답을 의심했을 때 “이게 숫자 문제인가, 시점 문제인가, 아니면 아예 없는 문서를 든 건가”만 갈라도 확인 시간이 크게 줄어든다.
확인 순서는 세 단계 골격을 공유한다
이 랩의 오답 기록은 유형이 달라도 확인 단계를 셋으로 쓴다. 유형에 따라 2단계에서 여는 자료만 바뀐다.
- 핵심 고유명사를 따로 적는다. 한 문장에 섞여 있으면 무엇이 틀렸는지 보이지 않는다. 인물·연도·기관·지명을 줄바꿈해 나열한다.
- 유형에 맞는 기준 자료를 연다. 위 표의 세 번째 열이 이 자리다. 숫자면 통계 원문, 시점이면 발표일 공고, 지리면 지도다.
- 한 겹 더 대조한다. 1차 자료가 맞았더라도 다른 축에서 어긋날 수 있다. 연도가 맞으면 그 연도가 인물의 재임 시기와 맞는지까지 본다.
3단계를 빼면 절반만 확인한 상태로 끝난다. 오답에서 가장 자주 살아남는 형태가 “한 항목은 맞고 나머지 관계가 어긋난” 문장이기 때문이다.
왜 여섯 칸인가: 이 랩 오답 묶음의 분포
여섯 칸이 균등하게 나오지는 않는다. 이 랩이 스팟 연습용으로 정리해 둔 오답 묶음 9건의 유형 분포는 아래와 같다.
| 오류 유형 | 묶음 안 건수 |
|---|---|
| 그럴듯한 숫자 날조 | 2건 |
| 두 사실의 잘못된 결합 | 2건 |
| 지리 정보 오류 | 2건 |
| 시점 오류 | 1건 |
| 대상 바꿔치기 | 1건 |
| 존재하지 않는 출처 인용 | 1건 |
9건은 표본이라기엔 너무 작아서 “이 유형이 더 자주 생긴다”는 결론으로 쓸 수 없다. 다만 상위 세 칸이 모두 관계가 어긋난 형태라는 점은 기록해 둘 만하다. 숫자 자체, 사실 자체보다 항목들을 잇는 방식에서 어긋나는 경우가 눈에 더 잘 띄었다.
기록 문장은 이 형식으로 남긴다
오답을 고칠 때 “틀렸다”가 아니라 다음 네 조각을 적는다. 나중에 같은 형태를 다시 만났을 때 재사용할 수 있는 최소 단위다.
- 문장 그대로: 요약하지 않고 원문 그대로 옮긴다.
- 유형 한 칸: 위 여섯 칸 중 하나. 애매하면 두 칸을 적는다.
- 열어 본 자료: 무엇을 어디서 확인했는지 링크나 기관명으로.
- 정정문: 맞는 문장 한 줄. 근거가 없으면 “확인 못 함”이라고 적고 비워 둔다.
마지막 조각이 중요하다. 정정문을 만들 근거가 없을 때 그냥 그럴듯한 문장으로 덮으면, 처음의 환각을 사람이 한 번 더 반복한 셈이 된다. 비워 두는 편이 기록으로서 정확하다.
다음에 이어서 볼 것
여섯 칸으로 나누는 연습은 환각 스팟 연습에서 한 문장씩 해볼 수 있다. 질문을 바꿔서 오답 자체를 줄이는 쪽은 프롬프트 전후 클리닉이 다룬다.
이 글의 여섯 유형과 확인 3단계, 오답 묶음 9건의 분포는 이 사이트의 환각 스팟 연습 데이터를 그대로 옮긴 것이다(2026년 7월 26일 기준). 특정 모델의 오류율을 비교하거나 순위를 매기지 않으며, 어떤 도구가 더 정확하다는 판정도 하지 않는다.
