"AI로 썼는지 검사기 돌리면 나온다던데" — 그 검사기를 못 믿는다
과제나 보고서에 AI 탐지기를 들이대는 곳이 늘었다. 문제는 그 탐지기가 생각보다 한참 부정확하다는 거다. 특히 한국인처럼 영어가 모국어가 아닌 사람에게 불리하게 작동한다. 연구로 확인된 얘기다.
현장 기록 — 나는 이 사이트 글을 사람이 읽는 톤으로 직접 다듬는다. 그런데 AI 탐지기에 돌리면 멀쩡한 내 글도 "AI 작성"으로 뜰 때가 있다. 처음엔 황당했는데, 아래 연구를 보고 이게 내 문제가 아니라 탐지기의 문제라는 걸 알았다.
비원어민 글을 절반 넘게 'AI'로 오판한다
스탠퍼드 연구진이 GPT 탐지기 7종을 검증했다(2023, 학술지 Patterns). 미국 학생이 쓴 영어 에세이는 정확히 사람 글로 분류했다. 그런데 비원어민(TOEFL) 에세이는 절반 넘게 'AI 작성'으로 오판했다. 평균 오탐율 61.3%. 7개 탐지기가 만장일치로 사람 글을 AI로 찍은 비율도 19.8%였고, TOEFL 에세이 91편 중 97.8%는 적어도 한 탐지기에서 AI로 표시됐다.
원인이 결정적이다. 탐지기는 글이 단순하고 예측 가능할수록(낮은 perplexity) AI로 본다. 비원어민은 어휘·문법이 제한적이라 여기 걸린다. 실제로 같은 TOEFL 에세이를 ChatGPT로 어휘를 더 '원어민답게' 바꿨더니 오탐율이 61.3%에서 11.6%로 뚝 떨어졌다. 즉 탐지기는 '누가 썼나'가 아니라 '얼마나 화려한 단어를 썼나'에 휘둘린다. 한국인이 영어로 쓴 글이 억울하게 걸리는 구조다.
출처: Liang et al., Patterns (Cell Press), 2023-07
OpenAI도 자기 탐지기를 내렸다
가장 상징적인 사건. OpenAI는 2023년 1월 자체 AI 텍스트 분류기를 내놨다가, 6개월도 안 된 7월 20일에 '낮은 정확도'를 이유로 내렸다. 공개된 자체 성능이 처참했다 — AI가 쓴 글을 26%만 맞혔고, 사람 글의 9%를 AI로 오판했으며, 1,000자 미만 짧은 글에선 '매우' 신뢰할 수 없었다. AI를 만든 회사조차 "AI가 썼는지 가려내기"를 사실상 포기한 셈이다.
출처: TechCrunch · Search Engine Land, 2023-07
"99% 정확"이라는 상용 탐지기도 쉽게 뚫린다
그럼 요즘 99% 정확하다는 상용 탐지기는 다를까. ACL 2024의 RAID 벤치마크가 이걸 검증했는데, 99% 이상을 주장하는 탐지기들이 문장을 살짝 바꿔 쓰는 패러프레이즈, 샘플링 방식 변화, 학습 안 된 새 모델 앞에서 쉽게 속았다. 높은 정확도는 '딱 그 조건'에서만 나오는 숫자고, 조금만 비틀면 무너진다는 얘기다.
출처: RAID 벤치마크(arXiv, ACL 2024)
미리 알았으면 좋았을 것들
- "탐지기가 AI라니까 AI겠지" — 비원어민 사람 글을 절반 넘게 오판한다. 탐지 결과는 증거가 아니라 참고치일 뿐이다.
- "통과하려고 문장을 더 꾸미자" — 화려하게 쓸수록 오히려 사람처럼 보일 뿐, 글이 좋아지는 건 아니다. 탐지기 통과가 목표가 되면 글이 망가진다.
그래서, 어떻게
탐지기 점수에 일희일비할 필요 없다. AI를 썼든 안 썼든, 결국 중요한 건 글에 본인의 경험·관점·사실 확인이 들어갔느냐다. 검수받는 입장이라면 초안 메모나 작성 과정을 남겨두는 게 어떤 탐지기 점수보다 든든한 근거가 된다. 반대로 누군가의 글을 탐지기로 판정하는 입장이라면, 그 숫자 하나로 사람을 단정하지 않는 게 맞다. ('AI 티'를 줄이는 건 탐지 회피가 아니라 사람이 읽기 좋게 만드는 일이다 — 번역체 함정도 같은 맥락.)
인용 연구는 2023~2024년 시점이며 탐지 기술은 계속 바뀝니다. 본문 수치는 각 출처 확인 시점 기준입니다.
