AI가 생성한 텍스트의 약 20~30%는 사실과 다르다는 연구 결과가 있습니다. 저도 처음엔 "설마"라고 생각했는데, 기술 블로그 포스팅 하나를 날려먹고 나서야 이게 숫자가 아니라 현실이라는 걸 뼈저리게 깨달았습니다.
환각 현상, AI는 왜 자꾸 없는 걸 있다고 할까요
AI가 틀린 정보를 마치 사실인 것처럼 생성하는 현상을 할루시네이션(Hallucination), 우리말로 환각 현상이라고 부릅니다. 여기서 환각 현상이란, 모델이 학습 데이터에 없거나 불확실한 정보를 추론으로 메워버리면서 발생하는 오류를 말합니다. 틀렸다는 게 문제가 아니라, 틀린 걸 틀렸다고 표시하지 않는다는 게 진짜 문제입니다.
제가 직접 겪은 사례가 딱 그랬습니다. 특정 프로그래밍 언어의 최신 버전 기능을 AI에게 설명해달라고 했더니, 아직 출시도 되지 않은 기능을 현재 쓸 수 있는 것처럼 설명했습니다. 그게 그대로 포스팅에 올라갔고, 독자 댓글로 지적받은 다음에야 알았습니다. 그날의 민망함은 아직도 기억납니다.
출처: OpenAI 텍스트 생성 가이드에서도 이 점을 공식적으로 인정하고 있습니다. 대형 언어 모델(LLM)은 확률 기반으로 다음 단어를 예측하는 구조이기 때문에, 사실 여부와 관계없이 그럴듯한 문장을 생성하는 쪽으로 작동합니다. 여기서 대형 언어 모델이란, 방대한 텍스트 데이터를 학습해 인간의 언어를 생성하도록 설계된 AI 모델을 의미합니다. GPT, Claude 같은 서비스들이 모두 이 방식으로 작동합니다.
제 경험상 AI가 가장 자주 틀리는 영역은 정해져 있습니다. 반대로, 개념 원리나 구조 설명은 상대적으로 정확한 편입니다. 이 차이를 알고 나서부터 AI를 대하는 방식이 완전히 달라졌습니다.
- 최신 데이터와 통계 수치: 학습 데이터의 컷오프 시점 이후 정보는 추론으로 메워버립니다.
- 특정 인물의 직책·소속: 인사 이동이나 조직 개편을 반영하지 못하는 경우가 많습니다.
- 기업 인수합병(M&A) 정보: 어느 회사가 어느 회사를 샀는지 자주 뒤바뀝니다.
- 법률·규정 변경사항: 개정 전 내용을 현행인 것처럼 서술하는 오류가 잦습니다.
이 목록을 보면서 혹시 "그거 다 조심하면 되지 않나요?"라는 생각이 드셨다면, 그게 바로 다음 섹션에서 제가 하고 싶은 이야기입니다.
검증 파이프라인, 역할 분담이 전부입니다
팩트체크 파이프라인이라고 하면 거창하게 들리지만, 저는 그냥 "AI와 나 사이의 역할 분담표"라고 부릅니다. 거창한 이름이 붙어 있어도 결국은 누가 어떤 부분을 책임지느냐의 문제입니다.
제가 도입한 구조는 2단계입니다. 1단계는 AI 초안 생성 시 프롬프트에 "사실이 확실하지 않은 부분은 [검증 필요]라고 표시해줘"를 반드시 포함하는 것입니다. 솔직히 이건 예상 밖이었습니다. AI가 스스로 불확실한 부분을 표시하는 확률이 생각보다 꽤 높았습니다. 완벽하지는 않지만, 아무 표시도 없는 것보다는 훨씬 낫습니다.
2단계는 [검증 필요] 표시된 부분과 날짜·수치·고유명사가 포함된 문장만 따로 뽑아서 직접 검색 확인하는 과정입니다. 전체를 다 확인하면 AI를 쓰는 이유가 없어집니다. 이 방식으로 검증 시간을 기존 대비 절반 이하로 줄였습니다.
출처: IFCN(국제팩트체킹네트워크) 원칙에서도 팩트체크의 범위를 전수 검사가 아닌 리스크 기반 선별 검증으로 접근하라고 권고합니다. 여기서 IFCN이란 언론사와 콘텐츠 제작자들의 팩트체킹 기준을 국제 표준으로 정립한 네트워크 기관으로, 전 세계 100개 이상의 팩트체크 기관이 이 원칙을 따릅니다. 전문가들도 전체가 아니라 고위험 구간만 집중 검증하는 방식을 씁니다.
그런데 이 구조를 실제로 운영하면서 이상한 딜레마를 느꼈습니다. AI 초안을 50% 이상 수정하다 보면, 어느 순간 그게 AI 글인지 제 글인지 경계가 완전히 흐려집니다. 제 경험상 이 지점에서 AI는 보조 도구가 아니라 오히려 방해 요소가 되기도 합니다. 처음부터 제가 쓰는 게 더 빠를 때가 생기거든요.
그래서 지금 제가 쓰는 방식은 역할 분담을 더 명확히 나누는 것입니다. AI에게는 개념 설명과 구조 작성을 맡기고, 수치·고유명사·날짜는 제가 직접 넣습니다. 자동화 팩트체크 도구들도 시도해봤지만, 구글 팩트체크 API처럼 사전 검증된 정보를 참조하는 방식은 신규 정보나 전문 기술 영역에서는 한계가 명확했습니다. 결국 마지막 판단은 사람이 해야 합니다.
AI 글쓰기에서 팩트체크를 어떻게 하면 좋을지 아직도 딱 떨어지는 정답은 없다고 생각합니다. 저도 지금의 방식이 최선이라고 확신하지 못합니다. 다만 확실한 건, 아무 검증 없이 AI 초안을 그대로 올리는 건 언제든 또 한 번 망신당할 준비가 된 상태라는 겁니다.
지금 AI로 글을 쓰고 계시다면, 일단 프롬프트에 "[검증 필요] 표시" 한 줄만 추가해보시길 권합니다. 그게 작은 습관처럼 보여도, 나중에 독자 댓글로 지적받는 상황을 막아주는 첫 번째 방어선이 됩니다. 저는 그 댓글 한 번으로 충분히 배웠습니다.
참고: OpenAI 텍스트 생성 가이드 / Google Fact Check Tools API / Anthropic 연구 자료 / IFCN 팩트체킹 원칙 / Snopes 팩트체킹 방법론