토큰한도1 컨텍스트 윈도우 (대화 유실, Lost in the Middle, RAG) 대화가 20턴을 넘는 순간, 챗봇이 앞서 확인한 정보를 또 묻기 시작했습니다. 처음엔 프롬프트 문제라고 생각했는데, 로그를 파고들다 보니 원인은 전혀 다른 곳에 있었습니다. AI가 기억할 수 있는 물리적 한계, 즉 컨텍스트 윈도우를 초과하면서 대화 앞부분이 조용히 잘려나가고 있었던 겁니다. 이 글은 그 문제를 직접 겪고 해결한 경험을 바탕으로 씁니다.대화 유실: 앞부분이 잘려나가는 이유컨텍스트 윈도우(Context Window)란 AI 모델이 한 번에 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 여기서 컨텍스트 윈도우란 사람으로 치면 단기 기억 용량에 해당하는 것으로, 이 한도를 넘어서면 모델은 초과된 내용을 말 그대로 '보지 못하는' 상태가 됩니다.제가 직접 구축한 고객 상담 자동화 챗봇에서 이 .. 2026. 5. 13. 이전 1 다음
