컨텍스트윈도우2 LLM 컨텍스트 토큰 비교 (컨텍스트 윈도우, 문서 처리, 모델 선택) 저는 한동안 GPT-4o만 쓰면서 "이걸로 안 되는 건 없다"고 생각했습니다. 그 착각이 깨진 건 계약서 자동 검토 기능을 만들다가였습니다. 페이지가 좀 되는 계약서를 넣으면 모델이 처리를 거부하거나, 문서를 쪼개서 넣으면 조항 간 맥락이 끊겨 누락 오류가 생겼습니다. 그때부터 컨텍스트 윈도우(context window)라는 개념을 제대로 들여다보게 됐습니다.컨텍스트 윈도우, 숫자만 보면 절반만 아는 겁니다컨텍스트 윈도우(context window)란 AI 모델이 한 번의 요청에서 읽고 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 쉽게 말해 모델이 한꺼번에 기억할 수 있는 문서의 양입니다. 이 수치가 클수록 긴 문서를 쪼개지 않고 통째로 처리할 수 있습니다.현재 시점 기준으로 각 모델의 컨텍스트 윈.. 2026. 5. 14. 컨텍스트 윈도우 (대화 유실, Lost in the Middle, RAG) 대화가 20턴을 넘는 순간, 챗봇이 앞서 확인한 정보를 또 묻기 시작했습니다. 처음엔 프롬프트 문제라고 생각했는데, 로그를 파고들다 보니 원인은 전혀 다른 곳에 있었습니다. AI가 기억할 수 있는 물리적 한계, 즉 컨텍스트 윈도우를 초과하면서 대화 앞부분이 조용히 잘려나가고 있었던 겁니다. 이 글은 그 문제를 직접 겪고 해결한 경험을 바탕으로 씁니다.대화 유실: 앞부분이 잘려나가는 이유컨텍스트 윈도우(Context Window)란 AI 모델이 한 번에 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 여기서 컨텍스트 윈도우란 사람으로 치면 단기 기억 용량에 해당하는 것으로, 이 한도를 넘어서면 모델은 초과된 내용을 말 그대로 '보지 못하는' 상태가 됩니다.제가 직접 구축한 고객 상담 자동화 챗봇에서 이 .. 2026. 5. 13. 이전 1 다음
