컨텍스트 윈도우2 RAG 토큰 관리 (검색 최적화, 재순위화, 컨텍스트) "검색 결과를 몇 개나 넣어야 하죠?" 사내 Q&A 시스템을 처음 만들 때 저도 이 질문 앞에서 한참 멈췄습니다. 많이 넣으면 더 좋은 답이 나올 것 같은데, 실제로 해보면 꼭 그렇지만은 않습니다. 이 글은 그 시행착오를 정리한 기록입니다.검색 결과를 많이 넣으면 정말 더 좋아질까요처음에 저는 top_k=10으로 설정해 검색된 문서 청크(chunk) 10개를 모두 컨텍스트에 넣었습니다. 여기서 청크란 긴 문서를 LLM이 처리할 수 있도록 일정 크기로 잘라낸 조각을 의미합니다. 답변이 길고 풍성해 보이니 잘 되는 것 같았습니다.그런데 실제 사용자 피드백을 받아보니 상황이 달랐습니다. 핵심 답변이 여러 청크 사이에서 희석되거나, 서로 약간씩 다른 내용을 담은 문서들이 동시에 주입되면서 모델이 모순된 답변을 .. 2026. 5. 22. 긴 문서 AI 분석 (컨텍스트, 청킹, 중간 소실) 30페이지짜리 계약서를 AI에 통째로 넘겼다가 오류 메시지를 받아본 분이라면 이 글이 반갑게 느껴질 겁니다. 저도 처음엔 당연히 전문을 다 붙여넣으면 된다고 생각했습니다. 그 생각이 완전히 틀렸다는 걸 알게 된 이후로 방식이 달라졌습니다. 긴 문서를 AI에 분석시킬 때 실제로 효과가 있었던 전략과, 그 과정에서 발견한 한계를 정리했습니다.컨텍스트 윈도우와 토큰의 현실AI 모델에 문서를 넘길 때 가장 먼저 부딪히는 한계가 컨텍스트 윈도우(context window)입니다. 컨텍스트 윈도우란 AI 모델이 한 번의 요청에서 처리할 수 있는 텍스트의 최대 분량을 의미합니다. 단위는 토큰(token)인데, 토큰이란 모델이 텍스트를 처리하는 최소 단위로 한국어 기준 한 글자가 대략 1~2토큰에 해당합니다.제가 처음.. 2026. 5. 17. 이전 1 다음
