토큰 관리2 세션 후반부 멀티턴 대화 토큰 관리 - 슬라이딩 윈도우, 동적 요약, 하이브리드 고객 지원 챗봇을 운영하다 보면 세션 후반부 응답 비용이 초반 대비 4~5배 치솟는 순간이 옵니다. 저도 그 숫자를 처음 봤을 때 잠깐 멍했습니다. 멀티턴 LLM 대화에서 히스토리를 어떻게 관리하느냐는 단순한 최적화 문제가 아니라, 서비스 품질과 비용을 동시에 결정하는 핵심 설계 선택입니다.이 문제를 처음 마주했을 때 솔직히 "그냥 최근 몇 턴만 남기면 되지 않을까" 싶었습니다. 그런데 실제로 해보니 그렇게 단순하지 않았습니다. 비용과 품질은 서로 반대 방향을 당기고 있었고, 그 사이에서 균형점을 찾는 과정이 생각보다 훨씬 까다로운 엔지니어링 문제였습니다.슬라이딩 윈도우: 단순함의 함정멀티턴 대화에서 가장 먼저 떠올리는 전략은 슬라이딩 윈도우입니다. 전체 대화 이력 중 가장 최근 N개의 메시지만 LLM에.. 2026. 5. 29. RAG 토큰 관리 - 검색 최적화, 재순위화, 컨텍스트 사내 Q&A 시스템을 처음 만들 때 저도 이 질문 앞에서 한참 멈췄습니다. 많이 넣으면 더 좋은 답이 나올 것 같은데, 실제로 해보면 꼭 그렇지만은 않더군요. 이 글은 그 시행착오를 정리한 기록이자, 제가 직접 부딪히면서 생긴 비판적 시각을 함께 담은 글입니다.검색 결과를 많이 넣으면 정말 더 좋아질까요처음에 저는 top_k=10으로 설정해 검색된 문서 청크 10개를 모두 컨텍스트에 넣었습니다. 청크란 긴 문서를 LLM이 처리할 수 있도록 일정 크기로 잘라낸 조각입니다. 답변이 길고 풍성해 보이니 잘 되는 것 같았습니다. 적어도 그렇게 느꼈습니다.그런데 실제 사용자 피드백을 받아보니 상황이 달랐습니다. 핵심 답변이 여러 청크 사이에서 희석되거나, 서로 약간씩 다른 내용을 담은 문서들이 동시에 주입되면서 .. 2026. 5. 22. 이전 1 다음
