LangChain2 에이전트는 자동화의 꽃이지만, 비용이라는 가시가 있다 - 에이전트, 실제 비용, 토큰 절약 전략 AI 에이전트는 스스로 생각하고, 도구를 사용하고, 여러 단계에 걸쳐 작업을 처리하는 AI 시스템입니다. 처음 들으면 굉장히 편리하게 느껴지지만, 에이전트가 작업을 처리하는 과정에서 생각보다 엄청나게 많은 토큰을 소비한다는 함정이 있습니다. 이를 토큰 폭발이라고 합니다.에이전트는 매 단계마다 지금까지의 대화 내용을 전부 모델에 다시 입력합니다. 3단계를 거치는 작업이라면, 1단계 내용이 2단계에, 1~2단계 내용이 3단계에 누적되어 들어갑니다. 단계가 늘어날수록 입력 토큰이 기하급수적으로 늘어납니다.처음 에이전트를 만들었을 때 저는 이 사실을 몰랐습니다. 문서 요약, 핵심 키워드 추출, 관련 자료 검색, 최종 보고서 작성이라는 4단계 파이프라인을 만들었는데, 한 번 실행할 때마다 예상보다 8~10배 많은.. 2026. 6. 1. RAG 청킹 전략 - 고정 크기, 계층적 청킹, 컨텍스트 창 사내 계약서 분석 자동화 프로젝트를 맡았을 때, 저도 처음엔 청킹(chunking)을 그냥 텍스트 자르는 작업 정도로 봤습니다. 그런데 실제로 서비스를 돌려보니, 임베딩 모델이나 벡터 DB보다 청킹 전략이 결과 품질을 훨씬 크게 좌우했습니다. 청킹이란 긴 문서를 LLM이 처리할 수 있는 크기의 조각으로 나누는 작업으로, RAG 파이프라인 전체의 성능을 결정짓는 핵심 단계입니다.고정 크기 청킹이 실패한 날처음에 적용한 방식은 고정 크기(fixed-size) 청킹이었습니다. 고정 크기 청킹이란 문서의 내용이나 구조를 고려하지 않고 일정한 글자 수나 토큰 수 단위로 텍스트를 잘라내는 방식입니다. 구현이 단순하고 직관적이라 많은 RAG 튜토리얼에서 첫 번째 예시로 등장하는 방법이기도 합니다.결과는 솔직히 예상 .. 2026. 5. 21. 이전 1 다음
