프롬프트최적화2 에이전트는 자동화의 꽃이지만, 비용이라는 가시가 있다 - 에이전트, 실제 비용, 토큰 절약 전략 AI 에이전트는 스스로 생각하고, 도구를 사용하고, 여러 단계에 걸쳐 작업을 처리하는 AI 시스템입니다. 처음 들으면 굉장히 편리하게 느껴지지만, 에이전트가 작업을 처리하는 과정에서 생각보다 엄청나게 많은 토큰을 소비한다는 함정이 있습니다. 이를 토큰 폭발이라고 합니다.에이전트는 매 단계마다 지금까지의 대화 내용을 전부 모델에 다시 입력합니다. 3단계를 거치는 작업이라면, 1단계 내용이 2단계에, 1~2단계 내용이 3단계에 누적되어 들어갑니다. 단계가 늘어날수록 입력 토큰이 기하급수적으로 늘어납니다.처음 에이전트를 만들었을 때 저는 이 사실을 몰랐습니다. 문서 요약, 핵심 키워드 추출, 관련 자료 검색, 최종 보고서 작성이라는 4단계 파이프라인을 만들었는데, 한 번 실행할 때마다 예상보다 8~10배 많은.. 2026. 6. 1. 한국어 LLM 서비스, 왜 예산이 두 배로 나왔을까 처음에는 제 실수라고 생각했습니다. 영어 테스트 문서로 월 예산을 잡았는데, 실제 한국어 문서를 넣었더니 토큰이 두 배 가까이 나왔습니다. 프롬프트를 뒤지고, 설정을 확인하고, 혹시 중복 호출이 있나 로그를 뒤졌습니다. 결론은 제 코드 문제가 아니었습니다. 한국어 자체가 현재 대부분의 대형 언어 모델 토크나이저 구조에서 구조적으로 불리하다는 사실, 그걸 깨닫는 데 꽤 시간이 걸렸습니다.이 경험을 공유하는 이유는 단순합니다. 한국어 LLM 서비스를 만들 때 가장 먼저 맞닥뜨리는 이 비용 구조 문제에서, 생각보다 많은 분들이 같은 곳에서 넘어집니다. 저처럼 청구서를 받고 나서야 알게 되는 게 아니라, 미리 설계 단계에서 고려할 수 있도록 이 글을 씁니다.지금 돌이켜보면 이 문제는 충분히 예측 가능했습니다. .. 2026. 5. 10. 이전 1 다음
