토큰 비용2 LLM API 비용의 토큰 낭비 (패턴 진단, 히스토리 관리, 캐싱 전략) 파트너사의 고객 지원 봇을 처음 진단했을 때 솔직히 예상 밖이었습니다. 월 API 비용의 68%가 실제 AI 처리가 아닌 히스토리 재전송에 쓰이고 있었거든요. 코드는 멀쩡히 돌아가고 있었고, 아무도 문제를 몰랐습니다. LLM 개발에서 토큰 낭비는 대부분 이렇게 조용히 쌓입니다.이 숫자를 처음 봤을 때 든 생각은 "버그가 있는 거 아닌가"였습니다. 그런데 코드를 뜯어보면 뜯어볼수록 버그가 아니라 설계였습니다. 아무도 의심하지 않았기 때문에 아무도 고치지 않은 패턴들이 비용 구조를 조용히 갉아먹고 있었습니다. 이 경험 이후로 저는 "돌아가는 코드"와 "효율적인 코드"가 얼마나 다를 수 있는지를 다시 생각하게 됐습니다.가장 많이 보이는 낭비 패턴 다섯 가지제가 직접 코드 리뷰와 프로덕션 모니터링을 하면서 반복.. 2026. 5. 28. LLM 토크나이저-tiktoken, 언어별 비용, Claude API "단어 수에 1.3 곱하면 토큰 수 나오지 않나요?" 처음 GPT-4 API 비용을 예측할 때 저도 그렇게 생각했습니다. 그런데 실제로 tiktoken을 설치해서 돌려봤더니, 한국어가 섞인 프롬프트에서 그 수식은 완전히 빗나갔습니다. 토크나이저는 개발자가 대충 넘겨도 되는 부분이 아니라, API 비용과 컨텍스트 한도를 결정짓는 핵심 요소입니다.tiktoken 직접 써보니 알게 된 것들저는 GPT-4 API 비용을 사전에 계산하려는 목적으로 tiktoken을 처음 설치했습니다. 텍스트가 정수 리스트로 변환되는데, 그 리스트의 길이가 곧 토큰 수가 됩니다. 구조 자체는 직관적으로 이해됐지만, 실제 수치를 보고 나서는 좀 당황스러웠습니다.BPE(Byte Pair Encoding)란 자주 등장하는 문자 조합을 .. 2026. 5. 20. 이전 1 다음
