claude2 모델 라우팅 전략 - 작업 난이도에 따라 모델을 골라 비용 최적화 AI 서비스를 만들다 보면 한 가지 의문이 생깁니다. "모든 요청에 가장 똑똑한 모델을 써야 할까?" 정답은 아닙니다. 모델 라우팅이란 들어오는 질문이나 작업의 난이도를 판단해서, 그 수준에 맞는 모델로 자동으로 연결해 주는 전략입니다. "오늘 날씨 어때?"라는 질문에 세계 최고 수준의 AI를 쓰는 건 소총으로 모기를 잡는 격입니다. 반면 복잡한 코드 리뷰나 다단계 논리 추론이 필요한 작업은 성능이 높은 모델이 필요합니다.처음 AI 서비스를 만들었을 때 저도 모든 요청에 최상위 모델을 붙였습니다. 그런데 한 달 뒤 청구서를 보고 깜짝 놀랐습니다. 단순한 인사말이나 FAQ 답변에도 고가 모델이 돌아가고 있었던 거죠. 알고 보니 전체 요청의 60% 이상이 아주 간단한 질문들이었고, 그걸 다 비싼 모델로 처리.. 2026. 5. 31. LLM 토크나이저-tiktoken, 언어별 비용, Claude API "단어 수에 1.3 곱하면 토큰 수 나오지 않나요?" 처음 GPT-4 API 비용을 예측할 때 저도 그렇게 생각했습니다. 그런데 실제로 tiktoken을 설치해서 돌려봤더니, 한국어가 섞인 프롬프트에서 그 수식은 완전히 빗나갔습니다. 토크나이저는 개발자가 대충 넘겨도 되는 부분이 아니라, API 비용과 컨텍스트 한도를 결정짓는 핵심 요소입니다.tiktoken 직접 써보니 알게 된 것들저는 GPT-4 API 비용을 사전에 계산하려는 목적으로 tiktoken을 처음 설치했습니다. 텍스트가 정수 리스트로 변환되는데, 그 리스트의 길이가 곧 토큰 수가 됩니다. 구조 자체는 직관적으로 이해됐지만, 실제 수치를 보고 나서는 좀 당황스러웠습니다.BPE(Byte Pair Encoding)란 자주 등장하는 문자 조합을 .. 2026. 5. 20. 이전 1 다음
