api토큰1 AI 토큰 (BPE, 토큰 측정, 비용 최적화) 마크다운 문서를 Claude API에 넣었을 때 토큰 한도 초과 오류가 떴습니다. 글자 수는 분명 제한 이내였는데도 말입니다. 그날 처음으로 "토큰이 글자 수랑 같은 게 아니구나"를 몸으로 깨달았습니다. 문서를 아무리 읽어도 체감이 안 됐던 개념이, 오류 한 번에 단번에 박혔습니다.BPE와 토큰의 작동 원리AI 언어 모델은 텍스트를 문자 단위가 아닌 토큰(Token) 단위로 처리합니다. 여기서 토큰이란 단어 전체일 수도 있고, 단어의 일부 조각일 수도 있는 텍스트의 최소 처리 단위를 말합니다. 영어 기준으로는 대략 4글자가 1토큰이고, 한국어는 글자 1~2개가 1토큰에 해당하는 경우가 많습니다.이 토큰을 어떻게 나눌지 결정하는 방식이 BPE(Byte Pair Encoding)입니다. BPE란 원래 데이터.. 2026. 5. 11. 이전 1 다음
