Claude토큰2 GPT-4o, Claude, Gemini - 컨텍스트 윈도우, 문서 처리, 모델 선택 저는 한동안 GPT-4o만 쓰면서 "이걸로 안 되는 건 없다"고 생각했습니다. 그 착각이 깨진 건 계약서 자동 검토 기능을 만들다가였습니다. 페이지가 좀 되는 계약서를 넣으면 모델이 처리를 거부하거나, 문서를 쪼개서 넣으면 조항 간 맥락이 끊겨 누락 오류가 생겼습니다. 그때부터 컨텍스트 윈도우라는 개념을 제대로 들여다보게 됐습니다.컨텍스트 윈도우, 숫자만 보면 절반만 아는 겁니다컨텍스트 윈도우란 AI 모델이 한 번의 요청에서 읽고 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 쉽게 말해 모델이 한꺼번에 기억할 수 있는 문서의 양입니다. 이 수치가 클수록 긴 문서를 쪼개지 않고 통째로 처리할 수 있습니다.현재 시점 기준으로 각 모델의 컨텍스트 윈도우는 GPT-4o가 128,000토큰, Claude 3... 2026. 5. 14. AI 토큰은 글자 수가 아니다 (BPE, 토큰 측정, 비용 최적화) BPE, 토큰 측정, 비용 최적화마크다운 문서를 Claude API에 넣었을 때 토큰 한도 초과 오류가 떴습니다. 글자 수는 분명 제한 이내였는데도 말입니다. 그날 처음으로 "토큰이 글자 수랑 같은 게 아니구나"를 몸으로 깨달았습니다. 문서를 아무리 읽어도 체감이 안 됐던 개념이, 오류 한 번에 단번에 박혔습니다.사실 이 오류를 겪기 전까지 저는 "대충 글자 수 비슷하게 맞추면 되겠지"라고 생각하고 있었습니다. 이건 흔한 오해입니다. 그리고 이 오해는 개발 중 어느 시점에 반드시 문제로 터집니다. 저처럼 오류를 직접 맞닥뜨리거나, 아니면 예산이 예상을 훌쩍 넘어서는 청구서를 받고 나서야 깨닫게 됩니다. 이 글은 그 오류를 맞닥뜨린 뒤 하나씩 파헤친 경험을 바탕으로 씁니다.BPE와 토큰의 작동 원리AI 언.. 2026. 5. 11. 이전 1 다음
