분류 전체보기73 프롬프트 최적화 (토큰 비용, 컨텍스트 압축, 품질) GPT-4 API를 실무에 연결한 첫 달, 예상의 세 배에 가까운 청구서를 받았습니다. 원인은 단 하나였습니다. 매 요청마다 길게 늘어뜨린 역할 지정 문장이었고, 두 달 만에 비용을 41% 줄인 건 프롬프트 길이를 다듬은 것 외에 아무것도 하지 않아서였습니다.토큰 비용을 낭비하는 프롬프트의 구조토큰(token)이란 LLM이 텍스트를 처리하는 최소 단위입니다. 한국어 한 글자가 하나의 토큰이 되기도 하고, 영어 단어 하나가 여러 토큰으로 쪼개지기도 합니다. API 비용은 이 토큰 수에 비례해서 청구됩니다. 처음에는 이 구조를 제대로 몰랐습니다.제가 쓰던 프롬프트는 이런 식이었습니다. "당신은 10년 경력의 시니어 개발자입니다. 항상 친절하고 정확하게 답변하며, 한국어로 응답하고, 코드는 실행 가능하게 작성.. 2026. 5. 15. LLM 컨텍스트 토큰 비교 (컨텍스트 윈도우, 문서 처리, 모델 선택) 저는 한동안 GPT-4o만 쓰면서 "이걸로 안 되는 건 없다"고 생각했습니다. 그 착각이 깨진 건 계약서 자동 검토 기능을 만들다가였습니다. 페이지가 좀 되는 계약서를 넣으면 모델이 처리를 거부하거나, 문서를 쪼개서 넣으면 조항 간 맥락이 끊겨 누락 오류가 생겼습니다. 그때부터 컨텍스트 윈도우(context window)라는 개념을 제대로 들여다보게 됐습니다.컨텍스트 윈도우, 숫자만 보면 절반만 아는 겁니다컨텍스트 윈도우(context window)란 AI 모델이 한 번의 요청에서 읽고 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 쉽게 말해 모델이 한꺼번에 기억할 수 있는 문서의 양입니다. 이 수치가 클수록 긴 문서를 쪼개지 않고 통째로 처리할 수 있습니다.현재 시점 기준으로 각 모델의 컨텍스트 윈.. 2026. 5. 14. 컨텍스트 윈도우 (대화 유실, Lost in the Middle, RAG) 대화가 20턴을 넘는 순간, 챗봇이 앞서 확인한 정보를 또 묻기 시작했습니다. 처음엔 프롬프트 문제라고 생각했는데, 로그를 파고들다 보니 원인은 전혀 다른 곳에 있었습니다. AI가 기억할 수 있는 물리적 한계, 즉 컨텍스트 윈도우를 초과하면서 대화 앞부분이 조용히 잘려나가고 있었던 겁니다. 이 글은 그 문제를 직접 겪고 해결한 경험을 바탕으로 씁니다.대화 유실: 앞부분이 잘려나가는 이유컨텍스트 윈도우(Context Window)란 AI 모델이 한 번에 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 여기서 컨텍스트 윈도우란 사람으로 치면 단기 기억 용량에 해당하는 것으로, 이 한도를 넘어서면 모델은 초과된 내용을 말 그대로 '보지 못하는' 상태가 됩니다.제가 직접 구축한 고객 상담 자동화 챗봇에서 이 .. 2026. 5. 13. API 토큰 비용 (입출력 요금, 구조화 출력, Batch API) API를 쓰면서 비용이 예상보다 두 배 가까이 나온 적 있으신가요? 저는 있습니다. 그것도 첫 달 청구서를 받고 나서야 깨달았습니다. 입력 토큰과 출력 토큰의 요금이 다르다는 걸, 직접 돈을 날리고 나서야 제대로 인식하게 됐습니다. 그 경험이 지금의 설계 습관을 만들었습니다.입출력 요금이 다르다는 것, 청구서가 가르쳐줬습니다RAG(Retrieval-Augmented Generation) 기반의 문서 질의응답 서비스를 만들고 있었습니다. 여기서 RAG란 외부 문서를 검색해서 그 내용을 컨텍스트로 LLM에 넘기는 방식으로, 모델이 학습하지 않은 최신 정보나 사내 자료를 다룰 때 자주 쓰이는 아키텍처입니다.구조는 단순했습니다. 사용자가 질문하면 관련 문서를 검색하고, 검색된 결과 전체를 컨텍스트 윈도우에 넣은.. 2026. 5. 12. AI 토큰 (BPE, 토큰 측정, 비용 최적화) 마크다운 문서를 Claude API에 넣었을 때 토큰 한도 초과 오류가 떴습니다. 글자 수는 분명 제한 이내였는데도 말입니다. 그날 처음으로 "토큰이 글자 수랑 같은 게 아니구나"를 몸으로 깨달았습니다. 문서를 아무리 읽어도 체감이 안 됐던 개념이, 오류 한 번에 단번에 박혔습니다.BPE와 토큰의 작동 원리AI 언어 모델은 텍스트를 문자 단위가 아닌 토큰(Token) 단위로 처리합니다. 여기서 토큰이란 단어 전체일 수도 있고, 단어의 일부 조각일 수도 있는 텍스트의 최소 처리 단위를 말합니다. 영어 기준으로는 대략 4글자가 1토큰이고, 한국어는 글자 1~2개가 1토큰에 해당하는 경우가 많습니다.이 토큰을 어떻게 나눌지 결정하는 방식이 BPE(Byte Pair Encoding)입니다. BPE란 원래 데이터.. 2026. 5. 11. 한국어 토큰 비용 (토크나이저, BPE, 비용 절감) 솔직히 저는 처음에 이게 제 실수인 줄 알았습니다. 영어 테스트 문서로 월 예산을 잡았는데, 실제 한국어 문서를 넣었더니 토큰이 두 배 가까이 나왔습니다. 한국어 LLM 서비스를 만들 때 가장 먼저 맞닥뜨리는 이 비용 구조 문제, 생각보다 많은 분들이 같은 곳에서 넘어집니다.한국어가 토크나이저에서 불리한 이유현재 대부분의 대형 언어 모델은 BPE(Byte Pair Encoding) 방식의 토크나이저를 사용합니다. 여기서 BPE란 자주 등장하는 문자 조합을 하나의 토큰으로 묶는 알고리즘으로, 학습 데이터에서 많이 등장한 언어일수록 더 긴 문자열을 하나의 토큰으로 처리하게 됩니다(출처: arXiv - BPE 토크나이제이션 연구). 쉽게 말해, 영어는 단어 하나가 토큰 하나에 가깝게 처리되는 반면, 한국어는 .. 2026. 5. 10. 이전 1 2 3 4 5 6 ··· 13 다음
