AI서비스비용2 기획자가 알아야 할 토큰 상식, AI 서비스 기획 시 비용 감각 갖추기 토큰이 뭔지 모르면 기획을 못 한다AI 서비스를 기획하면서 "개발자가 알아서 하겠지"라고 생각한다면, 이 글을 꼭 읽어야 합니다. 토큰(Token)은 AI 모델이 텍스트를 처리하는 기본 단위입니다. 쉽게 말하면 AI가 "글자를 읽는 데 드는 요금의 기준"입니다. 한국어로는 대략 글자 1~2자가 1토큰 정도 됩니다. 영어는 단어 하나가 보통 1~2토큰입니다.왜 기획자가 이걸 알아야 할까요? 기획자가 "사용자가 올린 문서를 AI가 분석해서 요약해줘"라고 기획서에 쓰면, 개발자는 그 기능을 만듭니다. 그런데 사용자가 100페이지짜리 PDF를 올린다면? 그 문서를 처리하는 데 수만 토큰이 들고, 하루에 1,000명이 쓰면 엄청난 비용이 생깁니다. 이걸 기획 단계에서 파악하지 못하면, 나중에 비용 폭탄을 맞고 기.. 2026. 6. 2. API 토큰 비용 - 입출력 요금, 구조화 출력, Batch API API를 쓰면서 비용이 예상보다 두 배 가까이 나온 적 있으신가요? 저는 있습니다. 그것도 첫 달 청구서를 받고 나서야 깨달았습니다. 입력 토큰과 출력 토큰의 요금이 다르다는 걸, 직접 돈을 날리고 나서야 제대로 인식하게 됐습니다. 그 경험이 지금의 설계 습관을 만들었습니다.입출력 요금 - 청구서가 가르쳐줬습니다RAG(Retrieval-Augmented Generation) 기반의 문서 질의응답 서비스를 만들고 있었습니다. RAG란 외부 문서를 검색해서 그 내용을 컨텍스트로 LLM에 넘기는 방식으로, 모델이 학습하지 않은 최신 정보나 사내 자료를 다룰 때 자주 쓰이는 아키텍처입니다.구조는 단순했습니다. 사용자가 질문하면 관련 문서를 검색하고, 검색된 결과 전체를 컨텍스트 윈도우에 넣은 뒤 상세하고 친절한.. 2026. 5. 12. 이전 1 다음
