분류 전체보기73 프롬프트 토큰 최적화 (비교 실험, Few-shot, 비용 절감) 같은 일을 시키는 프롬프트인데 토큰이 247개짜리와 18개짜리로 나뉜다면, 그 차이가 실제 비용에서 어떻게 드러날지 궁금하지 않으셨습니까. 저는 궁금했고, 직접 실험해봤습니다. 그 결과가 생각보다 꽤 명확해서, 오늘은 제가 겪은 시행착오와 함께 프롬프트 토큰 최적화의 실체를 짚어보겠습니다.비교 실험: 같은 태스크, 다른 프롬프트제가 진행한 실험의 태스크는 단순했습니다. 고객 리뷰 텍스트를 긍정/부정/중립으로 분류하는 것이었습니다. 여기에 4가지 프롬프트 변형을 만들어 count_tokens API로 사전 측정했습니다. count_tokens API란 Anthropic이 무료로 제공하는 엔드포인트로, 실제 요청을 보내기 전에 예상 토큰 수를 미리 확인할 수 있는 도구입니다. 실험 비용 없이 프롬프트 간 토.. 2026. 5. 27. SaaS 토큰 예산 관리 (플랜 설계, 슬라이딩 윈도우, 모델 라우팅) 월 고정 요금을 내는 사용자에게 "이번 달 한도를 초과했습니다"라는 메시지를 보내는 순간, 그 사용자의 절반은 떠납니다. B2B SaaS를 운영하면서 저도 이 문제를 직접 겪었습니다. 토큰 예산 관리를 어떻게 설계하느냐가 곧 서비스의 신뢰도와 수익성을 동시에 결정짓는다는 걸 알게 된 건 솔직히 꽤 늦은 편이었습니다.요청 횟수로 제한하면 안 되는 이유"월 100회 요청 제한"이 합리적이라고 생각하는 분들도 있는데, 저는 이 방식이 근본적으로 잘못됐다고 봅니다. 직접 써봤을 때 문제가 너무 명확했습니다.짧은 질문 100번과 긴 계약서 분석 100번은 API 비용 기준으로 수십 배 차이가 납니다. 그런데 요청 횟수로만 관리하면 이 둘이 똑같이 취급됩니다. 라이트 유저는 한도가 너무 넉넉해서 비용 대비 낭비가 .. 2026. 5. 26. Claude 토큰 비용 추적 (cost attribution, 중복 집계, 실시간 대시보드) 월말에 Anthropic 청구서를 받고 나서야 "어, 이게 왜 이렇게 많이 나왔지?"라고 뒤늦게 당황한 경험, 혹시 있으신가요? 저는 있습니다. 그것도 한 번이 아니라 여러 번. Claude API를 SaaS 서비스에 붙이기 시작했을 때, 비용 관리가 이렇게 복잡한 문제가 될 거라고는 생각도 못 했습니다.기능별 cost attribution이 안 된다는 것, 처음엔 몰랐습니다처음 Claude API를 붙였을 때는 Anthropic 콘솔 대시보드만 보면 충분할 거라고 생각했습니다. 직접 써봤는데, 그건 완전히 착각이었습니다. 대시보드는 조직 전체 토큰 소비량을 하나의 숫자로 보여줄 뿐이었습니다. 서비스에는 문서 요약 기능과 챗봇 기능이 함께 있었는데, 어느 쪽이 비용을 더 많이 쓰는지 전혀 알 수가 없었습.. 2026. 5. 25. Anthropic Batch API (비용 절감, custom_id, rate limit) 50,000개 상품 설명을 실시간 API로 분류하면 비용이 얼마나 나올까요. 저도 처음엔 그냥 루프 돌리면 되겠다 싶었는데, 견적을 뽑아보고 생각이 완전히 바뀌었습니다. 그날 이후로 대량 LLM 작업에서 Batch API는 선택이 아니라 기본 전제가 됐습니다.50,000건 분류 작업, 실시간 API로 돌리다가 멈춘 이유처음 이 프로젝트를 맡았을 때, 상품 설명 텍스트를 카테고리별로 분류하는 파이프라인을 짜야 했습니다. 규모는 약 50,000건. 초반에는 동기(synchronous) API 호출 방식으로 접근했습니다. 동기 호출이란 요청을 하나 보내고, 응답이 올 때까지 기다렸다가, 다음 요청을 보내는 방식입니다. 구조가 단순하고 결과를 즉시 확인할 수 있어서 처음 프로토타입을 짤 때는 편했습니다.문제는 .. 2026. 5. 24. LLM 스트리밍 API (TTFT, SSE, UX체감) 응답 생성 시간이 똑같아도 "빠르다"는 느낌이 완전히 달라질 수 있습니다. 고객 응대 챗봇에 스트리밍을 처음 도입했을 때, 저도 이 사실을 수치로 직접 확인하고 나서야 비로소 믿게 됐습니다.TTFT가 UX를 바꾸는 이유챗봇이 응답을 내놓기까지 4~6초를 기다리는 경험은 생각보다 불쾌합니다. 제가 비스트리밍 방식으로 챗봇을 운영하던 시절, 내부 사용자 피드백에서 "너무 느리다"는 불만이 반복적으로 올라왔습니다. 실제 응답 품질에는 문제가 없었는데도 말입니다.핵심은 TTFT(Time To First Token)입니다. TTFT란 사용자가 질문을 보낸 뒤 모델이 첫 번째 토큰, 즉 첫 글자를 화면에 내보내기까지 걸리는 시간을 의미합니다. 전체 응답이 완성될 때까지 기다렸다가 한꺼번에 보여주는 방식과 달리, 스.. 2026. 5. 23. RAG 토큰 관리 (검색 최적화, 재순위화, 컨텍스트) "검색 결과를 몇 개나 넣어야 하죠?" 사내 Q&A 시스템을 처음 만들 때 저도 이 질문 앞에서 한참 멈췄습니다. 많이 넣으면 더 좋은 답이 나올 것 같은데, 실제로 해보면 꼭 그렇지만은 않습니다. 이 글은 그 시행착오를 정리한 기록입니다.검색 결과를 많이 넣으면 정말 더 좋아질까요처음에 저는 top_k=10으로 설정해 검색된 문서 청크(chunk) 10개를 모두 컨텍스트에 넣었습니다. 여기서 청크란 긴 문서를 LLM이 처리할 수 있도록 일정 크기로 잘라낸 조각을 의미합니다. 답변이 길고 풍성해 보이니 잘 되는 것 같았습니다.그런데 실제 사용자 피드백을 받아보니 상황이 달랐습니다. 핵심 답변이 여러 청크 사이에서 희석되거나, 서로 약간씩 다른 내용을 담은 문서들이 동시에 주입되면서 모델이 모순된 답변을 .. 2026. 5. 22. 이전 1 2 3 4 ··· 13 다음
