전체 글118 Anthropic Batch API - 비용 절감, custom_id, rate limit 50,000개 상품 설명을 실시간 API로 분류하면 비용이 얼마나 나올까. 처음엔 그냥 루프 돌리면 되겠다 싶었는데, 견적을 뽑아보고 생각이 완전히 바뀌었다. 그날 이후로 대량 LLM 작업에서 Batch API는 선택이 아니라 기본 전제가 됐다.50,000건 분류 작업, 실시간 API로 돌리다가 멈춘 이유처음 이 프로젝트를 맡았을 때, 상품 설명 텍스트를 카테고리별로 분류하는 파이프라인을 짜야 했다. 규모는 약 50,000건. 초반에는 동기 API 호출 방식으로 접근했다. 동기 호출이란 요청을 하나 보내고, 응답이 올 때까지 기다렸다가, 다음 요청을 보내는 방식이다. 구조가 단순하고 결과를 즉시 확인할 수 있어서 처음 프로토타입을 짤 때는 편했다.문제는 규모가 커지면서 바로 드러났다. rate limit.. 2026. 5. 24. 응답 시간이 같아도 "빠르다"는 느낌이 다른 이유 - TTFT, SSE, UX체감 응답 생성 시간이 똑같아도 "빠르다"는 느낌이 완전히 달라질 수 있다. 고객 응대 챗봇에 스트리밍을 처음 도입했을 때, 나도 이 사실을 수치로 직접 확인하고 나서야 비로소 믿게 됐다. 그리고 그 이후로 스트리밍에 대한 생각이 꽤 많이 바뀌었다.TTFT가 UX를 바꾸는 이유챗봇이 응답을 내놓기까지 4~6초를 기다리는 경험은 생각보다 불쾌하다. 비스트리밍 방식으로 챗봇을 운영하던 시절, 내부 사용자 피드백에서 "너무 느리다"는 불만이 반복적으로 올라왔다. 실제 응답 품질에는 문제가 없었는데도 말이다.핵심은 TTFT(Time To First Token)다. TTFT란 사용자가 질문을 보낸 뒤 모델이 첫 번째 토큰, 즉 첫 글자를 화면에 내보내기까지 걸리는 시간을 의미한다. 전체 응답이 완성될 때까지 기다렸다가.. 2026. 5. 23. RAG 토큰 관리 - 검색 최적화, 재순위화, 컨텍스트 사내 Q&A 시스템을 처음 만들 때 저도 이 질문 앞에서 한참 멈췄습니다. 많이 넣으면 더 좋은 답이 나올 것 같은데, 실제로 해보면 꼭 그렇지만은 않더군요. 이 글은 그 시행착오를 정리한 기록이자, 제가 직접 부딪히면서 생긴 비판적 시각을 함께 담은 글입니다.검색 결과를 많이 넣으면 정말 더 좋아질까요처음에 저는 top_k=10으로 설정해 검색된 문서 청크 10개를 모두 컨텍스트에 넣었습니다. 청크란 긴 문서를 LLM이 처리할 수 있도록 일정 크기로 잘라낸 조각입니다. 답변이 길고 풍성해 보이니 잘 되는 것 같았습니다. 적어도 그렇게 느꼈습니다.그런데 실제 사용자 피드백을 받아보니 상황이 달랐습니다. 핵심 답변이 여러 청크 사이에서 희석되거나, 서로 약간씩 다른 내용을 담은 문서들이 동시에 주입되면서 .. 2026. 5. 22. RAG 청킹 전략 - 고정 크기, 계층적 청킹, 컨텍스트 창 사내 계약서 분석 자동화 프로젝트를 맡았을 때, 저도 처음엔 청킹(chunking)을 그냥 텍스트 자르는 작업 정도로 봤습니다. 그런데 실제로 서비스를 돌려보니, 임베딩 모델이나 벡터 DB보다 청킹 전략이 결과 품질을 훨씬 크게 좌우했습니다. 청킹이란 긴 문서를 LLM이 처리할 수 있는 크기의 조각으로 나누는 작업으로, RAG 파이프라인 전체의 성능을 결정짓는 핵심 단계입니다.고정 크기 청킹이 실패한 날처음에 적용한 방식은 고정 크기(fixed-size) 청킹이었습니다. 고정 크기 청킹이란 문서의 내용이나 구조를 고려하지 않고 일정한 글자 수나 토큰 수 단위로 텍스트를 잘라내는 방식입니다. 구현이 단순하고 직관적이라 많은 RAG 튜토리얼에서 첫 번째 예시로 등장하는 방법이기도 합니다.결과는 솔직히 예상 .. 2026. 5. 21. LLM 토크나이저-tiktoken, 언어별 비용, Claude API "단어 수에 1.3 곱하면 토큰 수 나오지 않나요?" 처음 GPT-4 API 비용을 예측할 때 저도 그렇게 생각했습니다. 그런데 실제로 tiktoken을 설치해서 돌려봤더니, 한국어가 섞인 프롬프트에서 그 수식은 완전히 빗나갔습니다. 토크나이저는 개발자가 대충 넘겨도 되는 부분이 아니라, API 비용과 컨텍스트 한도를 결정짓는 핵심 요소입니다.tiktoken 직접 써보니 알게 된 것들저는 GPT-4 API 비용을 사전에 계산하려는 목적으로 tiktoken을 처음 설치했습니다. 텍스트가 정수 리스트로 변환되는데, 그 리스트의 길이가 곧 토큰 수가 됩니다. 구조 자체는 직관적으로 이해됐지만, 실제 수치를 보고 나서는 좀 당황스러웠습니다.BPE(Byte Pair Encoding)란 자주 등장하는 문자 조합을 .. 2026. 5. 20. 프롬프트 한 줄이 API 비용 LLM 출력 토큰 절약 (전처리 텍스트, JSON 출력, max_tokens) API 비용 청구서를 받고 멍해진 적 있으신가요? 저는 뉴스 기사 100개를 자동 요약하는 배치 작업을 돌리고 나서 그 기분을 처음 느꼈습니다. 입력 토큰보다 출력 토큰이 더 많이 나온 청구서였는데, 원인을 파고들다 보니 생각보다 단순한 데 있었습니다. 출력 토큰을 줄이는 방법은 여러 갈래가 있고, 어떤 방향이 맞는지에 대해서도 의견이 갈립니다. 직접 실험하면서 정리한 내용을 공유합니다.전처리 텍스트가 비용을 얼마나 잡아먹는가배치 작업을 돌렸을 때 모델이 매번 이런 식으로 출력을 시작하고 있었습니다. "이 기사는 경제 분야를 다루고 있으며, 다음과 같은 내용을 요약하겠습니다." 요약 본문이 나오기 전에 이미 토큰을 수십 개씩 써버리는 것이었습니다. 100개 기사면 그 전처리 텍스트만으로도 무시하지 못할 .. 2026. 5. 19. 이전 1 ··· 6 7 8 9 10 11 12 ··· 20 다음
