anthropic2 프롬프트 캐싱 실전 경험 (캐시 프리워밍, TTL 변경, 비용절감) 솔직히 저는 처음에 프롬프트 캐싱을 그냥 "비용 조금 아끼는 기능" 정도로 생각했습니다. 그런데 RAG 시스템에 직접 붙여보고 나서 생각이 완전히 바뀌었습니다. 하루 120달러짜리 API 비용이 13달러로 줄어드는 걸 직접 보고서야, 이게 단순한 최적화 옵션이 아니라 서비스 운영 방식 자체를 바꾸는 기능이라는 걸 실감했습니다.그런데 이 경험을 공유하면 사람들이 "그냥 cache_control 붙이면 되는 거 아닌가요?"라고 묻습니다. 그렇지 않습니다. 선언하는 것과 제대로 활용하는 것 사이에는 생각보다 큰 간격이 있습니다. 그 간격에서 비용 절감이 생기기도 하고 사라지기도 합니다.캐시 프리워밍, 알고 쓰는 것과 모르고 쓰는 것의 차이제가 운영하던 RAG 시스템은 50,000 토큰 규모의 지식 베이스를 시.. 2026. 5. 30. Anthropic Batch API - 비용 절감, custom_id, rate limit 50,000개 상품 설명을 실시간 API로 분류하면 비용이 얼마나 나올까. 처음엔 그냥 루프 돌리면 되겠다 싶었는데, 견적을 뽑아보고 생각이 완전히 바뀌었다. 그날 이후로 대량 LLM 작업에서 Batch API는 선택이 아니라 기본 전제가 됐다.50,000건 분류 작업, 실시간 API로 돌리다가 멈춘 이유처음 이 프로젝트를 맡았을 때, 상품 설명 텍스트를 카테고리별로 분류하는 파이프라인을 짜야 했다. 규모는 약 50,000건. 초반에는 동기 API 호출 방식으로 접근했다. 동기 호출이란 요청을 하나 보내고, 응답이 올 때까지 기다렸다가, 다음 요청을 보내는 방식이다. 구조가 단순하고 결과를 즉시 확인할 수 있어서 처음 프로토타입을 짤 때는 편했다.문제는 규모가 커지면서 바로 드러났다. rate limit.. 2026. 5. 24. 이전 1 다음
