batch api1 Anthropic Batch API (비용 절감, custom_id, rate limit) 50,000개 상품 설명을 실시간 API로 분류하면 비용이 얼마나 나올까요. 저도 처음엔 그냥 루프 돌리면 되겠다 싶었는데, 견적을 뽑아보고 생각이 완전히 바뀌었습니다. 그날 이후로 대량 LLM 작업에서 Batch API는 선택이 아니라 기본 전제가 됐습니다.50,000건 분류 작업, 실시간 API로 돌리다가 멈춘 이유처음 이 프로젝트를 맡았을 때, 상품 설명 텍스트를 카테고리별로 분류하는 파이프라인을 짜야 했습니다. 규모는 약 50,000건. 초반에는 동기(synchronous) API 호출 방식으로 접근했습니다. 동기 호출이란 요청을 하나 보내고, 응답이 올 때까지 기다렸다가, 다음 요청을 보내는 방식입니다. 구조가 단순하고 결과를 즉시 확인할 수 있어서 처음 프로토타입을 짤 때는 편했습니다.문제는 .. 2026. 5. 24. 이전 1 다음
