TTL1 프롬프트 캐싱 실전 경험 (캐시 프리워밍, TTL 변경, 비용절감) 솔직히 저는 처음에 프롬프트 캐싱을 그냥 "비용 조금 아끼는 기능" 정도로 생각했습니다. 그런데 RAG 시스템에 직접 붙여보고 나서 생각이 완전히 바뀌었습니다. 하루 120달러짜리 API 비용이 13달러로 줄어드는 걸 직접 보고서야, 이게 단순한 최적화 옵션이 아니라 서비스 운영 방식 자체를 바꾸는 기능이라는 걸 실감했습니다.그런데 이 경험을 공유하면 사람들이 "그냥 cache_control 붙이면 되는 거 아닌가요?"라고 묻습니다. 그렇지 않습니다. 선언하는 것과 제대로 활용하는 것 사이에는 생각보다 큰 간격이 있습니다. 그 간격에서 비용 절감이 생기기도 하고 사라지기도 합니다.캐시 프리워밍, 알고 쓰는 것과 모르고 쓰는 것의 차이제가 운영하던 RAG 시스템은 50,000 토큰 규모의 지식 베이스를 시.. 2026. 5. 30. 이전 1 다음
