llm api2 프롬프트 토큰 최적화 (비교 실험, Few-shot, 비용 절감) 같은 일을 시키는 프롬프트인데 토큰이 247개짜리와 18개짜리로 나뉜다면, 그 차이가 실제 비용에서 어떻게 드러날지 궁금하지 않으셨습니까. 저는 궁금했고, 직접 실험해봤습니다. 그 결과가 생각보다 꽤 명확해서, 오늘은 제가 겪은 시행착오와 함께 프롬프트 토큰 최적화의 실체를 짚어보겠습니다.비교 실험: 같은 태스크, 다른 프롬프트제가 진행한 실험의 태스크는 단순했습니다. 고객 리뷰 텍스트를 긍정/부정/중립으로 분류하는 것이었습니다. 여기에 4가지 프롬프트 변형을 만들어 count_tokens API로 사전 측정했습니다. count_tokens API란 Anthropic이 무료로 제공하는 엔드포인트로, 실제 요청을 보내기 전에 예상 토큰 수를 미리 확인할 수 있는 도구입니다. 실험 비용 없이 프롬프트 간 토.. 2026. 5. 27. 시스템 프롬프트 최적화 (토큰 절감, 프롬프트 구조, 보안 한계) API를 처음 붙일 때 저도 똑같은 실수를 했습니다. 매 요청마다 "너는 이런 역할이고, 한국어로 답하고, 코드는 이렇게, 형식은 저렇게"를 붙여 넣었고, 대화가 10턴을 넘어가자 청구서가 무서워지기 시작했습니다. 시스템 프롬프트(System Prompt)를 제대로 이해하고 나서야 그 낭비가 얼마나 컸는지 실감했습니다. 이 글은 그 경험에서 출발합니다.사용자 메시지에 모든 걸 욱여넣던 시절API를 처음 다룰 때 가장 흔히 저지르는 실수가 있습니다. 바로 롤 지정, 어조, 출력 형식 같은 설정 정보를 사용자 메시지(User Message) 안에 전부 집어넣는 방식입니다. 사용자 메시지란 대화의 매 턴마다 모델에 전달되는 입력값으로, 여기에 설정 문장을 반복 삽입하면 토큰(Token) 소비가 기하급수적으로 .. 2026. 5. 16. 이전 1 다음
