토큰 최적화4 프롬프트 토큰 최적화 (비교 실험, Few-shot, 비용 절감) 같은 일을 시키는 프롬프트인데 토큰이 247개짜리와 18개짜리로 나뉜다면, 그 차이가 실제 비용에서 어떻게 드러날지 궁금하지 않으셨습니까. 저는 궁금했고, 직접 실험해봤습니다. 그 결과가 생각보다 꽤 명확해서, 오늘은 제가 겪은 시행착오와 함께 프롬프트 토큰 최적화의 실체를 짚어보겠습니다.비교 실험: 같은 태스크, 다른 프롬프트제가 진행한 실험의 태스크는 단순했습니다. 고객 리뷰 텍스트를 긍정/부정/중립으로 분류하는 것이었습니다. 여기에 4가지 프롬프트 변형을 만들어 count_tokens API로 사전 측정했습니다. count_tokens API란 Anthropic이 무료로 제공하는 엔드포인트로, 실제 요청을 보내기 전에 예상 토큰 수를 미리 확인할 수 있는 도구입니다. 실험 비용 없이 프롬프트 간 토.. 2026. 5. 27. 긴 문서 AI 분석 (컨텍스트, 청킹, 중간 소실) 30페이지짜리 계약서를 AI에 통째로 넘겼다가 오류 메시지를 받아본 분이라면 이 글이 반갑게 느껴질 겁니다. 저도 처음엔 당연히 전문을 다 붙여넣으면 된다고 생각했습니다. 그 생각이 완전히 틀렸다는 걸 알게 된 이후로 방식이 달라졌습니다. 긴 문서를 AI에 분석시킬 때 실제로 효과가 있었던 전략과, 그 과정에서 발견한 한계를 정리했습니다.컨텍스트 윈도우와 토큰의 현실AI 모델에 문서를 넘길 때 가장 먼저 부딪히는 한계가 컨텍스트 윈도우(context window)입니다. 컨텍스트 윈도우란 AI 모델이 한 번의 요청에서 처리할 수 있는 텍스트의 최대 분량을 의미합니다. 단위는 토큰(token)인데, 토큰이란 모델이 텍스트를 처리하는 최소 단위로 한국어 기준 한 글자가 대략 1~2토큰에 해당합니다.제가 처음.. 2026. 5. 17. 시스템 프롬프트 최적화 (토큰 절감, 프롬프트 구조, 보안 한계) API를 처음 붙일 때 저도 똑같은 실수를 했습니다. 매 요청마다 "너는 이런 역할이고, 한국어로 답하고, 코드는 이렇게, 형식은 저렇게"를 붙여 넣었고, 대화가 10턴을 넘어가자 청구서가 무서워지기 시작했습니다. 시스템 프롬프트(System Prompt)를 제대로 이해하고 나서야 그 낭비가 얼마나 컸는지 실감했습니다. 이 글은 그 경험에서 출발합니다.사용자 메시지에 모든 걸 욱여넣던 시절API를 처음 다룰 때 가장 흔히 저지르는 실수가 있습니다. 바로 롤 지정, 어조, 출력 형식 같은 설정 정보를 사용자 메시지(User Message) 안에 전부 집어넣는 방식입니다. 사용자 메시지란 대화의 매 턴마다 모델에 전달되는 입력값으로, 여기에 설정 문장을 반복 삽입하면 토큰(Token) 소비가 기하급수적으로 .. 2026. 5. 16. 프롬프트 최적화 (토큰 비용, 컨텍스트 압축, 품질) GPT-4 API를 실무에 연결한 첫 달, 예상의 세 배에 가까운 청구서를 받았습니다. 원인은 단 하나였습니다. 매 요청마다 길게 늘어뜨린 역할 지정 문장이었고, 두 달 만에 비용을 41% 줄인 건 프롬프트 길이를 다듬은 것 외에 아무것도 하지 않아서였습니다.토큰 비용을 낭비하는 프롬프트의 구조토큰(token)이란 LLM이 텍스트를 처리하는 최소 단위입니다. 한국어 한 글자가 하나의 토큰이 되기도 하고, 영어 단어 하나가 여러 토큰으로 쪼개지기도 합니다. API 비용은 이 토큰 수에 비례해서 청구됩니다. 처음에는 이 구조를 제대로 몰랐습니다.제가 쓰던 프롬프트는 이런 식이었습니다. "당신은 10년 경력의 시니어 개발자입니다. 항상 친절하고 정확하게 답변하며, 한국어로 응답하고, 코드는 실행 가능하게 작성.. 2026. 5. 15. 이전 1 다음
