컨텍스트1 프롬프트 최적화 - 토큰 비용, 컨텍스트 압축, 품질(최적화로 41% 줄인 이야기) GPT-4 API를 실무에 연결한 첫 달, 예상의 세 배에 가까운 청구서를 받았습니다. 원인은 단 하나였습니다. 매 요청마다 길게 늘어뜨린 역할 지정 문장이었고, 두 달 만에 비용을 41% 줄인 건 프롬프트 길이를 다듬은 것 외에 아무것도 하지 않아서였습니다.이 이야기를 쓰는 이유는, 프롬프트 최적화를 "글을 잘 써야 하는 일"로 생각하는 분들이 많기 때문입니다. 저도 처음엔 그랬습니다. 그런데 실제로는 구조와 비용의 문제였습니다. 어디에 뭘 넣느냐, 불필요한 게 얼마나 있느냐를 직접 숫자로 확인하는 순간부터 달라졌습니다.토큰 비용을 낭비하는 프롬프트의 구조토큰이란 LLM이 텍스트를 처리하는 최소 단위입니다. 한국어 한 글자가 하나의 토큰이 되기도 하고, 영어 단어 하나가 여러 토큰으로 쪼개지기도 합니다.. 2026. 5. 15. 이전 1 다음
