전체 글118 Few-shot 프롬프팅 - 예시 수량, 품질, 컨텍스트 예시를 많이 넣을수록 AI가 더 잘 따라온다고 믿었습니다. 그런데 직접 실험해보니 예시 다섯 개가 두 개보다 나을 게 없었습니다. 토큰은 두 배 넘게 쓰면서요. Few-shot 프롬프팅에 대해 흔히 알려진 것과 실제 사이에는 꽤 큰 간격이 있습니다. 그 간격을 직접 좁혀가면서 알게 된 것들을 정리했습니다.예시 수량보다 중요한 것이 있었습니다텍스트 분류 작업을 처음 맡았을 때, 저는 Zero-shot으로 시작했습니다. Zero-shot이란 예시 없이 지시문만으로 모델에게 작업을 맡기는 방식입니다. "다음 텍스트를 긍정, 부정, 중립으로 분류해줘"라고만 했는데, 결과가 제 기대와 계속 어긋났습니다. "배송이 좀 늦었지만 제품은 좋았어요"를 모델은 긍정으로 처리했고, 저는 중립을 원했습니다. 지시문을 아무리 .. 2026. 5. 18. 30페이지 계약서를 긴 문서 AI 분석 - 컨텍스트, 청킹, 중간 소실 30페이지짜리 계약서를 AI에 통째로 넘겼다가 오류 메시지를 받아본 분이라면 이 글이 반갑게 느껴질 겁니다. 저도 처음엔 당연히 전문을 다 붙여넣으면 된다고 생각했습니다. 그 생각이 완전히 틀렸다는 걸 알게 된 이후로 방식이 달라졌습니다. 긴 문서를 AI에 분석시킬 때 실제로 효과가 있었던 전략과, 그 과정에서 발견한 한계를 정리했습니다.컨텍스트 윈도우와 토큰의 현실AI 모델에 문서를 넘길 때 가장 먼저 부딪히는 한계가 컨텍스트 윈도우(context window)입니다. 컨텍스트 윈도우란 AI 모델이 한 번의 요청에서 처리할 수 있는 텍스트의 최대 분량을 의미합니다. 단위는 토큰(token)인데, 토큰이란 모델이 텍스트를 처리하는 최소 단위로 한국어 기준 한 글자가 대략 1~2토큰에 해당합니다.제가 처음.. 2026. 5. 17. 시스템 프롬프트 최적화 (토큰 절감, 프롬프트 구조, 보안 한계) API를 처음 붙일 때 저도 똑같은 실수를 했습니다. 매 요청마다 "너는 이런 역할이고, 한국어로 답하고, 코드는 이렇게, 형식은 저렇게"를 붙여 넣었고, 대화가 10턴을 넘어가자 청구서가 무서워지기 시작했습니다. 시스템 프롬프트(System Prompt)를 제대로 이해하고 나서야 그 낭비가 얼마나 컸는지 실감했습니다. 이 글은 그 경험에서 출발합니다.토큰 절감 - 사용자 메시지에 모든 걸 욱여넣던 시절API를 처음 다룰 때 가장 흔히 저지르는 실수가 있습니다. 바로 롤 지정, 어조, 출력 형식 같은 설정 정보를 사용자 메시지(User Message) 안에 전부 집어넣는 방식입니다. 사용자 메시지란 대화의 매 턴마다 모델에 전달되는 입력값으로, 여기에 설정 문장을 반복 삽입하면 토큰(Token) 소비가 .. 2026. 5. 16. 프롬프트 최적화 - 토큰 비용, 컨텍스트 압축, 품질(최적화로 41% 줄인 이야기) GPT-4 API를 실무에 연결한 첫 달, 예상의 세 배에 가까운 청구서를 받았습니다. 원인은 단 하나였습니다. 매 요청마다 길게 늘어뜨린 역할 지정 문장이었고, 두 달 만에 비용을 41% 줄인 건 프롬프트 길이를 다듬은 것 외에 아무것도 하지 않아서였습니다.이 이야기를 쓰는 이유는, 프롬프트 최적화를 "글을 잘 써야 하는 일"로 생각하는 분들이 많기 때문입니다. 저도 처음엔 그랬습니다. 그런데 실제로는 구조와 비용의 문제였습니다. 어디에 뭘 넣느냐, 불필요한 게 얼마나 있느냐를 직접 숫자로 확인하는 순간부터 달라졌습니다.토큰 비용을 낭비하는 프롬프트의 구조토큰이란 LLM이 텍스트를 처리하는 최소 단위입니다. 한국어 한 글자가 하나의 토큰이 되기도 하고, 영어 단어 하나가 여러 토큰으로 쪼개지기도 합니다.. 2026. 5. 15. GPT-4o, Claude, Gemini - 컨텍스트 윈도우, 문서 처리, 모델 선택 저는 한동안 GPT-4o만 쓰면서 "이걸로 안 되는 건 없다"고 생각했습니다. 그 착각이 깨진 건 계약서 자동 검토 기능을 만들다가였습니다. 페이지가 좀 되는 계약서를 넣으면 모델이 처리를 거부하거나, 문서를 쪼개서 넣으면 조항 간 맥락이 끊겨 누락 오류가 생겼습니다. 그때부터 컨텍스트 윈도우라는 개념을 제대로 들여다보게 됐습니다.컨텍스트 윈도우, 숫자만 보면 절반만 아는 겁니다컨텍스트 윈도우란 AI 모델이 한 번의 요청에서 읽고 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 쉽게 말해 모델이 한꺼번에 기억할 수 있는 문서의 양입니다. 이 수치가 클수록 긴 문서를 쪼개지 않고 통째로 처리할 수 있습니다.현재 시점 기준으로 각 모델의 컨텍스트 윈도우는 GPT-4o가 128,000토큰, Claude 3... 2026. 5. 14. 컨텍스트 윈도우 - 대화 유실, Lost in the Middle, RAG 대화가 20턴을 넘는 순간, 챗봇이 앞서 확인한 정보를 또 묻기 시작했습니다. 처음엔 프롬프트 문제라고 생각했는데, 로그를 파고들다 보니 원인은 전혀 다른 곳에 있었습니다. AI가 기억할 수 있는 물리적 한계, 즉 컨텍스트 윈도우를 초과하면서 대화 앞부분이 조용히 잘려나가고 있었던 겁니다.이 글은 그 문제를 직접 겪고 해결한 경험을 바탕으로 씁니다. 이론이 아닙니다. 실제로 고객 상담 자동화 챗봇에서 터진 장애였고, 그 장애를 해결하면서 설계 관점이 완전히 바뀐 경험입니다.대화 유실: 앞부분이 잘려나가는 이유컨텍스트 윈도우(Context Window)란 AI 모델이 한 번에 처리할 수 있는 텍스트의 최대 범위를 의미합니다. 사람으로 치면 단기 기억 용량에 해당하는 것으로, 이 한도를 넘어서면 모델은 초과.. 2026. 5. 13. 이전 1 ··· 7 8 9 10 11 12 13 ··· 20 다음
