프롬프트 토큰 절약 및 LLM 모델 선택 가이드

1. API 비용은 이렇게 정해진다

LLM API는 쓴 만큼 내는 종량제입니다. 회사마다 모델별로 100만 토큰당 가격을 정해 두고, 내가 보낸 글(입력)과 모델이 만든 답(출력)을 따로 셉니다. 여기서 가장 먼저 알아 둘 점은 출력 단가가 입력 단가보다 훨씬 비싸다는 것입니다. 2026년 11월 기준 이 사이트가 비교하는 12개 모델 중 10개가 출력 단가 = 입력 단가 × 5이고, Gemini 3.1 Pro Preview와 Gemini 3.1 Flash-Lite는 6배입니다.

이 식에서 비용을 움직이는 손잡이는 네 개입니다. ① 입력 토큰(프롬프트 길이), ② 출력 토큰(답변 길이), ③ 단가(어떤 모델을 쓰는지, 할인을 받는지), ④ 호출 횟수입니다. 대부분의 서비스에서 호출 횟수는 사용자 수에 따라 정해지므로 마음대로 줄이기 어렵습니다. 그래서 실제 절약은 ①·②·③에서 나옵니다.

또 하나 주의할 점은 사고(추론) 토큰입니다. 답을 내기 전에 속으로 생각하는 기능이 있는 모델은, 화면에 보이지 않는 생각 과정도 출력 토큰으로 계산합니다. 답변은 200토큰인데 생각에 2,000토큰을 썼다면 2,200토큰어치 출력 요금이 나옵니다. 계산기의 '예상 출력 토큰'에는 이 생각 분량까지 넣어야 실제와 가까워집니다.

→ 계산기에서 출력 토큰만 바꿔 가며 비용 차이 확인해 보기

2. 프롬프트 토큰을 줄이는 7가지 방법

아래 방법들은 답의 품질을 크게 해치지 않으면서 토큰을 줄이는 것들입니다. 한 번에 모두 적용하기보다는, 하나씩 바꾸고 결과물을 비교해 보는 것을 권합니다. 토큰을 줄였더니 답이 엉망이 된다면 그 절약은 의미가 없기 때문입니다.

① 시스템 프롬프트 다이어트

시스템 프롬프트(모델에게 역할과 규칙을 알려 주는 지시문)는 모든 호출에 반복해서 들어갑니다. 여기서 100토큰을 줄이면 하루 1만 회 호출하는 서비스에서는 하루 100만 토큰, 한 달이면 3,000만 토큰이 줄어듭니다. "당신은 매우 친절하고 정중하며 항상 고객의 입장에서 생각하는…"처럼 같은 뜻을 여러 형용사로 반복하는 문장, 실제로는 지켜지지 않는 규칙, 모델이 이미 기본으로 하는 행동(예: "문법에 맞게 써라")을 지우는 것부터 시작하세요.

② 예시(few-shot) 개수 줄이기

답의 형식을 맞추려고 예시 질문·답변을 5~10쌍씩 넣는 경우가 많습니다. 예시는 효과가 크지만 토큰도 많이 먹습니다. 최신 모델은 예시 1~2개와 명확한 형식 설명만으로도 충분한 경우가 많으니, 예시를 하나씩 빼 보면서 품질이 유지되는 최소 개수를 찾으세요. 형식이 중요한 작업이라면 예시 대신 "JSON으로, 키는 name·price·reason" 같은 짧은 형식 지정이 더 효율적입니다.

③ 출력 길이 제한 지시

출력 단가가 입력의 5배이므로, 출력 100토큰을 줄이는 것은 입력 500토큰을 줄이는 것과 같습니다. "3문장 이내로", "핵심만 bullet 3개로", "설명 없이 결과만" 같은 지시를 넣고, API의 최대 출력 토큰(max tokens) 설정도 함께 걸어 두세요. 다만 최대 출력 토큰을 너무 낮게 잡으면 답이 중간에 끊기므로, 지시문으로 길이를 줄이고 설정값은 안전장치로 쓰는 것이 좋습니다.

④ 대화 기록 요약

챗봇은 이전 대화를 모두 다시 보내야 맥락을 기억합니다. 대화가 길어질수록 매 호출의 입력이 눈덩이처럼 커집니다. 10턴이 넘어가면 오래된 대화를 짧게 요약해 한 단락으로 바꾸거나, 최근 몇 턴만 원문으로 보내고 나머지는 요약본으로 보내는 방식을 쓰세요. 요약 자체도 호출 비용이 들지만, 경량 모델로 요약하면 그 비용은 아주 작습니다.

⑤ 불필요한 서식·공백 정리

공백, 줄바꿈, 마크다운 기호, HTML 태그도 모두 토큰입니다. 웹 페이지나 문서를 그대로 붙여 넣으면 메뉴·꼬리말·스타일 코드 같은 쓸모없는 부분이 토큰의 절반을 차지하기도 합니다. 본문만 추출하고, 연속된 빈 줄과 들여쓰기를 정리하고, 표는 꼭 필요한 열만 남기세요. 이 계산기에 정리 전후의 글을 각각 붙여 넣어 보면 차이가 바로 보입니다.

⑥ 영어 지시문 + 한국어 답변

같은 내용이라도 한국어는 영어보다 토큰이 많습니다. 이 사이트의 샘플 기준으로 한국어 지시문이 영어보다 약 1.18배 많은 토큰을 썼습니다(o200k_base 기준). 사용자에게 보이지 않는 시스템 프롬프트는 영어로 쓰고, 마지막에 "Answer in Korean."이라고 덧붙이면 입력 토큰을 줄이면서 답은 한국어로 받을 수 있습니다. 단, 한국어 특유의 존댓말·말투 규칙처럼 영어로 옮기면 뜻이 흐려지는 부분은 한국어로 남겨 두는 것이 안전합니다.

⑦ 반복되는 부분은 캐싱

매번 똑같이 들어가는 시스템 프롬프트, 상품 설명서, 규정 문서 같은 긴 앞부분은 프롬프트 캐싱으로 처리하면 그 부분의 입력 단가가 크게 내려갑니다. 캐싱이 효과를 내려면 변하지 않는 내용을 앞에, 매번 바뀌는 질문을 뒤에 두어야 합니다. 앞부분이 조금이라도 달라지면 캐시가 맞지 않습니다. 자세한 내용은 바로 다음 섹션에서 다룹니다.

→ 정리 전·후 프롬프트를 계산기에 붙여 넣어 토큰 차이 확인하기

3. 프롬프트 캐싱과 배치 API로 반값 만들기

프롬프트 캐싱: 반복되는 앞부분을 싸게

프롬프트 캐싱은 앞서 보낸 프롬프트의 앞부분을 회사 서버가 잠시 저장해 두었다가, 다음 호출에서 같은 앞부분이 오면 다시 계산하지 않고 재사용하는 기능입니다. 재사용된 부분에는 '캐시 적중 단가'가 붙는데, 이 사이트가 비교하는 12개 모델에서 이 단가는 일반 입력 단가의 2.5~10% 수준입니다. 예를 들어 Claude Sonnet 5.5는 입력 $2.00 → 캐시 적중 $0.10(5%), Claude Fable 5.1은 $10.00 → $0.25(2.5%), GPT-6 Astra는 $10.00 → $1.00(10%)입니다.

다만 공짜는 아닙니다. 회사에 따라 캐시를 처음 저장할 때 일반 입력보다 비싼 '쓰기 요금'이 붙거나, 캐시를 보관하는 시간만큼 '보관료'가 붙기도 합니다. 또 캐시는 일정 시간이 지나면 사라지므로, 호출이 드문드문 있는 서비스에서는 적중률이 낮습니다. 같은 앞부분으로 짧은 시간 안에 여러 번 호출하는 서비스(상담 챗봇, 같은 문서에 여러 질문 하기, 코딩 도우미)에서 효과가 큽니다. 이 사이트의 계산기는 쓰기 요금과 보관료를 빼고 적중분만 반영하므로, 실제 절감 폭은 계산 결과보다 조금 작다고 보면 됩니다.

배치 API: 기다릴 수 있으면 절반

배치(Batch) API는 요청을 한꺼번에 묶어 보내고, 결과를 바로가 아니라 몇 분~최대 하루 안에 받는 방식입니다. 세 회사 모두 배치로 보내면 입력·출력 단가를 50% 할인합니다. 회사 입장에서는 한가한 시간에 몰아서 처리할 수 있어 싸게 해 주는 것입니다.

사용자가 화면 앞에서 답을 기다리는 챗봇에는 쓸 수 없지만, 다음과 같은 작업에는 잘 맞습니다: 밤사이 쌓인 고객 문의 분류, 상품 설명 수천 개 일괄 생성, 지난달 회의록 요약, 대량 번역, 데이터 라벨링, 모델 성능 평가용 테스트 실행. "결과가 내일 아침에 나와도 되는가?"라는 질문에 "예"라고 답할 수 있다면 배치를 검토하세요.

캐싱과 배치는 함께 쓸 수 있는 경우가 많습니다. 두 할인을 겹치면 입력 비용은 원래의 몇 퍼센트 수준까지 내려갈 수 있습니다(겹칠 수 있는지와 조건은 회사마다 다르니 공식 문서를 확인하세요).

→ 계산기 고급 옵션에서 배치 할인·캐싱을 켜고 끄며 비교해 보기

4. 용도별 모델 선택법

토큰을 아무리 줄여도, 단순한 작업에 최상위 모델을 쓰면 비용이 수십 배 차이 납니다. 같은 회사 안에서도 경량 모델과 최상위 모델의 단가는 100배까지 벌어집니다(예: GPT-6 Luna 입력 $0.10, GPT-6 Astra 입력 $10.00). 반대로 어려운 작업에 경량 모델을 쓰면 틀린 답을 고치느라 사람의 시간이 더 듭니다. 이 사이트는 각 회사 라인업을 4개 등급으로 나눠 비교합니다.

"작은 모델로 먼저 시험 → 부족하면 올리기"

모델을 고를 때 가장 실용적인 원칙은 경량이나 중간 모델로 먼저 시험해 보고, 결과가 부족할 때만 등급을 올리는 것입니다. 실제 서비스에서 나올 법한 질문 20~50개를 모아 두고, 등급별로 답을 받아 비교해 보세요. 경량 모델로 90% 이상 만족스러운 답이 나온다면 굳이 위 등급을 쓸 이유가 없습니다.

섞어 쓰기(라우팅)

모든 요청을 하나의 모델로 처리할 필요도 없습니다. 쉬운 질문은 경량 모델이, 어려운 질문은 상위 모델이 답하도록 나누는 방식을 라우팅이라고 합니다. 예를 들어 상담 챗봇에서 "배송 조회", "영업시간" 같은 단순 문의가 80%라면, 이 부분만 경량 모델로 옮겨도 전체 비용이 크게 줄어듭니다. 어떤 질문이 어려운지 판단하는 것 자체도 경량 모델에게 맡길 수 있습니다.

같은 등급이면 회사별 단가를 비교

같은 등급 안에서도 회사마다 단가와 강점이 다릅니다. 계산기 결과표의 '등급 내 최저' 배지는 각 등급에서 내 프롬프트 기준으로 가장 싼 모델을 표시합니다. 다만 가격만으로 정하지 말고, 같은 시험 질문으로 품질을 비교한 뒤 비슷하다면 싼 쪽을 고르세요. 미리보기(Preview) 모델은 정식 출시 때 가격과 동작이 바뀔 수 있다는 점도 고려해야 합니다.

→ 계산기에서 '등급별' 정렬로 같은 등급끼리 비교해 보기

5. 실제 예산 시뮬레이션 3가지

아래는 흔한 세 가지 사용 사례를 가정해 계산한 월 예산입니다. 2026-11-06 단가, 1달러 = 1,400원, 한 달 30일 기준이며 토큰 수는 설명을 위해 정한 가정값입니다. 내 서비스에 맞는 숫자는 계산기에 직접 넣어 확인하세요.

사례 1. 쇼핑몰 고객 상담 챗봇

가정: 하루 3,000회 호출, 1회 입력 1,500토큰(시스템 지시문 + 최근 대화 + 질문), 출력 300토큰. 한 달 9만 회 호출입니다.

경량 모델과 중간 모델의 차이가 10배 이상입니다. 단순 문의를 경량 모델로 돌리는 라우팅(4번 섹션)이 왜 효과적인지 숫자로 보입니다. 시스템 지시문을 캐싱하면 중간 모델 비용도 더 내려갑니다.

사례 2. 문서 요약 자동화 (배치 할인 적용)

가정: 하루 500건의 보고서·기사 요약, 1건 입력 6,000토큰, 출력 600토큰. 결과를 다음 날 아침에 받아도 되므로 배치 50% 할인을 적용합니다. 한 달 1만 5천 건입니다.

요약은 입력이 길고 출력이 짧은 작업이라 입력 단가의 영향이 큽니다. 원문에서 머리말·광고 문구 같은 불필요한 부분을 미리 걷어 내면(2번 섹션 ⑤) 그만큼 입력 비용이 줄어듭니다. 예를 들어 입력을 6,000토큰에서 4,000토큰으로 줄이면 Claude Sonnet 5.5 배치 기준 월 $135.00이 $105.00으로 내려갑니다.

사례 3. 사내 코딩 도우미 (프롬프트 캐싱 적용)

가정: 하루 200회, 1회 입력 20,000토큰(관련 코드 파일 묶음), 출력 2,000토큰(사고 토큰 포함). 같은 코드 묶음에 여러 번 질문하므로 입력의 70%가 캐시에 적중한다고 봅니다. 한 달 6,000회입니다. 캐시 쓰기 요금은 빠져 있습니다.

계산 과정 예시(Claude Opus 5.5, 캐싱 70%): 캐시 안 된 입력 6,000 × $4 + 캐시 적중 14,000 × $0.20 + 출력 2,000 × $20 = 66,800 → 1회 $0.0668 → 월 6,000회 × $0.0668 = $400.80. 코딩 도우미는 입력이 매우 길어서 캐싱만으로 세 모델 모두 약 39~44% 줄어듭니다. 출력 비용이 남은 금액의 절반 이상을 차지하므로, "설명 없이 바뀐 코드만" 같은 출력 줄이기 지시를 함께 쓰면 더 줄일 수 있습니다.

세 사례는 설명을 위해 정한 가정값입니다. [직접 작성 필요: 가능하면 이 중 1개를 운영자 본인의 실제 사용 사례(호출 수·토큰 수·실제 청구액)로 바꾸기]

→ 같은 조건을 계산기에 넣어 직접 검산해 보기

6. 비용 외에 고려할 것

응답 속도

일반적으로 경량 모델이 빠르고 상위 모델이 느립니다. 사용자가 화면 앞에서 기다리는 서비스라면 몇 초의 차이가 이탈로 이어질 수 있습니다. 비용표만 보지 말고, 같은 시험 질문으로 첫 글자가 나오기까지 걸리는 시간과 전체 답변 시간을 재 보세요.

최대 입력 길이(컨텍스트)

모델마다 한 번에 받을 수 있는 최대 토큰 수가 다릅니다. 긴 문서를 통째로 넣어야 한다면 이 한도가 먼저 확인할 조건입니다. 또 일부 모델은 입력이 일정 길이를 넘으면 장문 구간 요금으로 단가가 올라갑니다(이 사이트 기준 GPT-6 계열 27.2만 토큰, Gemini 3.1 Pro Preview 20만 토큰, Claude Haiku 5.5 10만 토큰 초과). 계산기는 이 경우 '장문 요금' 배지를 붙여 알려 줍니다.

사용량 모니터링과 한도 설정

예산 계산이 맞더라도, 버그로 같은 요청이 무한 반복되거나 누군가 서비스를 악용하면 요금이 순식간에 늘어납니다. 각 회사 콘솔의 월 사용 한도·알림 기능을 반드시 켜 두고, 서비스 쪽에서도 사용자별 호출 횟수 제한을 거세요. 호출마다 입력·출력 토큰 수를 기록해 두면 어떤 기능이 비용을 많이 쓰는지 찾기 쉽습니다.

API 게이트웨이(여러 모델 묶어 쓰기)

여러 회사 모델을 섞어 쓰면 회사마다 다른 호출 방식과 청구서를 관리해야 합니다. API 게이트웨이는 여러 모델을 하나의 창구로 묶어, 모델 교체·라우팅·사용량 집계·장애 시 다른 모델로 넘기기를 한곳에서 처리하게 해 줍니다. 편리한 대신 게이트웨이 자체의 수수료나 운영 부담이 생길 수 있으니, 쓰는 모델이 2~3개를 넘고 사용량이 커질 때 검토하세요.

직접 호스팅(클라우드 GPU)과 API 비교

공개된 오픈 모델을 클라우드 GPU에 직접 올려 쓰는 방법도 있습니다. 사용량이 아주 많고 꾸준하다면 토큰당 비용이 API보다 낮아질 수 있지만, GPU는 쓰지 않는 시간에도 요금이 나가고 설치·보안·업데이트·장애 대응을 직접 해야 합니다. 사용량이 들쭉날쭉한 초기 서비스는 API로 시작하고, 월 API 비용이 GPU 운영비와 인건비를 확실히 넘어설 때 직접 호스팅을 비교해 보는 것이 일반적인 순서입니다.

데이터 처리 정책

고객 정보나 사내 문서를 보낸다면 비용보다 먼저 각 회사의 데이터 보관·학습 사용 정책을 확인해야 합니다. 기업용 계약이나 지역별 데이터 처리 옵션에 따라 단가가 달라지기도 합니다.

7. 운영자의 실제 사용 경험

[직접 작성 필요: 내가 API를 써 보며 요금이 예상보다 많이 나왔던 경험, 원인, 줄인 방법, 실제 숫자(전후 토큰 수·월 청구액) 5~10문장]

8. 정리: 비용 줄이기 체크리스트

• 시스템 프롬프트에서 반복·불필요한 문장을 지웠다
• 예시(few-shot)를 품질이 유지되는 최소 개수로 줄였다
• 답변 길이 제한 지시와 최대 출력 토큰 설정을 함께 걸었다
• 긴 대화는 오래된 부분을 요약해서 보낸다
• 붙여 넣는 문서에서 서식·공백·쓸모없는 부분을 걷어 냈다
• 바뀌지 않는 긴 앞부분은 캐싱하고, 기다려도 되는 작업은 배치로 보낸다
• 경량 모델로 먼저 시험하고, 부족한 경우에만 등급을 올렸다

체크리스트를 적용한 프롬프트를 계산기에 다시 넣어, 전후 월 비용을 비교해 보세요.

계산기로 돌아가기 →