LLM API에서 token이란 무엇인가요?

token은 model이 읽고 쓰는 단위이며, 대략 단어나 단어 조각과 같습니다. 사용자의 prompt (input tokens)와 reply (output tokens) 모두 계산되며, LLM APIs는 token당 요금을 청구합니다.

$/1M tokens (MTok)은(는) 무엇을 의미하나요?

LLM 가격은 백만 token당 dollars로 책정되며, input과 output은 일반적으로 별도로 가격이 책정됩니다. UberLLM은 제시된 MTok당 가격에 어떠한 fee도 추가하지 않습니다.

healthy provider란 무엇인가요?

현재 requests를 성공적으로 처리하는 seller를 의미합니다. 즉, 오류가 발생하거나, rate-limiting에 걸리거나, probing unhealthy 상태로 감지되지 않는 seller입니다. UberLLM은 healthy한 providers에게만 라우팅하므로, 가장 저렴한 가격은 절대 문제가 있는 seller로부터 나오지 않습니다.

LLM API 용어집: token, context window, MTok, routing 등

LLM API를 호출할 때 사용되는 용어들 — token, context window, price per million tokens (MTok), routing, OpenAI-compatible, Anthropic-compatible, x402, discount, healthy provider — 에 대한 짧고 쉬운 영어 용어집과 각 용어가 UberLLM 사용 시 어떻게 적용되는지에 대한 설명입니다.

2026년 10월 24일 게시2026년 10월 24일 업데이트

API 키 받기 실시간 가격 보기

가격표, 문서 및 게이트웨이 라우팅에 나타나는 용어들을 위한 쉬운 영어 참고 자료입니다. 각 항목은 해당 용어가 무엇을 의미하는지, 그리고 UberLLM을 통해 모델을 호출할 때 어떻게 적용되는지를 설명합니다.

Token

LLM이 읽고 쓰는 단위입니다. 텍스트는 모델이 처리하기 전에 토큰(대략 단어 또는 단어 조각)으로 분할되며, 사용자의 프롬프트(input tokens)와 모델의 응답(output tokens)이 모두 계산됩니다. LLM API는 토큰당 요금을 청구하며, 이것이 더 간결한 프롬프트와 더 작은 max_tokens이 비용을 절감하는 이유입니다. 요금표]에서 실시간 토큰당 가격을 확인하세요.

컨텍스트 윈도우

모델이 한 번에 고려할 수 있는 최대 토큰 수 — 프롬프트와 응답이 모두 그 안에 들어가야 합니다. 더 큰 컨텍스트 윈도우를 사용하면 더 많은 문서나 더 긴 대화를 전달할 수 있지만, 윈도우 내의 모든 token은 여전히 비용을 지불해야 하는 input token입니다. 각 모델의 context length는 /models에 나열되어 있습니다.

$/1M 토큰 (MTok)

LLM 가격 책정 방식: 백만 토큰당 달러로, "/1M" 또는 "per MTok"으로 표기됩니다. 입력과 출력은 일반적으로 별도로 가격이 책정됩니다 (출력이 일반적으로 더 비쌉니다). 호출 비용을 추정하려면, 토큰 수를 per-MTok 요율로 곱하고 백만으로 나눕니다. UberLLM은 명시된 per-MTok 가격에 어떠한 수수료도 추가하지 않으므로, 이것이 고객님이 지불하는 가격입니다.

라우팅

주어진 요청을 어떤 공급자가 처리할지 선택하는 것. UberLLM과 같은 게이트웨이는 사용자가 지정한 모델에 대해 각 요청을 가장 저렴하고 건강한 판매자에게 요청별로 라우팅합니다 — 라우팅 작동 방식]을 참조하세요. 게이트웨이가 없으면, "라우팅"은 사용자가 하나의 공급자를 고정시키는 것입니다.

OpenAI-compatible

OpenAI API와 동일한 요청을 수락하고 동일한 응답을 반환하는 엔드포인트를 설명합니다. 따라서 OpenAI SDK는 base URL과 key만 변경하여 작동합니다. — 자세한 설명은 OpenAI 호환 API 엔드포인트란 무엇인가요]에서 확인하세요. UberLLM은 OpenAI 호환입니다.

Anthropic 호환

Anthropic API에도 동일한 아이디어가 적용됩니다. /v1/messages 요청 및 응답 형식을 사용하는 엔드포인트로, Anthropic SDK (및 Claude Code와 같이 이를 기반으로 구축된 도구)가 기본 URL과 키를 변경하여 작동할 수 있습니다. UberLLM은 Anthropic 호환 /v1/messages 엔드포인트를 제공합니다 — Anthropic SDK 문서].

x402

표준 HTTP 402 "Payment Required" 상태 코드를 사용하여 요청 비용을 지불하는 개방적이고 HTTP 네이티브 방식: 서버는 402 및 결제 세부 정보로 호출에 응답하고, 클라이언트는 결제하고 재시도하며, 요청이 처리됩니다 — 계정이나 구독이 필요 없습니다. 이는 기계 간(machine-to-machine) 및 요청당 결제(pay-per-request) 청구를 위해 설계되었습니다.

할인

마켓플레이스에서 모델의 실시간 가격이 정가(직접 가격)보다 얼마나 낮은지를 나타냅니다. 여유 용량을 제공하는 판매자는 공식 요율보다 낮게 가격을 책정합니다. 할인은 그 차이이며, 제안이 변경됨에 따라 변동됩니다. 모델별 실시간 절약액은 가격표에 표시됩니다.

건강한 공급자

현재 요청을 성공적으로 처리하고 있으며, 오류나 속도 제한 없이, 또는 비정상 상태로 감지되지 않는 판매자입니다. 라우팅은 항상 건강한 공급자에게만 연결하며, 이는 "가장 저렴한" 것이 "고장 난" 것을 의미하지 않도록 보장합니다. 가동 시간 페이지]에서 공급자 신뢰도를 확인할 수 있습니다.