Glossário da API LLM: token, context window, MTok, routing e mais
Um glossário curto e em linguagem simples dos termos que surgem quando você chama uma API de LLM — token, context window, preço por milhão de tokens (MTok), routing, compatível com OpenAI, compatível com Anthropic, desconto de x402, e provedor saudável — com como cada um se aplica quando você usa o UberLLM.
Uma referência em linguagem simples para as palavras que aparecem nas tabelas de preços, na documentação e no roteamento de gateway. Cada entrada explica o que o termo significa e como ele se aplica quando você chama modelos através do UberLLM.
Token
A unidade que um LLM lê e escreve. O texto é dividido em tokens — aproximadamente uma palavra ou parte de uma palavra — antes que o modelo o processe, e tanto o seu prompt (input tokens) quanto a resposta do modelo (output tokens) são contados. LLM APIs cobram por token, por isso um prompt mais conciso e um max_tokens menor custam menos. Veja os preços por token em tempo real na tabela de preços.
Janela de contexto
O número máximo de tokens que um modelo pode considerar de uma vez — seu prompt mais a resposta devem caber dentro dela. Uma janela de contexto maior permite que você passe mais documentos ou uma conversa mais longa, mas cada token na janela ainda é um token de entrada pelo qual você paga. O comprimento de contexto de cada modelo está listado em /models.
$/1M tokens (MTok)
Como os preços de LLM são cotados: dólares por um milhão de tokens, escrito "/1M" ou "por MTok". Entrada e saída são geralmente precificados separadamente (a saída é tipicamente mais cara). Para estimar o custo de uma chamada, multiplique sua contagem de tokens pela taxa por MTok e divida por um milhão. UberLLM não adiciona nenhuma taxa ao preço por MTok cotado, então é o preço que você paga.
Roteamento
Escolher qual provedor atende uma determinada requisição. Um gateway como o UberLLM roteia cada requisição para o vendedor mais barato e saudável para o modelo que você especificou, por requisição — veja como o roteamento funciona. Sem um gateway, "roteamento" é você codificar um provedor diretamente.
Compatível com OpenAI
Descreve um endpoint que aceita as mesmas requisições e retorna as mesmas respostas que a OpenAI API, para que o OpenAI SDK funcione contra ele alterando apenas a base URL e a key — explicação completa em o que é um endpoint de API compatível com OpenAI. UberLLM é compatível com OpenAI.
Compatível com Anthropic
A mesma ideia para a API da Anthropic: um endpoint que "fala" o formato de requisição e resposta /v1/messages, para que o SDK da Anthropic (e ferramentas construídas sobre ele, como o Claude Code) funcionem com ele apenas mudando a base URL e a key. UberLLM expõe um endpoint compatível com Anthropic /v1/messages — documentação do SDK da Anthropic.
x402
Uma forma aberta e nativa de HTTP para pagar por uma requisição usando o código de status padrão HTTP 402 "Payment Required": o servidor responde a uma chamada com um 402 e detalhes de pagamento, o cliente paga e tenta novamente, e a requisição é atendida — nenhuma conta ou assinatura é necessária. É projetado para faturamento máquina a máquina e pagamento por requisição.
Desconto
Em um marketplace, o quão abaixo o preço ao vivo de um modelo está do seu preço de tabela (direto). Um vendedor que oferece capacidade ociosa o lista abaixo da taxa oficial; o desconto é essa diferença, e ele se move conforme as ofertas mudam. A economia ao vivo por modelo é mostrada no painel de preços.
Provedor saudável
Um vendedor que está atualmente atendendo requisições com sucesso — não apresentando erros, não aplicando limites de taxa, não indicando problemas de saúde. O roteamento sempre te envia para um provedor saudável, o que impede que "o mais barato" signifique "quebrado". Você pode verificar a confiabilidade do provedor na página de uptime.