Glosario de API de LLM: token, context window, MTok, routing y más
Un glosario breve y en lenguaje sencillo de los términos que surgen al llamar a una API de LLM — token, context window, price per million tokens (MTok), routing, OpenAI-compatible, Anthropic-compatible, descuento x402, y proveedor saludable — con cómo se aplica cada uno al usar UberLLM.
Una referencia sencilla de los términos que aparecen en las tablas de precios, en la documentación y en el enrutamiento de la pasarela. Cada entrada explica qué significa el término y cómo se aplica al llamar a modelos a través de UberLLM.
Token
La unidad que un LLM lee y escribe. El texto se divide en tokens — aproximadamente una palabra o un fragmento de palabra — antes de que el modelo lo procese, y tanto tu prompt (tokens de entrada) como la respuesta del modelo (tokens de salida) se cuentan. Las API de LLM facturan por token, por eso un prompt más conciso y un max_tokens más pequeño cuestan menos. Consulta los precios por token en tiempo real en el tablero de precios.
Ventana de contexto
El número máximo de tokens que un modelo puede considerar a la vez — tu prompt más la respuesta deben caber dentro de ella. Una ventana de contexto más grande te permite pasar más documentos o una conversación más larga, pero cada token en la ventana sigue siendo un token de entrada por el que pagas. La longitud de contexto de cada modelo se lista en /models.
$/1M tokens (MTok)
Cómo se cotizan los precios de los LLM: dólares por un millón de tokens, escrito "/1M" o "por MTok". La entrada y la salida suelen tener precios separados (la salida suele ser más cara). Para estimar el costo de una llamada, multiplica su recuento de tokens por la tarifa por MTok y divide por un millón. UberLLM no añade ninguna comisión al precio por MTok cotizado, por lo que es el precio que pagas.
Enrutamiento
Elegir qué proveedor atiende una solicitud determinada. Una pasarela como UberLLM enruta cada solicitud al vendedor saludable más barato para el modelo que especificaste, por solicitud — ver cómo funciona el enrutamiento. Sin una pasarela, "enrutamiento" es que tú codificas un proveedor de forma manual.
Compatible con OpenAI
Describe un endpoint que acepta las mismas requests y devuelve las mismas responses que la OpenAI API, de modo que el OpenAI SDK funciona con él cambiando solo la base URL y la key — explicación completa en qué es un endpoint de API compatible con OpenAI. UberLLM es OpenAI-compatible.
Compatible con Anthropic
La misma idea para la API de Anthropic: un endpoint que entiende el /v1/messages formato de solicitud y respuesta, para que el SDK de Anthropic (y las herramientas construidas sobre él, como Claude Code) funcionen con él cambiando la base URL y la key. UberLLM expone un endpoint /v1/messages compatible con Anthropic — documentación del SDK de Anthropic.
x402
Una forma abierta y nativa de HTTP para pagar una solicitud utilizando el código de estado estándar HTTP 402 "Payment Required": el servidor responde a una llamada con un 402 y detalles de pago, el cliente paga y reintenta, y la solicitud es atendida — no se necesita cuenta ni suscripción. Está diseñado para la facturación máquina a máquina y de pago por solicitud.
Descuento
En un marketplace, cuánto se sitúa el precio en vivo de un modelo por debajo de su precio de lista (directo). Un vendedor que ofrece capacidad ociosa lo lista por debajo de la tarifa oficial; el descuento es esa diferencia, y se mueve a medida que cambian las ofertas. El ahorro en vivo por modelo se muestra en el tablero de precios.
Proveedor saludable
Un vendedor que actualmente está atendiendo solicitudes con éxito — sin errores, sin limitaciones de tasa (rate-limiting), y sin indicar un estado no saludable. El enrutamiento siempre te envía a un proveedor saludable, lo que evita que "el más barato" signifique "roto". Puedes inspeccionar la fiabilidad del proveedor en la página de tiempo de actividad.