Glossaire de l'API LLM : token, context window, MTok, routing et plus encore
Un glossaire simple et concis des termes qui apparaissent lorsque vous appelez une API LLM — token, context window, prix par million de tokens (MTok), routing, OpenAI-compatible, Anthropic-compatible, réduction de x402, et healthy provider — avec la manière dont chacun s'applique lorsque vous utilisez UberLLM.
Une référence en langage clair pour les termes qui apparaissent sur les grilles tarifaires, dans la documentation et dans le routage de passerelle. Chaque entrée explique ce que le terme signifie et comment il s'applique lorsque vous appelez des modèles via UberLLM.
Token
L'unité qu'un LLM lit et écrit. Le texte est divisé en tokens — approximativement un mot ou une partie de mot — avant que le modèle ne le traite, et votre prompt (tokens d'entrée) ainsi que la réponse du modèle (tokens de sortie) sont tous deux comptabilisés. Les API des LLM facturent par token, c'est pourquoi un prompt plus concis et un max_tokens plus petit coûtent moins cher. Consultez les prix des tokens en temps réel sur le tableau des prix.
Fenêtre de contexte
Le nombre maximal de tokens qu'un modèle peut prendre en compte simultanément — votre prompt et la réponse doivent y tenir. Une fenêtre de contexte plus grande vous permet de transmettre plus de documents ou une conversation plus longue, mais chaque token dans la fenêtre reste un token d'entrée que vous payez. La longueur de contexte de chaque modèle est indiquée sur /models.
$/1M tokens (MTok)
Comment les prix des LLM sont indiqués : dollars par million de tokens, écrit "/1M" ou "par MTok". L'entrée et la sortie sont généralement facturés séparément (la sortie est typiquement plus chère). Pour estimer le coût d'un appel, multipliez son nombre de tokens par le taux par MTok et divisez par un million. UberLLM n'ajoute aucun frais au prix par MTok indiqué, c'est donc le prix que vous payez.
Routage
Choisir quel fournisseur traite une requête donnée. Une passerelle comme UberLLM route chaque requête vers le vendeur sain le moins cher pour le modèle que vous avez nommé, par requête — voir comment fonctionne le routage. Sans passerelle, "le routage" consiste à coder en dur un seul fournisseur.
Compatible OpenAI
Décrit un endpoint qui accepte les mêmes requêtes et renvoie les mêmes réponses que l'API OpenAI, de sorte que le SDK OpenAI fonctionne avec en ne changeant que l'URL de base et la clé — explication complète dans [qu'est-ce qu'un endpoint API compatible OpenAI]](/guides/openai-compatible-api-endpoint). UberLLM est compatible OpenAI.
Compatible Anthropic
La même idée pour l'API d'Anthropic : un endpoint qui utilise le format de requête et de réponse /v1/messages, afin que le SDK Anthropic (et les outils basés sur celui-ci, comme Claude Code) fonctionnent avec en changeant l'URL de base et la clé. UberLLM expose un endpoint /v1/messages compatible Anthropic — documentation du SDK Anthropic.
x402
Une manière ouverte et native HTTP de payer une requête en utilisant le code de statut standard HTTP 402 "Payment Required" : le serveur répond à un appel avec un 402 et les détails de paiement, le client paie et réessaie, et la requête est servie — aucun compte ni abonnement n'est nécessaire. Il est conçu pour le machine-to-machine et la facturation à la requête.
Remise
Sur une place de marché, la mesure dans laquelle le prix en direct d'un modèle est inférieur à son prix catalogue (direct). Un vendeur proposant une capacité excédentaire le propose en dessous du tarif officiel ; la remise est cet écart, et elle évolue au gré des offres. L'économie en temps réel par modèle est affichée sur le tableau des prix.
Fournisseur sain
Un fournisseur qui traite actuellement les requêtes avec succès — sans erreurs, sans limitation de débit, sans être détecté comme défaillant. Le routage ne vous envoie toujours qu'à un fournisseur sain, ce qui empêche que « le moins cher » ne signifie « cassé ». Vous pouvez consulter la fiabilité des fournisseurs sur la page de disponibilité.