LLM API woordenlijst: token, context window, MTok, routing en meer
Een korte, eenvoudige woordenlijst van de termen die je tegenkomt wanneer je een LLM API aanroept — token, context window, prijs per miljoen tokens (MTok), routing, OpenAI-compatible, Anthropic-compatible, x402, korting en gezonde provider — met hoe elk van deze van toepassing is wanneer je UberLLM gebruikt.
Een eenvoudig te begrijpen naslagwerk voor de termen die verschijnen op prijslijsten, in documentatie en in gateway routing. Elke vermelding legt uit wat de term betekent en hoe deze van toepassing is wanneer je modellen aanroept via UberLLM.
Token
De eenheid die een LLM leest en schrijft. Tekst wordt opgesplitst in tokens — ruwweg een woord of een woorddeel — voordat het model deze verwerkt, en zowel je prompt (input tokens) als het antwoord van het model (output tokens) worden geteld. LLM API's factureren per token, daarom kosten een strakkere prompt en een kleinere max_tokens minder. Bekijk live prijzen per token op het prijzenoverzicht.
Contextvenster
Het maximale aantal tokens dat een model tegelijk kan overwegen — je prompt plus het antwoord moeten erin passen. Een groter contextvenster laat je meer documenten of een langer gesprek doorgeven, maar elk token in het venster is nog steeds een invoertoken waarvoor je betaalt. De contextlengte van elk model staat vermeld op /models.
$/1M tokens (MTok)
Hoe LLM-prijzen worden genoteerd: dollars per één miljoen tokens, geschreven "/1M" of "per MTok". Input en output worden meestal afzonderlijk geprijsd (output is doorgaans duurder). Om de kosten van een oproep te schatten, vermenigvuldig het aantal tokens met het per-MTok tarief en deel door een miljoen. UberLLM voegt geen kosten toe aan de genoteerde per-MTok prijs, dus dit is de prijs die je betaalt.
Routing
Kiezen welke provider een bepaald verzoek afhandelt. Een gateway zoals UberLLM routeert elk verzoek naar de goedkoopste gezonde aanbieder voor het model dat je opgeeft, per verzoek — zie hoe routing werkt. Zonder een gateway is "routing" dat jij één provider hardcodeert.
OpenAI-compatibel
Beschrijft een endpoint dat dezelfde verzoeken accepteert en dezelfde antwoorden retourneert als de OpenAI API, zodat de OpenAI SDK ermee werkt door alleen de base URL en key te wijzigen — volledige uitleg in wat is een OpenAI-compatibel API endpoint. UberLLM is OpenAI-compatibel.
Anthropic-compatibel
Hetzelfde idee voor Anthropic's API: een endpoint dat het /v1/messages request- en responseformaat spreekt, zodat de Anthropic SDK (en tools die erop gebouwd zijn, zoals Claude Code) ermee werken door de base URL en key te wijzigen. UberLLM biedt een Anthropic-compatibel /v1/messages endpoint aan — Anthropic SDK-documentatie.
x402
Een open, HTTP-native manier om te betalen voor een verzoek met behulp van de standaard HTTP 402 "Payment Required" statuscode: de server beantwoordt een oproep met een 402 en betalingsgegevens, de client betaalt en probeert het opnieuw, en het verzoek wordt afgehandeld — geen account of abonnement nodig. Het is ontworpen voor machine-naar-machine en pay-per-request facturering.
Korting
Op een marktplaats, hoe ver de live prijs van een model ligt onder de catalogusprijs (directe prijs). Een verkoper die overtollige capaciteit aanbiedt, biedt deze aan onder het officiële tarief; de korting is dat verschil, en deze verandert naarmate aanbiedingen wijzigen. De live besparing per model wordt getoond op het prijzenoverzicht.
Gezonde provider
Een aanbieder die momenteel verzoeken succesvol afhandelt — geen fouten genereert, niet rate-limited is, en niet als ongezond wordt beschouwd. Routing stuurt je altijd alleen naar een gezonde provider, wat voorkomt dat "goedkoopst" "kapot" betekent. Je kunt de betrouwbaarheid van providers inspecteren op de uptime-pagina.