LLM API Glossar: token, context window, MTok, routing und mehr
Ein kurzes, leicht verständliches Glossar der Begriffe, die auftauchen, wenn Sie eine LLM API aufrufen — token, context window, price per million tokens (MTok), routing, OpenAI-compatible, Anthropic-compatible, x402, Rabatt und gesunder Anbieter — und wie jeder einzelne davon bei der Nutzung von UberLLM angewendet wird.
Ein Nachschlagewerk in einfacher Sprache für die Begriffe, die auf Preislisten, in Dokumentationen und im Gateway-Routing auftauchen. Jeder Eintrag erklärt, was der Begriff bedeutet und wie er zutrifft, wenn Sie Modelle über UberLLM aufrufen.
Token
Die Einheit, die ein LLM liest und schreibt. Text wird in Tokens – grob ein Wort oder ein Wortteil – aufgeteilt, bevor das Modell ihn verarbeitet. Sowohl Ihr Prompt (Eingabe-Tokens) als auch die Antwort des Modells (Ausgabe-Tokens) werden gezählt. LLM-APIs rechnen pro Token ab, weshalb ein prägnanterer Prompt und ein kleineres max_tokens weniger kosten. Sehen Sie die Live-Preise pro Token auf der Preistafel.
Kontextfenster
Die maximale Anzahl von Tokens, die ein Modell gleichzeitig berücksichtigen kann — Ihr Prompt plus die Antwort müssen hineinpassen. Ein größeres Kontextfenster ermöglicht es Ihnen, mehr Dokumente oder eine längere Unterhaltung zu übergeben, aber jedes Token im Fenster ist immer noch ein Eingabe-Token, für das Sie bezahlen. Die Kontextlänge jedes Modells ist auf /models aufgeführt.
$/1M Tokens (MTok)
Wie LLM-Preise angegeben werden: Dollar pro einer Million Tokens, geschrieben "/1M" oder "pro MTok". Input und Output werden normalerweise separat berechnet (Output ist typischerweise teurer). Um die Kosten eines Aufrufs zu schätzen, multiplizieren Sie die Anzahl der Tokens mit dem Preis pro MTok und teilen Sie durch eine Million. UberLLM erhebt keine Gebühr auf den angegebenen Preis pro MTok, daher ist dies der Preis, den Sie zahlen.
Routing
Auswählen, welcher Anbieter eine bestimmte Anfrage bedient. Ein Gateway wie UberLLM routet jede Anfrage an den günstigsten gesunden Anbieter für das von Ihnen genannte Modell, pro Anfrage — siehe wie Routing funktioniert. Ohne ein Gateway bedeutet "Routing", dass Sie einen Anbieter fest codieren.
OpenAI-kompatibel
Beschreibt einen endpoint, der dieselben Anfragen akzeptiert und dieselben Antworten zurückgibt wie die OpenAI API, sodass das OpenAI SDK damit funktioniert, indem nur die base URL und der key geändert werden — vollständige Erklärung in Was ist ein OpenAI-kompatibler API endpoint. UberLLM ist OpenAI-kompatibel.
Anthropic-kompatibel
Die gleiche Idee für die API von Anthropic: ein Endpunkt, der das /v1/messages Anfrage- und Antwortformat spricht, sodass das Anthropic SDK (und darauf aufbauende Tools, wie Claude Code) damit funktionieren, indem man die base URL und den key ändert. UberLLM stellt einen Anthropic-kompatiblen /v1/messages Endpunkt bereit — Anthropic SDK-Dokumentation.
x402
Eine offene, HTTP-native Methode, um eine Anfrage zu bezahlen, unter Verwendung des standardmäßigen HTTP 402 "Payment Required" Statuscodes: Der Server beantwortet einen Aufruf mit einem 402 und Zahlungsdetails, der Client bezahlt und versucht es erneut, und die Anfrage wird bedient — kein Konto oder Abonnement erforderlich. Es ist konzipiert für Maschine-zu-Maschine- und Pay-per-Request-Abrechnung.
Rabatt
Auf einem Marktplatz, wie weit der Live-Preis eines Modells unter seinem Listenpreis (Direktpreis) liegt. Ein Anbieter, der freie Kapazitäten anbietet, listet es unter dem offiziellen Tarif auf; der Rabatt ist diese Differenz, und er ändert sich, wenn sich die Angebote ändern. Die Live-Ersparnis pro Modell wird auf der Preisübersicht angezeigt.
Gesunder Anbieter
Ein Anbieter, der Anfragen derzeit erfolgreich bearbeitet — keine Fehler meldet, keine Ratenbegrenzung anwendet und nicht als ungesund eingestuft wird. Das Routing leitet Sie immer nur zu einem gesunden Anbieter weiter, was verhindert, dass "am günstigsten" gleichbedeutend mit "kaputt" ist. Sie können die Zuverlässigkeit der Anbieter auf der Uptime-Seite einsehen.