Intelligentes routing: der günstigste Anbieter, der schnell genug für Ihren prompt ist
Mehrere Anbieter verkaufen dasselbe Modell, und der günstigste ist bei langen Prompts oft der langsamste. Daher prüft UberLLM bei jeder Anfrage, wie schnell jeder Anbieter bei dieser Prompt-Größe mit der Beantwortung beginnt und was diese Anfrage bei jedem kosten würde, behält die Anbieter, die schnell genug sind (innerhalb von 2x des schnellsten, oder unter 1 Sekunde), und sendet die Anfrage an den günstigsten davon. Es gibt nichts einzustellen: es läuft bei jeder Chat-Anfrage, es sei denn, Sie übergeben Ihre eigenen Routing-Optionen.
Warum der günstigste Anbieter nicht gut genug war
Ein Modell wie DeepSeek V4.1 Flash wird von mehreren Anbietern zu unterschiedlichen Preisen verkauft. Jede Anfrage an den günstigsten Anbieter zu senden, funktioniert für kurze Prompts. Bei langen Prompts funktioniert es nicht, denn bevor ein Modell sein erstes Wort schreibt, muss es den gesamten Prompt lesen, und einige Anbieter lesen lange Prompts viel langsamer als andere.
Wir haben es am 28. Oktober 2026 im Live-Traffic gemessen. Bei DeepSeek V4.1 Flash benötigte der günstigste Anbieter 15 Sekunden, um das erste Wort für Prompts von 32k–128k tokens zu senden, und 34 Sekunden bei über 128k. Ein anderer Anbieter benötigte 1.5–2 Sekunden für dieselben Prompts.
Das ist besonders wichtig für Coding Agents. Claude Code, Cline und ähnliche Tools senden bei jeder Runde den gesamten Arbeitskontext, oft 60k–130k tokens, und das meiste davon ist ein Cache Read.
Der Preis allein führte auch bei diesen Prompts zu einer schlechten Auswahl. Die Rangfolge nach dem normalen Input-Preis ignorierte den Preis für Cache Reads, sodass ein langer, gecachter Prompt an einen Reseller gehen konnte, der $0.07 pro Million gecachter tokens berechnete, während ein anderer Anbieter $0.0013 verlangte. Dieser Aufruf war langsamer und etwa 50x teurer.
Was bei jeder Anfrage passiert
- Geschwindigkeit anhand der Prompt-Größe messen. UberLLM erfasst die Zeit bis zum ersten token jedes Anbieters für jedes Modell, in vier Größenkategorien: unter 8k tokens, 8k–32k, 32k–128k und über 128k. Derselbe Anbieter beantwortete einen 31-token Prompt in 1.7 Sekunden und einen 105k-token Prompt in 15.5 Sekunden, daher wäre eine einzige Zahl pro Anbieter falsch. Die Daten stammen aus echten Anrufen. Separate Geschwindigkeitsprüfungen alle 5 Minuten bei etwa 20k, 60k und 150k tokens erkennen eine Verlangsamung bei einer Größe, selbst wenn kurze Anrufe schnell sind.
- Diese genaue Anfrage bei jedem Anbieter bepreisen. Input, gecachter Input und Output werden separat bepreist, basierend auf der token-Mischung dieser Anfrage. Bei langen agent-Prompts macht der Preis für das Lesen aus dem Cache normalerweise den größten Teil der Rechnung aus.
- Die Anbieter behalten, die schnell genug sind. Ein Anbieter qualifiziert sich, wenn seine typische Zeit bis zum ersten token innerhalb von 2x des schnellsten gemessenen Anbieters liegt oder unter 1 Sekunde. Die Geschwindigkeit wird anhand des Medians beurteilt. Langsame Ausreißer zählen mit einem Viertelgewicht, sobald ein Anbieter mindestens 10 Samples hat, sodass ein schlechter Anruf einen guten Anbieter nicht ausschließt.
- Die Anfrage an den günstigsten dieser Anbieter senden. Der schnellste Anbieter gewinnt nur, wenn die günstigeren zu langsam sind.
- Die Daten aktuell halten. 5% der Anfragen gehen an einen Anbieter, über den wir zu wenig Daten haben, sodass ein Anbieter, der schneller geworden ist, bemerkt wird. Ein Anbieter, der einen Anruf verweigert, wird als unbrauchbar behandelt und innerhalb von 15 Minuten erneut versucht.
Wenn noch keine Geschwindigkeitsdaten für ein Modell vorliegen, geht die Anfrage an den günstigsten verfügbaren Anbieter. Ein Anbieter, der über dem üblichen Preis des Modells liegt, wird nur aus Geschwindigkeitsgründen ausgewählt, wenn er immer noch mindestens 50% unter dem offiziellen Listenpreis des Modells liegt.
Lange Prompts: Ein zweiter Anbieter, wenn der erste langsam ist
Selbst ein schneller Anbieter startet manchmal langsam. Bei einem gecachten 120k-token Prompt startete derselbe Anbieter bei drei aufeinanderfolgenden Aufrufen in 0.45, 3.7 und 8.5 Sekunden. Die Wahl des richtigen Anbieters kann das nicht beheben, daher erhalten lange, gestreamte Anfragen ein Backup:
- Prompts von 32k–128k tokens: wenn nach 1 Sekunde kein erstes Wort angekommen ist, geht dieselbe Anfrage auch an einen anderen schnellen Anbieter.
- Prompts über 128k tokens: starten beide Anfragen gleichzeitig.
- Der erste Anbieter, der antwortet, streamt die Antwort. Die andere Anfrage wird abgebrochen, sobald das erste Wort eintrifft.
Sie erhalten eine Antwort und bezahlen für eine Antwort. Wir bezahlen die abgebrochene Anfrage aus einem festen Tagesbudget. Wenn dieses Budget aufgebraucht ist, gehen lange Anfragen bis zum nächsten Tag (UTC) an einen Anbieter.
Wiederholungsversuche gehen an einen anderen Anbieter
Wenn ein Aufruf fehlschlägt, bevor eine Antwort Sie erreicht, versucht UberLLM es über eine andere Route erneut, bis zu 4 Versuche. Vor dem intelligenten Routing könnte ein Wiederholungsversuch wieder bei demselben langsamen Anbieter landen. Ein Aufruf, der bei jedem Versuch fehlschlägt, kostet $0. Die Details finden Sie unter Modelle und Routing.
Ergebnisse im Live-Traffic
DeepSeek V4.1 Flash, Zeit bis zum ersten Wort:
| Prompt-Größe | Vorher | Nachher |
|---|---|---|
| 32k–128k Tokens | 18 s | 3.3 s |
| Über 128k Tokens | 40 s | 3.4 s |
Bei gestreamten Aufrufen über 32k Tokens (28. Oktober 2026) gingen die langsamsten 10% der Aufrufe von 57 Sekunden auf 8.7 Sekunden zurück. Die Kosten für 1,000 dieser Aufrufe sanken von $2.49 auf $1.04, da Cache-Lese-Preise jetzt bei der Auswahl berücksichtigt werden. Am 29 Oktober begann ein 203k-Token-Prompt in etwa 4 Sekunden zu antworten.
Eine Einschränkung: Kein Anbieter startet einen 100k-Token-Prompt sofort. Es dauert bei allen ein paar Sekunden. Smart Routing entfernt die zusätzliche Wartezeit bei langsamen Anbietern. Es kann die Zeit nicht entfernen, die ein schneller Anbieter benötigt, um den Prompt zu lesen.
Was Sie bezahlen
Jede Anfrage wird mit dem Betrag abgerechnet, den der Anbieter, der sie bearbeitet hat, berechnet hat, ohne zusätzliche UberLLM-Gebühr. Jeder Aufruf und seine Kosten sind im Dashboard → Activity aufgeführt. Um den Preis zu deckeln, senden Sie provider.max_price mit sowohl prompt als auch completion. Smart routing wählt dann nur Anbieter unter Ihrer Obergrenze aus, und eine Anfrage wird niemals darüber hinaus abgerechnet.
Stattdessen Ihr eigenes Routing verwenden
Sie müssen nichts ändern, um Smart Routing zu erhalten. Wenn Sie Anbieter in provider.only, provider.ignore oder provider.order benennen, provider.sort setzen oder ein :floor- oder :nitro-Suffix zur Modell-ID hinzufügen, wird Ihre Wahl verwendet und Smart Routing wird für diese Anfrage nicht ausgeführt:
{
"model": "deepseek/deepseek-v4.1-flash",
"provider": { "sort": "price" },
"messages": [{ "role": "user", "content": "Hello" }]
}
provider.max_price ist die Ausnahme: es funktioniert zusammen mit Smart Routing. Alle Optionen sind unter Modelle und Routing aufgeführt.