NeuVerbinde jeden Agenten mit UberLLM: ein Schlüssel, alle Modelle, zum Listenpreis oder günstiger.
UberLLM

Wie UberLLM routing den günstigsten funktionierenden Anbieter auswählt

Für jede Anfrage sucht UberLLM jeden Anbieter, der das von Ihnen genannte Modell anbietet, ordnet sie nach dem aktuellen Preis und sendet die Anfrage an den günstigsten gesunden Anbieter, der schnell genug für Ihre Prompt-Größe ist. Sollte dieser Anbieter ausfallen, bevor eine Ausgabe gestreamt wurde, wird die Anfrage beim nächstgünstigsten gesunden Anbieter erneut versucht — so erhalten Sie den niedrigsten verfügbaren Preis, ohne an Zuverlässigkeit einzubüßen, und Ihnen wird niemals ein fehlgeschlagener Versuch in Rechnung gestellt.

API-Schlüssel holenLive-Preise ansehen

Die Ein-Satz-Version

Günstigster gesunder Anbieter, pro Anfrage entschieden. Beide Wörter haben Gewicht: günstigster, damit Sie den niedrigsten Live-Preis zahlen; gesund, damit Sie nicht an einen Anbieter weitergeleitet werden, der Fehler hat oder langsam ist.

Schritt für Schritt

  1. Modell auflösen. Die von Ihnen gesendete model id wird einem logischen Modell zugeordnet (alte ids werden weiterhin auf ihren aktuellen Ersatz aufgelöst, sodass Links und Code nicht veralten).
  2. Anbieter sammeln. UberLLM sammelt jedes aktive Angebot für dieses Modell – die eigene kuratierte Route des Gateways plus alle auf dem Marktplatz gelisteten Seller-Pool-Angebote.
  3. Nach Live-Preis ordnen. Angebote werden nach ihrem aktuellen Preis geordnet. Der Ihnen angegebene Preis enthält keine zusätzliche UberLLM-Gebühr, sodass Ranking und Abrechnung dieselbe Zahl verwenden.
  4. Auf gesunde filtern. Anbieter, die ausfallen, Ratenbegrenzungen anwenden oder als ungesund erkannt werden, werden übersprungen. Der Zustand wird kontinuierlich anhand von echtem Traffic und Hintergrundprüfungen überwacht.
  5. An den günstigsten senden, der schnell genug ist. Von den gesunden Anbietern werden diejenigen behalten, die innerhalb von 2x der schnellsten gemessenen Zeit bis zum ersten token bei Ihrer Prompt-Größe liegen, und der günstigste von ihnen erhält die Anfrage. Lange Prompts gehen auch an einen zweiten schnellen Anbieter, wenn der erste langsam startet. Die Details finden Sie unter smart routing.
  6. Failover vor der Ausgabe. Wenn dieser Anbieter einen Fehler meldet, bevor tokens an Sie gestreamt wurden, wird die Anfrage beim nächstgünstigsten gesunden Anbieter wiederholt. Eine Anfrage, die letztendlich kein Ergebnis liefert, kostet $0.

Warum "gesund" unverzichtbar ist

Ein reiner Günstigster-Gewinnt-Router leitet Sie zu jedem Anbieter weiter, der alle unterbietet — einschließlich eines Anbieters, der günstig ist, weil er defekt ist. Der Gesundheitsfilter von UberLLM macht das "Günstigste" sicher: Das Live-Board zeigt die Zuverlässigkeit jedes Anbieters an, und Sie können dies selbst auf der Uptime-Seite] überprüfen. Das Routing verwendet dasselbe Signal.

Was Sie sehen können

  • Der Live-Preis pro Modell, ohne zusätzliche Gebühr — Preisübersicht.
  • Welche Modelle den meisten Traffic erhalten — Ranglisten.
  • Zuverlässigkeit der Anbieter im Zeitverlauf — Verfügbarkeit.

Für Verkäufer

Derselbe Mechanismus ist die Verkäuferseite des Marktplatzes: Listen Sie freie Kapazitäten für ein Modell auf, bleiben Sie leistungsfähig und preislich wettbewerbsfähig, und Anfragen werden an Sie weitergeleitet. Siehe wie der Verkauf funktioniert und die Verkäufer-Dokumentation.

Weiterlesen

Häufige Fragen

Wie entscheidet UberLLM, welcher Anbieter meine Anfrage bearbeitet?

Es filtert ungesunde Anbieter des von Ihnen genannten Modells heraus, behält diejenigen, die schnell genug für Ihre Prompt-Größe sind (innerhalb von 2x der schnellsten gemessenen), und sendet die Anfrage an den günstigsten von ihnen. Wenn dieser Anbieter ausfällt, bevor die Ausgabe beginnt, wird die Anfrage bei einem anderen Anbieter wiederholt.

Was bedeutet „gesund“ im Routing?

Ein Anbieter, der derzeit erfolgreich bedient — nicht fehlerhaft ist, keine Ratenbegrenzung anwendet oder als ungesund eingestuft wird. Die Gesundheit wird anhand von echtem Traffic und Hintergrundprüfungen verfolgt, und ungesunde Anbieter werden übersprungen, sodass „am günstigsten“ niemals „kaputt“ bedeutet.

Wird mir etwas berechnet, wenn der ausgewählte Anbieter ausfällt?

Nein. Ein Fehler, bevor eine Ausgabe gestreamt wurde, wird beim nächsten gesunden Anbieter wiederholt, und eine Anfrage, die kein Ergebnis liefert, kostet $0.