NieuwKoppel elke agent aan UberLLM: één sleutel, elk model, voor de catalogusprijs of minder.
UberLLM

Hoe UberLLM routing de goedkoopste gezonde provider kiest

Voor elk verzoek zoekt UberLLM elke verkoper op die het door u genoemde model aanbiedt, rangschikt ze op live prijs en stuurt het verzoek naar de goedkoopste gezonde die snel genoeg is voor uw promptgrootte. Als die verkoper faalt voordat er enige output is gestreamd, wordt het verzoek opnieuw geprobeerd bij de volgende goedkoopste gezonde verkoper — zodat u de laagst beschikbare prijs krijgt zonder betrouwbaarheid te verliezen, en u wordt nooit gefactureerd voor een mislukte poging.

API-sleutel aanvragenLive prijzen bekijken

De éénzinsversie

Goedkoopste gezonde aanbieder, bepaald per verzoek. Beide woorden wegen zwaar: goedkoopste, zodat je de laagste actuele prijs betaalt; gezonde, zodat je niet wordt doorgestuurd naar een aanbieder die fouten maakt of traag is.

Stap voor stap

  1. Bepaal het model. De model id die je stuurt, verwijst naar één logisch model (oude id's blijven verwijzen naar hun huidige vervanging, zodat links en code niet verouderen).
  2. Verzamel de aanbieders. UberLLM verzamelt elk actief aanbod voor dat model — de eigen samengestelde route van de gateway plus alle aanbiedingen uit de aanbiederspool die op de marktplaats staan.
  3. Rangschik op live prijs. Aanbiedingen worden gesorteerd op hun huidige prijs. De prijs die je krijgt, heeft geen UberLLM-kosten toegevoegd, dus rangschikking en facturering gebruiken hetzelfde nummer.
  4. Filter op gezond. Aanbieders die falen, rate-limiting toepassen of ongezond zijn, worden overgeslagen. De gezondheid wordt continu bijgehouden op basis van echt verkeer en achtergrondcontroles.
  5. Stuur naar de goedkoopste die snel genoeg is. Van de gezonde aanbieders worden degenen binnen 2x van de snelst gemeten tijd tot de eerste token bij jouw promptgrootte behouden, en de goedkoopste daarvan krijgt het verzoek. Lange prompts gaan ook naar een tweede snelle aanbieder als de eerste traag opstart. De details staan in smart routing.
  6. Failover vóór uitvoer. Als die aanbieder een fout geeft voordat er tokens naar je zijn gestreamd, wordt het verzoek opnieuw geprobeerd bij de volgende goedkoopste gezonde aanbieder. Een verzoek dat uiteindelijk geen resultaat oplevert, kost $0.

Waarom "gezond" niet optioneel is

Een pure "goedkoopste wint"-router stuurt je naar elke verkoper die iedereen onderbiedt — inclusief een verkoper die goedkoop is omdat deze kapot is. Het gezondheidsfilter van UberLLM maakt "het goedkoopste" veilig: het live overzicht toont de betrouwbaarheid van elke provider, en je kunt het zelf controleren op de uptime-pagina. Routering gebruikt hetzelfde signaal.

Wat je kunt zien

Voor verkopers

Hetzelfde mechanisme is de verkoperskant van de marktplaats: bied overtollige capaciteit aan voor een model, blijf gezond en concurrerend geprijsd, en aanvragen worden naar jou gerouteerd. Zie hoe verkopen werkt en de verkopersdocumentatie.

Lees verder

Veelgestelde vragen

Hoe beslist UberLLM welke provider mijn verzoek afhandelt?

Het filtert ongezonde verkopers van het door u genoemde model eruit, behoudt degenen die snel genoeg zijn voor uw promptgrootte (binnen 2x van de snelst gemeten), en stuurt het verzoek naar de goedkoopste daarvan. Als die verkoper faalt voordat de uitvoer begint, wordt het verzoek opnieuw geprobeerd bij een andere verkoper.

Wat betekent "gezond" in routing?

Een verkoper die momenteel succesvol levert — geen fouten maakt, niet rate-limiting is, of ongezond wordt bevonden. De gezondheid wordt bijgehouden op basis van echt verkeer en achtergrondprobes, en ongezonde verkopers worden overgeslagen, zodat "goedkoopste" nooit "kapot" betekent.

Word ik gefactureerd als de gekozen provider faalt?

Nee. Een storing voordat er uitvoer is gestreamd, wordt opnieuw geprobeerd bij de volgende gezonde verkoper, en een verzoek dat geen resultaat oplevert, kost $0.