Come il routing di UberLLM sceglie il provider sano più economico
Per ogni richiesta, UberLLM cerca ogni venditore che offre il modello che hai specificato, li classifica in base al prezzo in tempo reale e invia la richiesta a quello più economico e sano che sia abbastanza veloce per la dimensione del tuo prompt. Se quel venditore fallisce prima che qualsiasi output sia stato trasmesso in streaming, la richiesta viene riprovata sul prossimo venditore sano più economico — così ottieni il prezzo più basso disponibile senza perdere affidabilità, e non ti viene mai addebitato un tentativo fallito.
La versione in una frase
Il venditore più economico e sano, deciso su richiesta. Entrambe le parole hanno peso: il più economico, così paghi il prezzo più basso in tempo reale; sano, così non vieni indirizzato a un venditore che sta dando errori o è lento.
Passo dopo passo
- Risolvi il modello. L'ID
modelche invii mappa a un modello logico (i vecchi ID continuano a risolversi con la loro attuale sostituzione, così link e codice non si deteriorano). - Raccogli i venditori. UberLLM raccoglie ogni offerta attiva per quel modello — la rotta curata del gateway stesso più qualsiasi offerta del pool di venditori elencata sul marketplace.
- Classifica per prezzo in tempo reale. Le offerte sono ordinate in base al loro prezzo attuale. Il prezzo che ti viene quotato non ha commissioni UberLLM aggiunte, quindi la classificazione e la fatturazione usano lo stesso numero.
- Filtra per stato di salute. I venditori che falliscono, applicano limiti di frequenza (rate-limiting) o risultano non in salute tramite i probe vengono saltati. Lo stato di salute è monitorato continuamente dal traffico reale e dai probe in background.
- Invia al più economico che sia abbastanza veloce. Tra i venditori in salute, quelli entro 2x del tempo più veloce misurato per il primo token alla dimensione del tuo prompt vengono mantenuti, e il più economico tra questi riceve la richiesta. I prompt lunghi vanno anche a un secondo venditore veloce se il primo è lento ad avviarsi. I dettagli sono in smart routing.
- Failover prima dell'output. Se quel venditore genera un errore prima che qualsiasi token ti sia stato trasmesso in streaming, la richiesta viene ritentata sul prossimo venditore sano più economico. Una richiesta che alla fine non restituisce alcun risultato costa $0.
Perché "sano" non è opzionale
Un router puramente basato sul prezzo più basso ti invia a qualsiasi venditore che sottoprezza tutti — incluso un venditore che è economico perché è rotto. Il filtro di salute di UberLLM è ciò che rende "il più economico" sicuro: la bacheca in tempo reale mostra l'affidabilità di ogni provider, e puoi ispezionarla tu stesso sulla pagina di uptime. Il routing utilizza lo stesso segnale.
Cosa puoi vedere
- Il prezzo in tempo reale per modello, senza costi aggiuntivi — tabella prezzi.
- Quali modelli ricevono più traffico — classifiche.
- L'affidabilità dei provider nel tempo — disponibilità.
Per i venditori
Lo stesso meccanismo è il lato venditore del marketplace: metti in vendita la capacità in eccesso per un modello, mantieni un'offerta efficiente e prezzi competitivi, e le richieste ti verranno instradate. Vedi come funziona la vendita e la documentazione per i venditori.