Cómo el enrutamiento de UberLLM elige al proveedor saludable más barato
Para cada solicitud, UberLLM busca a cada vendedor que ofrece el modelo que nombraste, los clasifica por precio en tiempo real y envía la solicitud al más barato y saludable que sea lo suficientemente rápido para el tamaño de tu prompt. Si ese vendedor falla antes de que se haya transmitido alguna salida, la solicitud se reintenta en el siguiente vendedor saludable más barato — así obtienes el precio más bajo disponible sin perder fiabilidad, y nunca se te factura por un intento fallido.
La versión en una frase
El vendedor más barato y saludable, decidido por solicitud. Ambas palabras tienen peso: más barato, para que pagues el precio más bajo en tiempo real; saludable, para que no te dirijan a un vendedor que esté dando errores o sea lento.
Paso a paso
- Resolver el modelo. El ID
modelque envías se asigna a un modelo lógico (los IDs antiguos siguen resolviéndose a su reemplazo actual, para que los enlaces y el código no se estropeen). - Recopilar los vendedores. UberLLM recopila cada oferta activa para ese modelo — la ruta curada propia de la pasarela más cualquier oferta del grupo de vendedores listada en el marketplace.
- Clasificar por precio en vivo. Las ofertas se ordenan por su precio actual. El precio que se te cotiza no tiene ninguna tarifa de UberLLM añadida, por lo que la clasificación y la facturación usan el mismo número.
- Filtrar a los saludables. Los vendedores que están fallando, rate-limiting o probing unhealthy son omitidos. La salud se rastrea continuamente a partir del tráfico real y las sondas de fondo.
- Enviar al más barato que sea lo suficientemente rápido. De los vendedores saludables, se mantienen aquellos dentro de 2x del tiempo más rápido medido hasta el primer token para el tamaño de tu prompt, y el más barato de ellos recibe la solicitud. Los prompts largos también van a un segundo vendedor rápido si el primero tarda en empezar. Los detalles están en smart routing.
- Fail over antes de la salida. Si ese vendedor falla antes de que se te haya hecho streaming de cualquier token, la solicitud se reintenta en el siguiente vendedor saludable más barato. Una solicitud que finalmente no devuelve ningún resultado cuesta $0.
¿Por qué "saludable" no es opcional
Un enrutador puro de "el más barato gana" te envía a cualquier vendedor que ofrezca el precio más bajo — incluyendo a un vendedor que es barato porque está roto. El filtro de salud de UberLLM es lo que hace que "el más barato" sea seguro: el panel en vivo muestra la fiabilidad de cada proveedor, y puedes inspeccionarla tú mismo en la página de tiempo de actividad. El enrutamiento utiliza la misma señal.
Lo que puedes ver
- El precio en tiempo real por modelo, sin comisión añadida — tablero de precios.
- Qué modelos reciben más tráfico — clasificaciones.
- Fiabilidad del proveedor a lo largo del tiempo — disponibilidad.
Para vendedores
El mismo mecanismo es el lado del vendedor del marketplace: publica la capacidad disponible para un modelo, mantente competitivo y con precios atractivos, y las solicitudes se dirigen a ti. Consulta cómo funciona la venta y la documentación para vendedores.