Como o roteamento do UberLLM escolhe o provedor saudável mais barato
Para cada requisição, o UberLLM consulta todos os vendedores que oferecem o modelo que você nomeou, os classifica pelo preço em tempo real e envia a requisição para o mais barato e saudável que seja rápido o suficiente para o tamanho do seu prompt. Se esse vendedor falhar antes que qualquer saída tenha sido transmitida, a requisição é tentada novamente no próximo vendedor saudável mais barato — assim você obtém o menor preço disponível sem perder a confiabilidade, e nunca é cobrado por uma tentativa falha.
A versão em uma frase
O vendedor saudável mais barato, decidido por requisição. Ambas as palavras têm peso: mais barato, para que você pague o menor preço em tempo real; saudável, para que você não seja roteado para um vendedor que esteja com erros ou lento.
Passo a passo
- Resolve o modelo. O ID
modelque você envia mapeia para um modelo lógico (IDs antigos continuam a ser resolvidos para seus substitutos atuais, para que links e código não se tornem obsoletos). - Reúne os vendedores. UberLLM coleta todas as ofertas ativas para aquele modelo — a rota própria e curada do gateway mais quaisquer ofertas de pool de vendedores listadas no marketplace.
- Classifica por preço em tempo real. As ofertas são ordenadas pelo seu preço atual. O preço que você recebe não tem taxa UberLLM adicionada, então a classificação e a cobrança usam o mesmo número.
- Filtra para saudáveis. Vendedores que estão falhando, com limite de taxa (rate-limiting) ou com sondagens de saúde negativas (probing unhealthy) são ignorados. A saúde é monitorada continuamente a partir do tráfego real e de sondagens em segundo plano.
- Envia para o mais barato que seja rápido o suficiente. Dos vendedores saudáveis, aqueles dentro de 2x do tempo mais rápido medido para o primeiro token no tamanho do seu prompt são mantidos, e o mais barato deles recebe a requisição. Prompts longos também vão para um segundo vendedor rápido se o primeiro demorar para iniciar. Os detalhes estão em roteamento inteligente.
- Faz failover antes da saída. Se esse vendedor apresentar erro antes que quaisquer tokens tenham sido transmitidos para você, a requisição é tentada novamente no próximo vendedor saudável mais barato. Uma requisição que, em última análise, não retorna nenhum resultado custa $0.
Por que "saudável" não é opcional
Um roteador que prioriza apenas o menor preço envia você para qualquer vendedor que tenha o preço mais baixo que todos — incluindo um vendedor que é barato porque está com problemas. O filtro de saúde da UberLLM é o que torna o "mais barato" seguro: o painel ao vivo mostra a confiabilidade de cada provedor, e você pode verificar isso por si mesmo na página de uptime. O roteamento usa o mesmo sinal.
O que você pode ver
- O preço em tempo real por modelo, sem taxas adicionais — tabela de preços.
- Quais modelos recebem mais tráfego — classificações.
- Confiabilidade do provedor ao longo do tempo — disponibilidade.
Para vendedores
O mesmo mecanismo é o lado do vendedor do marketplace: liste capacidade ociosa para um modelo, mantenha-se saudável e com preços competitivos, e as solicitações serão direcionadas a você. Veja como vender funciona e a documentação para vendedores.