NouveauBranchez n’importe quel agent sur UberLLM : une clé, tous les modèles, au prix catalogue ou moins.
UberLLM

Comment le routing d'UberLLM choisit le fournisseur sain le moins cher

Pour chaque requête, UberLLM recherche tous les vendeurs proposant le modèle que vous avez nommé, les classe par prix en direct, et envoie la requête au vendeur sain le moins cher qui est suffisamment rapide pour la taille de votre prompt. Si ce vendeur échoue avant qu'une quelconque sortie n'ait été streamée, la requête est relancée sur le prochain vendeur sain le moins cher — ainsi vous obtenez le prix le plus bas disponible sans perdre en fiabilité, et vous n'êtes jamais facturé pour une tentative échouée.

Obtenir une clé APIVoir les prix en direct

La version en une phrase

Le vendeur sain le moins cher, décidé par requête. Ces deux mots ont du poids : "le moins cher", pour que vous payiez le prix le plus bas en direct ; "sain", pour que vous ne soyez pas redirigé vers un vendeur qui rencontre des erreurs ou qui est lent.

Étape par étape

  1. Résoudre le modèle. L'ID model que vous envoyez correspond à un modèle logique (les anciens ID continuent de correspondre à leur remplacement actuel, afin que les liens et le code ne deviennent pas obsolètes).
  2. Rassembler les vendeurs. UberLLM collecte toutes les offres actives pour ce modèle — la route sélectionnée par la passerelle elle-même, plus toutes les offres du pool de vendeurs listées sur la marketplace.
  3. Classer par prix en direct. Les offres sont classées par leur prix actuel. Le prix qui vous est communiqué n'inclut aucun frais UberLLM, ainsi le classement et la facturation utilisent le même chiffre.
  4. Filtrer les sains. Les vendeurs qui échouent, appliquent des limites de débit ou sont jugés non-sains sont ignorés. La santé est suivie en continu à partir du trafic réel et de sondes d'arrière-plan.
  5. Envoyer au moins cher qui est suffisamment rapide. Parmi les vendeurs sains, ceux qui sont à moins de 2x du temps mesuré le plus rapide pour le premier token à la taille de votre prompt sont conservés, et le moins cher d'entre eux reçoit la requête. Les prompts longs sont également envoyés à un deuxième vendeur rapide si le premier est lent à démarrer. Les détails se trouvent dans smart routing.
  6. Basculement avant la sortie. Si ce vendeur génère une erreur avant que des tokens ne vous aient été streamés, la requête est relancée sur le prochain vendeur sain le moins cher. Une requête qui ne renvoie finalement aucun résultat coûte $0.

Pourquoi la "santé" n'est pas facultative

Un routeur purement axé sur le prix le plus bas vous dirige vers le vendeur qui propose le prix le plus bas — y compris un vendeur qui est bon marché parce qu'il est en panne. Le filtre de santé d'UberLLM est ce qui rend le "moins cher" sûr : le tableau de bord en direct affiche la fiabilité de chaque fournisseur, et vous pouvez l'inspecter vous-même sur la page de disponibilité. Le routage utilise le même signal.

Ce que vous pouvez voir

  • Le prix en direct par modèle, sans frais supplémentaires — tableau des prix.
  • Quels modèles génèrent le plus de trafic — classements.
  • La fiabilité des fournisseurs au fil du temps — disponibilité.

Pour les vendeurs

Le même mécanisme s'applique aux vendeurs sur la marketplace : listez la capacité disponible pour un modèle, assurez un bon fonctionnement et des prix compétitifs, et les requêtes vous seront acheminées. Consultez comment vendre et la documentation pour les vendeurs.

Continuez à lire

FAQ

Comment UberLLM décide-t-il quel fournisseur sert ma requête ?

Il écarte les vendeurs défaillants du modèle que vous avez nommé, ne retient que ceux qui sont assez rapides pour la taille de votre prompt (à 2x près du plus rapide mesuré), et envoie la requête au moins cher d'entre eux. Si ce vendeur échoue avant que la sortie ne commence, la requête est relancée sur un autre vendeur.

Que signifie « sain » dans le routage ?

Un vendeur qui fonctionne actuellement correctement — qui ne génère pas d'erreurs, ne limite pas le débit (rate-limiting), et n'est pas détecté comme défaillant. La santé est suivie à partir du trafic réel et des sondes en arrière-plan, et les vendeurs défaillants sont ignorés afin que « le moins cher » ne signifie jamais « cassé ».

Suis-je facturé si le fournisseur choisi échoue ?

Non. Un échec avant que toute sortie n'ait été diffusée en streaming est relancé sur le prochain vendeur sain, et une requête qui ne renvoie aucun résultat coûte $0.