UberLLMのルーティングが最も安価で健全なプロバイダーをどのように選択するか
各リクエストに対し、UberLLMは指定されたモデルを提供するすべての販売者を検索し、リアルタイムの価格でランク付けし、プロンプトサイズに対して十分な速さを持つ、最も安価で健全な販売者にリクエストを送信します。その販売者が、何らかの出力がstreamingされる前に失敗した場合、リクエストは次に安価で健全な販売者で再試行されます。これにより、信頼性を損なうことなく、利用可能な最低価格を得られ、失敗した試行に対して課金されることはありません。
·
一言で言うと
リクエストごとに決定される、最も安い健全なセラーです。どちらの言葉も重要です。「最も安い」とは、最低のリアルタイム価格を支払うことを意味し、「健全な」とは、エラーが発生している、または遅いセラーにルーティングされないことを意味します。
ステップバイステップ
- モデルを解決します。 送信された
model IDは、1つの論理モデルにマッピングされます（古いIDは現在の代替モデルに解決され続けるため、リンクやコードが機能しなくなることはありません）。
- セラーを収集します。 UberLLMは、そのモデルに対するすべてのアクティブなオファーを収集します — ゲートウェイ独自の厳選されたルートと、マーケットプレイスに掲載されているセラープールからのオファーの両方です。
- リアルタイム価格でランク付けします。 オファーは現在の価格で並べ替えられます。提示される価格にはUberLLMの手数料は追加されないため、ランキングと請求には同じ数値が使用されます。
- 健全なセラーに絞り込みます。 失敗している、レート制限されている、または健全でないと判断されたセラーはスキップされます。健全性は、実際のトラフィックとバックグラウンドプローブから継続的に追跡されます。
- 十分に速い最も安価なセラーに送信します。 健全なセラーのうち、プロンプトサイズにおける最初のtokenまでの最速測定時間から2x以内のものが保持され、その中で最も安価なものがリクエストを受け取ります。長いプロンプトの場合、最初のセラーの起動が遅いと、2番目に速いセラーにも送信されます。詳細はsmart routing]にあります。
- 出力前のフェイルオーバー。 そのセラーが、tokenがストリーミングされる前にエラーを発生させた場合、リクエストは次に安価な健全なセラーで再試行されます。最終的に結果を返さないリクエストの費用は$0です。
なぜ「健全性」が必須なのか
純粋な「最安値優先」ルーターは、誰よりも安く提供する販売者にあなたを誘導します — 壊れているから安い販売者も含めて。UberLLMのヘルスフィルターは、「最安値」を安全にするものです。ライブボードは各プロバイダーの信頼性を表示し、あなた自身で稼働状況ページ]で確認できます。ルーティングも同じシグナルを使用します。
ご覧いただけるもの
- モデルごとのリアルタイム価格、手数料なし — 価格表。
- 最もトラフィックが多いモデル — ランキング。
- プロバイダーの経時的な信頼性 — 稼働状況。
出品者向け
同じ仕組みは、マーケットプレイスの出品者側にも適用されます。モデルの余剰キャパシティを出品し、健全な状態を保ち、競争力のある価格を設定することで、リクエストがあなたにルーティングされます。出品の仕組みおよび出品者ドキュメントをご覧ください。
続きを読む
よくある質問
UberLLMは、どのプロバイダーが私のリクエストを処理するかをどのように決定しますか？
指定されたモデルの健全でない販売者をフィルタリングし、プロンプトサイズに対して十分な速さを持つ（測定された最速の2x以内）販売者のみを残し、その中で最も安価な販売者にリクエストを送信します。その販売者が出力開始前に失敗した場合、リクエストは別の販売者で再試行されます。
ルーティングにおける「健全」とはどういう意味ですか？
現在正常にサービスを提供している販売者 — エラーを起こしたり、レート制限されたり、健全でないと判断されたりしていない販売者です。健全性は実際のトラフィックとバックグラウンドプローブから追跡され、健全でない販売者はスキップされるため、「最も安価」が「壊れている」を意味することはありません。
選択されたプロバイダーが失敗した場合、課金されますか？
いいえ。出力がストリーミングされる前の失敗は、次の健全な販売者で再試行され、結果を返さないリクエストの費用は$0です。