BaruArahkan agen apa pun ke UberLLM — satu key, semua model, harga resmi atau lebih murah.
UberLLM

Bagaimana routing UberLLM memilih penyedia sehat termurah

Untuk setiap permintaan, UberLLM mencari setiap penjual yang menawarkan model yang Anda sebutkan, mengurutkannya berdasarkan harga live, dan mengirimkan permintaan ke penjual sehat termurah yang cukup cepat untuk ukuran prompt Anda. Jika penjual tersebut gagal sebelum output apa pun di-streaming, permintaan akan dicoba lagi pada penjual sehat termurah berikutnya — sehingga Anda mendapatkan harga terendah yang tersedia tanpa kehilangan keandalan, dan Anda tidak akan pernah ditagih untuk percobaan yang gagal.

Dapatkan API keyLihat harga terkini

Versi satu kalimat

Penjual sehat termurah, diputuskan per permintaan. Kedua kata ini memiliki bobot: termurah, sehingga Anda membayar harga langsung terendah; sehat, sehingga Anda tidak diarahkan ke penjual yang mengalami error atau lambat.

Langkah demi langkah

  1. Menentukan model. ID model yang Anda kirimkan memetakan ke satu model logis (ID lama akan terus mengarah ke pengganti mereka saat ini, sehingga tautan dan kode tidak akan rusak).
  2. Mengumpulkan penjual. UberLLM mengumpulkan setiap penawaran aktif untuk model tersebut — rute kurasi gateway sendiri ditambah penawaran dari kumpulan penjual yang terdaftar di marketplace.
  3. Peringkat berdasarkan harga langsung. Penawaran diurutkan berdasarkan harga saat ini. Harga yang Anda dapatkan tidak ditambahkan biaya UberLLM, sehingga peringkat dan penagihan menggunakan angka yang sama.
  4. Filter ke yang sehat. Penjual yang gagal, mengalami pembatasan laju (rate-limiting), atau terdeteksi tidak sehat akan dilewati. Kesehatan dipantau terus-menerus dari lalu lintas nyata dan pemeriksaan latar belakang.
  5. Kirim ke yang termurah yang cukup cepat. Dari penjual yang sehat, mereka yang berada dalam 2x dari waktu terukur tercepat untuk token pertama pada ukuran prompt Anda akan dipertahankan, dan yang termurah di antaranya akan menerima permintaan. Prompt panjang juga akan dikirim ke penjual cepat kedua jika yang pertama lambat untuk memulai. Detailnya ada di smart routing.
  6. Fail over sebelum output. Jika penjual tersebut mengalami error sebelum ada token yang di-streaming kepada Anda, permintaan akan dicoba ulang pada penjual sehat termurah berikutnya. Permintaan yang pada akhirnya tidak mengembalikan hasil akan dikenakan biaya $0.

Mengapa "sehat" bukan pilihan

Router murni yang mengutamakan harga termurah akan mengarahkan Anda ke penjual mana pun yang harganya paling murah — termasuk penjual yang murah karena rusak. Filter kesehatan UberLLM itulah yang membuat "termurah" menjadi aman: papan langsung menampilkan keandalan setiap penyedia, dan Anda bisa memeriksanya sendiri di halaman uptime. Routing menggunakan sinyal yang sama.

Apa yang bisa Anda lihat

  • Harga langsung per model, tanpa biaya tambahan — papan harga.
  • Model mana yang paling banyak lalu lintasnya — peringkat.
  • Keandalan penyedia seiring waktu — waktu aktif.

Untuk penjual

Mekanisme yang sama adalah sisi penjual dari marketplace: daftarkan kapasitas cadangan untuk sebuah model, jaga agar tetap sehat dan harga kompetitif, dan permintaan akan diarahkan kepada Anda. Lihat cara kerja penjualan dan dokumen penjual.

Baca juga

FAQ

Bagaimana UberLLM memutuskan penyedia mana yang melayani permintaan saya?

Ini menyaring penjual yang tidak sehat dari model yang Anda sebutkan, mempertahankan yang cukup cepat untuk ukuran prompt Anda (dalam 2x dari yang tercepat terukur), dan mengirimkan permintaan ke yang termurah di antara mereka. Jika penjual tersebut gagal sebelum output dimulai, permintaan akan dicoba ulang pada penjual lain.

Apa arti "sehat" dalam routing?

Penjual yang saat ini melayani dengan sukses — tidak mengalami error, rate-limiting, atau terdeteksi tidak sehat. Kesehatan dilacak dari lalu lintas nyata dan probe latar belakang, dan penjual yang tidak sehat dilewati sehingga "termurah" tidak pernah berarti "rusak".

Apakah saya ditagih jika penyedia yang dipilih gagal?

Tidak. Kegagalan sebelum output apa pun di-streaming akan dicoba ulang pada penjual sehat berikutnya, dan permintaan yang tidak mengembalikan hasil berbiaya $0.