Cách định tuyến của UberLLM chọn nhà cung cấp khỏe mạnh rẻ nhất

Phiên bản một câu

Nhà cung cấp khỏe mạnh rẻ nhất, được quyết định theo yêu cầu. Cả hai từ đều có trọng lượng: rẻ nhất, để bạn trả mức giá thấp nhất tại thời điểm đó; khỏe mạnh, để bạn không bị chuyển hướng đến một nhà cung cấp đang gặp lỗi hoặc chậm.

Từng bước một

1. Xác định mô hình. ID model bạn gửi sẽ ánh xạ tới một mô hình logic (các ID cũ vẫn sẽ ánh xạ tới phiên bản thay thế hiện tại của chúng, để các liên kết và mã không bị lỗi thời).
2. Thu thập người bán. UberLLM tập hợp mọi ưu đãi đang hoạt động cho mô hình đó — tuyến đường được quản lý riêng của cổng kết nối cộng với bất kỳ ưu đãi nào từ nhóm người bán được liệt kê trên thị trường.
3. Xếp hạng theo giá trực tiếp. Các ưu đãi được sắp xếp theo giá hiện tại của chúng. Giá bạn được báo không có phí UberLLM bổ sung, vì vậy việc xếp hạng và thanh toán sử dụng cùng một con số.
4. Lọc để chọn người bán khỏe mạnh. Những người bán đang gặp lỗi, bị giới hạn tốc độ (rate-limiting) hoặc được thăm dò là không khỏe mạnh sẽ bị bỏ qua. Tình trạng khỏe mạnh được theo dõi liên tục từ lưu lượng truy cập thực và các thăm dò nền.
5. Gửi đến người bán rẻ nhất và đủ nhanh. Trong số những người bán khỏe mạnh, những người có thời gian đo được để nhận token đầu tiên (time to first token) ở kích thước prompt của bạn nằm trong phạm vi 2x so với người nhanh nhất sẽ được giữ lại, và người rẻ nhất trong số đó sẽ nhận yêu cầu. Các prompt dài cũng sẽ được gửi đến người bán nhanh thứ hai nếu người bán đầu tiên khởi động chậm. Chi tiết có trong định tuyến thông minh.
6. Chuyển đổi dự phòng trước khi xuất kết quả. Nếu người bán đó gặp lỗi trước khi bất kỳ token nào được streaming đến bạn, yêu cầu sẽ được thử lại trên người bán khỏe mạnh và rẻ nhất tiếp theo. Một yêu cầu cuối cùng không trả về kết quả nào sẽ có chi phí $0.

Tại sao "khỏe mạnh" không thể thiếu

Một bộ định tuyến chỉ ưu tiên giá rẻ nhất sẽ gửi bạn đến bất kỳ nhà cung cấp nào đưa ra giá thấp hơn tất cả — bao gồm cả một nhà cung cấp rẻ vì nó bị hỏng. Bộ lọc tình trạng của UberLLM là thứ giúp "giá rẻ nhất" trở nên an toàn: bảng thông tin trực tiếp hiển thị độ tin cậy của từng nhà cung cấp, và bạn có thể tự kiểm tra nó trên trang thời gian hoạt động. Định tuyến sử dụng cùng một tín hiệu.

Những gì bạn có thể thấy

• Giá trực tiếp cho mỗi mô hình, không thêm phí — bảng giá.
• Mô hình nào được truy cập nhiều nhất — xếp hạng.
• Độ tin cậy của nhà cung cấp theo thời gian — thời gian hoạt động.

Dành cho người bán

Cơ chế này cũng là phía người bán của thị trường: liệt kê dung lượng dự phòng cho một mô hình, duy trì hoạt động ổn định và giá cả cạnh tranh, và các yêu cầu sẽ được định tuyến đến bạn. Tìm hiểu cách thức bán hàng và tài liệu dành cho người bán.

Đọc tiếp

• Định tuyến thông minh: nhà cung cấp rẻ nhất mà đủ nhanh
• LLM gateway là gì?
• API Claude rẻ nhất · API GPT rẻ nhất
• Bảng chú giải thuật ngữ LLM API