Một API key cho tất cả các LLM: ngừng quản lý nhiều tài khoản nhà cung cấp

Vấn đề với một khóa cho mỗi nhà cung cấp

Khi bạn triển khai bất kỳ sản phẩm thực tế nào, bạn sẽ có một tài khoản OpenAI, một tài khoản Anthropic, một dự án Google Cloud, một khóa DeepSeek — mỗi thứ đều có hệ thống thanh toán riêng, những đặc thù riêng của SDK, giới hạn tốc độ riêng và sự cố ngừng hoạt động riêng. So sánh hai mô hình có nghĩa là hai lần tích hợp. Chuyển đổi nhà cung cấp có nghĩa là phải viết lại mã.

Một khóa gateway duy nhất loại bỏ tất cả những vấn đề đó. Bạn chỉ cần một khóa tương thích với OpenAI và Anthropic, trỏ base URL của SDK của bạn đến UberLLM, và truy cập mọi mô hình trong danh mục. Mỗi yêu cầu sẽ được định tuyến đến nhà cung cấp ổn định và có giá rẻ nhất cho mô hình bạn yêu cầu, và giá trên bảng giá trực tiếp không có phí UberLLM cộng thêm. Một số dư duy nhất, thanh toán theo mức sử dụng, không phí hàng tháng hay mức tối thiểu.

Một khóa, mọi mô hình

from openai import OpenAI

client = OpenAI(base_url="https://api.uberllm.dev/v1", api_key="ull_your_key_here")

# Same client, same key — the model id is the only thing that changes.
for model in ["openai/gpt-5.1-mini", "anthropic/claude-haiku", "deepseek/deepseek-v4-flash"]:
    r = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "One sentence on why the sky is blue."}],
    )
    print(model, "→", r.choices[0].message.content)

ID mô hình theo định dạng quen thuộc provider/model — tìm chúng tại /models. Các client kiểu Anthropic gọi cùng một host tại /v1/messages; xem tài liệu Anthropic SDK doc.

Một khóa mang lại cho bạn điều gì

• So sánh các mô hình một cách trung thực. Chạy cùng một prompt trên GPT, Claude và một mô hình open-weight với một vòng lặp, không phải ba tích hợp riêng biệt.
• Chuyển đổi mà không cần migration. Thay đổi model id khi một mô hình rẻ hơn hoặc mới hơn thắng thế; không có gì khác thay đổi.
• Một hóa đơn, scoped keys. Duy trì một số dư. Tạo các scoped keys, có thể thu hồi cho mỗi ứng dụng hoặc môi trường — khóa & bảo mật.
• Failover tự động. Nếu một nhà cung cấp gặp sự cố giữa chừng yêu cầu (trước khi có đầu ra), cuộc gọi sẽ được thử lại trên nhà cung cấp khỏe mạnh tiếp theo, và các lỗi sẽ tốn $0.

Đọc thêm

• Câu trả lời ngắn gọn: một API key cho tất cả các LLM
• API endpoint tương thích OpenAI là gì
• Xem những mô hình nào đang bận rộn nhất: xếp hạng mô hình