Anthropic SDK

UberLLM cung cấp một Messages API tương thích với Anthropic tại /v1/messages. Hướng SDK chính thức của anthropic đến UberLLM bằng cách thiết lập base URL của nó, và bạn có thể gọi bất kỳ mô hình nào trong danh mục thông qua định dạng wire của Anthropic — không chỉ các mô hình của Anthropic. UberLLM dịch giữa các định dạng của Anthropic và OpenAI trong gateway của riêng nó, bao gồm cả streaming.

• Base URL: https://api.uberllm.dev
• Endpoint: POST /v1/messages
• Auth: khóa ull_ của bạn

Anthropic SDK gửi khóa trong header x-api-key; UberLLM cũng chấp nhận Authorization: Bearer ull_.... Cách nào cũng được.

Python

import os
from anthropic import Anthropic

client = Anthropic(
    base_url="https://api.uberllm.dev",
    api_key=os.environ["UBERLLM_API_KEY"],
)

msg = client.messages.create(
    model="deepseek/deepseek-v4-flash",
    max_tokens=256,
    messages=[{"role": "user", "content": "Say hello in one sentence."}],
)
print(msg.content[0].text)

Streaming

with client.messages.stream(
    model="deepseek/deepseek-v4-flash",
    max_tokens=256,
    messages=[{"role": "user", "content": "Count to five."}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

TypeScript / JavaScript

import Anthropic from "@anthropic-ai/sdk";

const client = new Anthropic({
  baseURL: "https://api.uberllm.dev",
  apiKey: process.env.UBERLLM_API_KEY,
});

const msg = await client.messages.create({
  model: "deepseek/deepseek-v4-flash",
  max_tokens: 256,
  messages: [{ role: "user", content: "Say hello in one sentence." }],
});
console.log(msg.content[0].type === "text" ? msg.content[0].text : "");

curl

curl -N https://api.uberllm.dev/v1/messages \
  -H "x-api-key: $UBERLLM_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek/deepseek-v4-flash",
    "max_tokens": 256,
    "stream": true,
    "messages": [{"role": "user", "content": "Say hello."}]
  }'

Lưu ý

• max_tokens được yêu cầu bởi Anthropic Messages API — hãy thêm vào.
• Các mô hình chỉ "suy nghĩ" khi bạn yêu cầu, như trên API của Anthropic: gửi "thinking": {"type": "enabled", "budget_tokens": 2000} (hoặc "adaptive"). Nếu không có nó, các mô hình suy luận như DeepSeek trả lời trực tiếp, nhanh hơn, và một lượng nhỏ max_tokens sẽ không bao giờ bị tiêu tốn cho việc suy nghĩ. Một vài mô hình không thể tắt chức năng suy nghĩ; chúng vẫn suy nghĩ dù sao đi nữa.
• Lời nhắc hệ thống sử dụng trường system cấp cao nhất, như trong API gốc của Anthropic; UberLLM ánh xạ nó tới mô hình mục tiêu một cách chính xác.
• Các mô hình của Anthropic được tính phí như bất kỳ mô hình nào khác: những gì nhà cung cấp đã tính phí, mà không có phí UberLLM bổ sung. Xem Giá cả.
• Nếu framework của bạn chỉ tương thích với OpenAI, hãy sử dụng OpenAI SDK thay thế. Cả hai giao diện đều truy cập cùng các mô hình và sử dụng cùng một cách tính phí.