Thuật ngữ API LLM: token, context window, MTok, routing và hơn thế nữa
Bảng thuật ngữ ngắn gọn, dễ hiểu về các thuật ngữ thường gặp khi bạn gọi API LLM — token, context window, giá mỗi triệu token (MTok), routing, OpenAI-compatible, Anthropic-compatible, x402, discount và healthy provider — cùng với cách mỗi thuật ngữ áp dụng khi bạn sử dụng UberLLM.
Một tài liệu tham khảo dễ hiểu cho các thuật ngữ xuất hiện trên bảng giá, trong tài liệu và trong định tuyến cổng. Mỗi mục giải thích ý nghĩa của thuật ngữ và cách nó được áp dụng khi bạn gọi các mô hình thông qua UberLLM.
Token
Đơn vị mà một LLM đọc và viết. Văn bản được chia thành các token — gần đúng là một từ hoặc một phần của từ — trước khi mô hình xử lý nó, và cả lời nhắc của bạn (input tokens) lẫn phản hồi của mô hình (output tokens) đều được tính. Các API của LLM tính phí theo token, đó là lý do tại sao một lời nhắc ngắn gọn hơn và một max_tokens nhỏ hơn có chi phí thấp hơn. Xem giá theo token trực tiếp trên bảng giá.
Cửa sổ ngữ cảnh
Số lượng token tối đa mà một mô hình có thể xem xét cùng lúc — lời nhắc của bạn cộng với phản hồi phải nằm gọn trong đó. Cửa sổ ngữ cảnh lớn hơn cho phép bạn truyền nhiều tài liệu hơn hoặc một cuộc trò chuyện dài hơn, nhưng mỗi token trong cửa sổ vẫn là một token đầu vào mà bạn phải trả tiền. Độ dài ngữ cảnh của mỗi mô hình được liệt kê tại /models.
$/1M token (MTok)
Cách báo giá LLM: đô la trên một triệu token, được viết là "/1M" hoặc "per MTok". Đầu vào và đầu ra thường được tính giá riêng (đầu ra thường đắt hơn). Để ước tính chi phí của một cuộc gọi, nhân số lượng token của nó với tỷ lệ per-MTok và chia cho một triệu. UberLLM không thêm bất kỳ khoản phí nào vào giá per-MTok đã niêm yết, vì vậy đó là mức giá bạn phải trả.
Định tuyến
Chọn nhà cung cấp nào phục vụ một yêu cầu cụ thể. Một gateway như UberLLM định tuyến mỗi yêu cầu đến người bán khỏe mạnh rẻ nhất cho mô hình bạn đã chỉ định, theo từng yêu cầu — xem cách định tuyến hoạt động. Nếu không có gateway, "định tuyến" là bạn tự mã hóa cứng một nhà cung cấp.
Tương thích OpenAI
Mô tả một endpoint chấp nhận các yêu cầu tương tự và trả về các phản hồi tương tự như OpenAI API, nên OpenAI SDK có thể sử dụng được với nó chỉ bằng cách thay đổi base URL và key — giải thích đầy đủ tại API endpoint tương thích OpenAI là gì. UberLLM tương thích OpenAI.
Tương thích với Anthropic
Ý tưởng tương tự cho API của Anthropic: một endpoint hiểu định dạng yêu cầu và phản hồi /v1/messages, để Anthropic SDK (và các công cụ được xây dựng trên đó, như Claude Code) có thể hoạt động với nó bằng cách thay đổi base URL và key. UberLLM cung cấp một endpoint tương thích với Anthropic /v1/messages — Tài liệu SDK của Anthropic.
Thanh toán 402
Một cách mở, bản địa HTTP để thanh toán cho một yêu cầu sử dụng mã trạng thái tiêu chuẩn HTTP 402 "Payment Required": máy chủ phản hồi một cuộc gọi bằng một 402 và chi tiết thanh toán, máy khách thanh toán và thử lại, và yêu cầu được phục vụ — không cần tài khoản hay đăng ký. Nó được thiết kế cho machine-to-machine và pay-per-request billing.
Giảm giá
Trên một thị trường, mức giá trực tiếp của một mô hình thấp hơn bao nhiêu so với giá niêm yết (trực tiếp) của nó. Một người bán có dung lượng dự phòng niêm yết nó dưới mức giá chính thức; khoản giảm giá chính là khoảng cách đó, và nó thay đổi khi các ưu đãi thay đổi. Mức tiết kiệm trực tiếp cho mỗi mô hình được hiển thị trên bảng giá.
Nhà cung cấp khỏe mạnh
Một nhà cung cấp hiện đang xử lý các yêu cầu thành công — không gặp lỗi, không bị giới hạn tốc độ, không có dấu hiệu không khỏe mạnh. Định tuyến chỉ luôn gửi bạn đến một nhà cung cấp khỏe mạnh, điều này giúp "rẻ nhất" không đồng nghĩa với "hỏng hóc". Bạn có thể kiểm tra độ tin cậy của nhà cung cấp trên trang thời gian hoạt động.