LLM API 用語集:token、context window、MTok、routing など
LLM APIを呼び出す際に出てくる用語 — token、context window、price per million tokens (MTok)、routing、OpenAI-compatible、Anthropic-compatible、x402, discount、healthy provider — の、短く平易な英語の用語集です。それぞれの用語がUberLLMを使用する際にどのように適用されるかを解説します。
価格表、ドキュメント、ゲートウェイルーティングで使われる用語を、分かりやすく解説します。各項目では、その用語の意味と、UberLLMを通じてモデルを呼び出す際にそれがどのように適用されるかを説明しています。
Token
LLMが読み書きする単位です。テキストは、モデルが処理する前にトークン(おおよそ単語、または単語の一部に相当します)に分割され、あなたのプロンプト(入力トークン)とモデルの応答(出力トークン)の両方がカウントされます。LLMのAPIはトークンごとに課金されるため、より簡潔なプロンプトと、より少ないmax_tokensは費用を抑えられます。リアルタイムのトークンごとの価格は料金ボード]でご確認ください。
コンテキストウィンドウ
モデルが一度に考慮できるトークンの最大数です。プロンプトと応答がその中に収まる必要があります。より大きなコンテキストウィンドウは、より多くのドキュメントやより長い会話を渡すことを可能にしますが、ウィンドウ内のすべてのトークンは、依然として料金を支払う入力トークンです。各モデルのコンテキスト長は、/models に記載されています。
1Mトークンあたりの料金 (MTok)
LLMの料金表示方法:100万トークンあたりドルで、「/1M」または「per MTok」と表記されます。入力と出力は通常、別々に課金されます (出力の方が通常高価です)。呼び出しのコストを見積もるには、そのtoken数にper-MTokレートを掛け、100万で割ります。UberLLMは提示されたper-MTok価格に追加料金を課しません。したがって、それがお客様がお支払いになる価格です。
ルーティング
特定のリクエストをどのプロバイダーに処理させるかを決めること。UberLLMのようなゲートウェイは、指定されたモデルに対して、リクエストごとに最も安価で健全な販売者に各リクエストをルーティングします — ルーティングの仕組み]をご覧ください。ゲートウェイがない場合、「ルーティング」とは、あなたが1つのプロバイダーをハードコードすることです。
OpenAI-compatible
OpenAI API と同じリクエストを受け入れ、同じレスポンスを返すエンドポイントを説明します。そのため、base URL とキーを変更するだけでOpenAI SDKがそれで動作します。詳細については、OpenAI互換APIエンドポイントとは何かをご覧ください。UberLLMはOpenAI互換です。
Anthropic互換
AnthropicのAPIと同じ考え方です。/v1/messagesのリクエストおよびレスポンス形式に対応したendpointなので、Anthropic SDK(およびClaude Codeのような、それに基づいて構築されたツール)は、base URLとkeyを変更するだけでそれに対して機能します。UberLLMはAnthropic互換の/v1/messages endpointを公開しています — Anthropic SDK doc]。
x402
標準の**HTTP 402 「Payment Required」**ステータスコードを使用してリクエストの支払いを行う、オープンでHTTPネイティブな方法です。サーバーは呼び出しに対して402と支払い詳細で応答し、クライアントは支払い、再試行すると、リクエストが処理されます — アカウントやサブスクリプションは不要です。これは、マシン間およびリクエストごとの課金のために設計されています。
割引
マーケットプレイスでは、モデルのライブ価格が、そのリスト(直接)価格よりどれだけ下回っているかを示します。余剰容量を提供する販売者は、それを公式料金より安く出品します。割引はその差額であり、オファーの変更に応じて変動します。モデルごとのリアルタイムの節約額は、料金ボード]に表示されます。
健全なプロバイダー
現在リクエストを正常に処理しており、エラーを起こさず、レート制限されず、異常を検知されないプロバイダーです。ルーティングは常に健全なプロバイダーにのみあなたを誘導します。これにより、「最も安い」が「壊れている」を意味するのを防ぎます。プロバイダーの信頼性は、稼働状況ページ]で確認できます。