Glossario API LLM: token, finestra di contesto, MTok, routing e altro
Un breve glossario in linguaggio semplice dei termini che emergono quando chiami un'API LLM — token, context window, prezzo per milione di token (MTok), routing, OpenAI-compatible, Anthropic-compatible, sconto x402, e provider sano — e come ciascuno si applica quando usi UberLLM.
Un riferimento chiaro e diretto per i termini che appaiono sui listini prezzi, nella documentazione e nel routing del gateway. Ogni voce spiega cosa significa il termine e come si applica quando chiami i modelli tramite UberLLM.
Token
L'unità che un LLM legge e scrive. Il testo viene suddiviso in token — all'incirca una parola o una parte di parola — prima che il modello lo elabori, e sia il tuo prompt (input tokens) che la risposta del modello (output tokens) vengono contati. Le API degli LLM fatturano per token, ed è per questo che un prompt più conciso e un max_tokens più piccolo costano meno. Vedi i prezzi dei token in tempo reale sul listino prezzi.
Finestra di contesto
Il numero massimo di token che un modello può considerare contemporaneamente — il tuo prompt più la risposta devono rientrarci. Una finestra di contesto più ampia ti permette di passare più documenti o una conversazione più lunga, ma ogni token nella finestra è comunque un token di input che paghi. La lunghezza del contesto di ogni modello è elencata su /models.
$/1M tokens (MTok)
Come vengono quotati i prezzi degli LLM: dollari per un milione di tokens, scritto "/1M" o "per MTok". Input e output sono solitamente prezzati separatamente (l'output è tipicamente più costoso). Per stimare il costo di una chiamata, moltiplica il suo conteggio di tokens per la tariffa per MTok e dividi per un milione. UberLLM non aggiunge alcuna commissione al prezzo per MTok quotato, quindi è il prezzo che paghi.
Routing
Scegliere quale provider gestisce una data richiesta. Un gateway come UberLLM instrada ogni richiesta al venditore più economico e funzionante per il modello che hai specificato, decidendo di volta in volta per ogni richiesta — vedi come funziona il routing. Senza un gateway, il "routing" significa che sei tu a fare l'hard-coding di un provider.
Compatibile con OpenAI
Descrive un endpoint che accetta le stesse richieste e restituisce le stesse risposte dell'API di OpenAI, in modo che l'SDK di OpenAI funzioni con esso cambiando solo il base URL e la key — spiegazione completa in cos'è un endpoint API compatibile con OpenAI. UberLLM è compatibile con OpenAI.
Compatibile con Anthropic
La stessa idea per l'API di Anthropic: un endpoint che parla il formato di richiesta e risposta /v1/messages, così l'SDK di Anthropic (e gli strumenti basati su di esso, come Claude Code) funzionano con esso cambiando l'URL di base e la chiave. UberLLM espone un endpoint /v1/messages compatibile con Anthropic — documentazione SDK di Anthropic.
x402
Un modo aperto e nativo HTTP per pagare una richiesta utilizzando il codice di stato standard HTTP 402 "Payment Required": il server risponde a una chiamata con un 402 e i dettagli di pagamento, il client paga e riprova, e la richiesta viene servita — nessun account o abbonamento necessario. È progettato per la fatturazione da macchina a macchina e a consumo per richiesta.
Sconto
Su un marketplace, quanto il prezzo in tempo reale di un modello si trova al di sotto del suo prezzo di listino (diretto). Un venditore che offre capacità in eccesso lo elenca al di sotto della tariffa ufficiale; lo sconto è quel divario, e si muove al variare delle offerte. Il risparmio in tempo reale per modello è mostrato sulla scheda prezzi.
Fornitore sano
Un fornitore che sta attualmente servendo le richieste con successo — senza errori, senza limitazioni di frequenza, non segnalando problemi di salute. Il routing ti invia sempre e solo a un fornitore sano, il che impedisce che "il più economico" significhi "rotto". Puoi verificare l'affidabilità del fornitore sulla pagina di uptime.