Apa itu token dalam API LLM?

Sebuah token adalah unit yang dibaca dan ditulis oleh model — kira-kira sebuah kata atau bagian kata. Baik prompt Anda (input tokens) maupun balasan (output tokens) dihitung, dan LLM APIs menagih per token.

Apa arti $/1M tokens (MTok)?

Beginilah cara harga LLM dikutip: dolar per satu juta token, dengan input dan output biasanya dihargai secara terpisah. UberLLM tidak menambahkan biaya apa pun pada harga per-MTok yang dikutip.

Apa itu healthy provider?

Penjual yang saat ini berhasil melayani permintaan — tidak mengalami error, rate-limiting, atau terdeteksi tidak sehat. UberLLM hanya mengarahkan ke penyedia yang sehat, jadi harga termurah tidak pernah berasal dari penjual yang rusak.

Glosarium API LLM: token, context window, MTok, routing, dan lainnya

Glosarium singkat, mudah dipahami mengenai istilah-istilah yang muncul saat Anda memanggil API LLM — token, context window, price per million tokens (MTok), routing, OpenAI-compatible, Anthropic-compatible, x402, discount, dan healthy provider — beserta bagaimana setiap istilah berlaku saat Anda menggunakan UberLLM.

Diterbitkan 24 Okt 2026Diperbarui 24 Okt 2026

Dapatkan API key Lihat harga terkini

Panduan sederhana untuk istilah-istilah yang muncul di papan harga, dalam dokumen, dan dalam perutean gateway. Setiap entri menjelaskan arti istilah tersebut dan bagaimana penerapannya saat Anda memanggil model melalui UberLLM.

Token

Satuan yang dibaca dan ditulis oleh LLM. Teks dipecah menjadi token — kira-kira satu kata atau bagian dari kata — sebelum model memprosesnya, dan baik prompt Anda (input tokens) maupun balasan model (output tokens) dihitung. API LLM mengenakan biaya per token, sehingga prompt yang lebih ringkas dan max_tokens yang lebih kecil biayanya lebih rendah. Lihat harga per token secara langsung di papan harga.

Jendela Konteks

Jumlah token maksimum yang dapat dipertimbangkan model sekaligus — prompt Anda ditambah balasan harus muat di dalamnya. Jendela konteks yang lebih besar memungkinkan Anda meneruskan lebih banyak dokumen atau percakapan yang lebih panjang, tetapi setiap token dalam jendela tetap merupakan token input yang Anda bayar. Panjang konteks setiap model tercantum di .

$/1M token (MTok)

Cara harga LLM dikutip: dolar per satu juta token, ditulis "/1M" atau "per MTok". Input dan output biasanya dihargai terpisah (output biasanya lebih mahal). Untuk memperkirakan biaya panggilan, kalikan jumlah tokennya dengan tarif per-MTok dan bagi dengan satu juta. UberLLM tidak menambahkan biaya apa pun pada harga per-MTok yang dikutip, jadi itulah harga yang Anda bayar.

Routing

Memilih penyedia mana yang melayani permintaan tertentu. Sebuah gateway seperti UberLLM mengarahkan setiap permintaan ke penjual sehat termurah untuk model yang Anda sebutkan, per permintaan — lihat cara kerja routing. Tanpa gateway, "routing" adalah Anda meng-hard-code satu penyedia.

Kompatibel dengan OpenAI

Menjelaskan sebuah endpoint yang menerima permintaan yang sama dan mengembalikan respons yang sama dengan OpenAI API, sehingga OpenAI SDK dapat bekerja melawannya hanya dengan mengubah base URL dan key — penjelasan lengkap di apa itu endpoint API yang kompatibel dengan OpenAI. UberLLM kompatibel dengan OpenAI.

Kompatibel dengan Anthropic

Ide yang sama untuk API Anthropic: sebuah endpoint yang menggunakan format permintaan dan respons /v1/messages, sehingga Anthropic SDK (dan alat yang dibangun di atasnya, seperti Claude Code) dapat bekerja melawannya dengan mengubah base URL dan key. UberLLM menyediakan endpoint /v1/messages yang kompatibel dengan Anthropic — dokumen SDK Anthropic.

x402

Cara yang terbuka, HTTP-native untuk membayar permintaan menggunakan kode status standar HTTP 402 "Payment Required": server menjawab panggilan dengan 402 dan detail pembayaran, klien membayar dan mencoba lagi, dan permintaan dilayani — tidak perlu akun atau langganan. Ini dirancang untuk penagihan machine-to-machine dan pay-per-request.

Diskon

Di sebuah marketplace, seberapa jauh harga langsung sebuah model berada di bawah harga daftar (langsung) resminya. Penjual yang menawarkan kapasitas cadangan mencantumkannya di bawah tarif resmi; diskon adalah selisih tersebut, dan itu bergerak seiring perubahan penawaran. Penghematan langsung per model ditampilkan di papan harga.

Penyedia Sehat

Penyedia yang saat ini melayani permintaan dengan sukses — tidak mengalami kesalahan, tidak terkena batasan laju, tidak menunjukkan tanda-tanda tidak sehat. Perutean selalu hanya mengirim Anda ke penyedia yang sehat, inilah yang mencegah "termurah" berarti "rusak". Anda dapat memeriksa keandalan penyedia di halaman uptime.