Was ist ein OpenAI-kompatibler API endpoint?

Die kurze Definition

Ein endpoint ist "OpenAI-kompatibel", wenn er dieselben HTTP requests akzeptiert und dieselben response shapes wie die OpenAI API zurückgibt. In der Praxis bedeutet das:

• der POST /v1/chat/completions request body (model, messages, temperature, tools, stream, …) wird unverändert akzeptiert;
• die response ist dasselbe choices[].message object, mit denselben usage token counts;
• streaming verwendet dieselben server-sent-events data: chunks, die mit [DONE] enden;
• tool / function calling verwendet dieselben tool_calls fields.

Da der Vertrag übereinstimmt, funktioniert das offizielle OpenAI SDK — in Python, JavaScript oder jeder anderen Sprache — mit dem endpoint, wenn Sie nur die base URL und den API key ändern. Ihr Anwendungscode kennt den Unterschied nicht.

Warum es wichtig ist

Die OpenAI-Kompatibilität hat die API eines Anbieters zu einem De-facto-Standard gemacht. Ein kompatibler Endpoint ermöglicht es Ihnen, das SDK, das Tooling und die Framework-Integrationen, die Sie bereits verwenden (LangChain, das Vercel AI SDK, LlamaIndex, Dutzende von Agent-Frameworks), beizubehalten, während Sie ändern, was dahintersteckt.

Das ist die gesamte Migration zu UberLLM:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uberllm.dev/v1",   # the only line that changes
    api_key="ull_your_key_here",
)

resp = client.chat.completions.create(
    model="deepseek/deepseek-v4-flash",
    messages=[{"role": "user", "content": "Hello!"}],
    stream=True,
)

Die vollständige Liste der unterstützten Parameter finden Sie in der OpenAI SDK-Dokumentation.

Kompatibel vs. ein echter Drop-in

„Kompatibel“ ist ein Spektrum. Achten Sie auf endpoints, die die Anforderungsform akzeptieren, aber streaming weglassen, tool calls ignorieren oder nicht-standardmäßige usage zurückgeben. UberLLM implementiert den chat-completions Vertrag einschließlich streaming, tool calls und token usage und bietet zusätzlich einen Anthropic-kompatiblen endpoint unter /v1/messages, sodass Anthropic SDKs und Claude Code ebenfalls unverändert funktionieren — Anthropic SDK doc.

Was UberLLM hinter dem Standard-endpoint hinzufügt

Der endpoint ist Standard; das routing dahinter ist es jedoch nicht. Jede Anfrage wird an den günstigsten funktionierenden Anbieter für das von Ihnen genannte Modell gesendet, Fehler vor der Ausgabe werden beim nächsten Anbieter erneut versucht, und der Preis, den Sie sehen (keine zusätzliche Gebühr), ist der Preis, den Sie zahlen. Modelle finden Sie unter /models und Live-Preise unter /llm-api-pricing.

Weiterlesen

• Die kurze Antwort: eine OpenAI-kompatible API für jedes Modell
• Ein API-Schlüssel für alle LLMs
• LLM API Glossar