LangChain

ChatOpenAI của LangChain (từ langchain-openai) trỏ đến UberLLM với base_url và api_key. Mọi thứ khác — chains, agents, tools, streaming — hoạt động không thay đổi.

Cài đặt

pip install langchain langchain-openai

Python

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="deepseek/deepseek-v4-flash",
    base_url="https://api.uberllm.dev/v1",
    api_key=os.environ["UBERLLM_API_KEY"],
)

print(llm.invoke("Say hello in one sentence.").content)

base_url ưu tiên hơn các biến môi trường OPENAI_API_BASE / OPENAI_BASE_URL, vì vậy một kwarg tường minh là đáng tin cậy nhất.

Streaming

for chunk in llm.stream("Count to five."):
    print(chunk.content, end="", flush=True)

Công cụ / tác nhân

Bởi vì ChatOpenAI sử dụng định dạng gọi công cụ của OpenAI, bind_tools và các trình thực thi tác nhân hoạt động nguyên trạng với bất kỳ mô hình UberLLM nào có khả năng sử dụng công cụ:

from langchain_core.tools import tool

@tool
def get_weather(city: str) -> str:
    "Return the weather for a city."
    return f"Sunny in {city}."

agent_llm = llm.bind_tools([get_weather])
print(agent_llm.invoke("What's the weather in Paris?").tool_calls)

JavaScript / TypeScript

import { ChatOpenAI } from "@langchain/openai";

const llm = new ChatOpenAI({
  model: "deepseek/deepseek-v4-flash",
  apiKey: process.env.UBERLLM_API_KEY,
  configuration: { baseURL: "https://api.uberllm.dev/v1" },
});

const res = await llm.invoke("Say hello in one sentence.");
console.log(res.content);

Lưu ý

• Mỗi yêu cầu được gửi đến một nhà cung cấp bên thứ ba có sẵn cho mô hình (Mô hình & định tuyến).
• Mỗi yêu cầu được tính phí theo mức nhà cung cấp đã tính, không có phí UberLLM nào (Giá cả).