각 요청마다 UberLLM은 고객님이 지정한 모델을 제공하는 모든 판매자를 조회하고, 실시간 가격으로 순위를 매긴 다음, 고객님의 프롬프트 크기에 충분히 빠른 가장 저렴하고 '건강한' 판매자에게 요청을 보냅니다. 만약 해당 판매자가 어떤 출력도 스트리밍하기 전에 실패하면, 요청은 다음으로 저렴하고 '건강한' 판매자에게 재시도됩니다 — 따라서 신뢰성을 잃지 않으면서 가장 저렴한 가격을 얻을 수 있으며, 실패한 시도에 대해서는 절대 요금이 청구되지 않습니다.
요청에 따라 결정되는 가장 저렴하고 건강한 판매자. 두 단어 모두 중요합니다: '가장 저렴한'은 가장 낮은 실시간 가격을 지불한다는 의미이며, '건강한'은 오류가 있거나 느린 판매자로 연결되지 않도록 한다는 의미입니다.
단계별 안내
모델 확인. 전송하시는 model ID는 하나의 논리적 모델에 매핑됩니다 (오래된 ID는 현재 대체 모델로 계속 확인되므로, 링크와 코드가 손상되지 않습니다).
판매자 취합. UberLLM은 해당 모델에 대한 모든 활성 제안을 수집합니다 — 게이트웨이 자체의 엄선된 경로와 마켓플레이스에 등록된 모든 판매자 풀 제안을 포함합니다.
실시간 가격으로 순위 지정. 제안은 현재 가격에 따라 정렬됩니다. 고객님께 제시되는 가격에는 UberLLM 수수료가 추가되지 않으므로, 순위 지정과 청구에 동일한 숫자가 사용됩니다.
정상 상태로 필터링. 실패하거나, 속도 제한에 걸리거나, 비정상으로 감지되는 판매자는 건너뜁니다. 정상 상태는 실제 트래픽과 백그라운드 프로브를 통해 지속적으로 추적됩니다.
충분히 빠른 가장 저렴한 판매자에게 전송. 정상 판매자 중, 고객님의 프롬프트 크기에서 첫 번째 token까지 측정된 가장 빠른 시간의 2x 이내에 있는 판매자가 유지되며, 이들 중 가장 저렴한 판매자가 요청을 받습니다. 긴 프롬프트는 첫 번째 판매자가 시작이 느릴 경우 두 번째 빠른 판매자에게도 전송됩니다. 자세한 내용은 스마트 라우팅에서 확인하세요.
출력 전 페일오버. 해당 판매자가 고객님께 어떤 token도 스트리밍하기 전에 오류가 발생하면, 요청은 다음으로 저렴한 정상 판매자에게 재시도됩니다. 결과적으로 아무것도 반환하지 않는 요청은 $0의 비용이 발생합니다.
"건강함"이 선택 사항이 아닌 이유
순수한 최저가 우선 라우터는 모두보다 가격이 저렴한 판매자에게 당신을 보냅니다 — 고장 났기 때문에 저렴한 판매자를 포함해서요. UberLLM의 헬스 필터는 "최저가"를 안전하게 만듭니다: 라이브 보드는 각 제공업체의 신뢰성을 보여주며, 당신은 가동 시간 페이지]에서 직접 확인할 수 있습니다. 라우팅은 동일한 신호를 사용합니다.
사용자가 지정한 모델의 비정상적인 판매자를 필터링하고, 프롬프트 크기에 충분히 빠른 판매자(측정된 가장 빠른 속도에서 2x 이내)를 유지하며, 그들 중 가장 저렴한 판매자에게 요청을 보냅니다. 만약 해당 판매자가 출력을 시작하기 전에 실패하면, 요청은 다른 판매자에게 재시도됩니다.
라우팅에서 "healthy"는 무엇을 의미하나요?
오류가 발생하거나, 속도 제한에 걸리거나, 비정상으로 감지되지 않고 현재 성공적으로 서비스를 제공하는 판매자입니다. 판매자의 상태는 실제 트래픽과 백그라운드 프로브를 통해 추적되며, 비정상적인 판매자는 건너뛰어지므로 '가장 저렴한'이 '고장 난'을 의미하지 않습니다.
선택된 제공자가 실패하면 요금이 청구되나요?
아니요. 어떤 출력도 스트리밍되기 전에 발생한 실패는 다음 정상 판매자에게 재시도되며, 결과가 없는 요청은 $0의 비용이 듭니다.