UberLLM 路由如何选择最便宜且健康的提供商
对于每个请求，UberLLM 会查找所有提供您指定模型的卖家，根据实时价格对其进行排名，并将请求发送给最便宜且健康的卖家，该卖家需足够快以满足您的提示词大小。如果该卖家在任何 output 开始 streaming 之前失败，请求将会在下一个最便宜且健康的卖家上重试 — 这样您就能以最低的价格获得服务，同时不损失可靠性，并且您绝不会为失败的尝试付费。
·
一句话版本
最便宜的健康卖家，按请求决定。这两个词都至关重要：最便宜，因此您支付最低的实时价格；健康，因此您不会被路由到正在出错或速度缓慢的卖家。
逐步说明
- 解析模型。 您发送的
model ID 映射到一个逻辑模型（旧的 ID 会持续解析到其当前的替代品，因此链接和代码不会失效）。
- 汇集卖家。 UberLLM 会收集该模型的每个活跃报价——网关自身精选的路由，以及市场上列出的任何卖家池报价。
- 按实时价格排序。 报价按其当前价格排序。您获得的报价不包含 UberLLM 费用，因此排名和计费使用相同的数字。
- 筛选健康卖家。 正在失败、受速率限制或探测不健康的卖家会被跳过。健康状况通过真实流量和后台探测持续跟踪。
- 发送给足够快的、最便宜的卖家。 在健康的卖家中，那些在您的提示大小下，首次 token 响应时间在最快测量时间的 2x 范围内的会被保留，其中最便宜的卖家将获得请求。如果第一个卖家启动缓慢，长提示也会发送给第二个快速卖家。详细信息请参见 智能路由。
- 在输出前故障转移。 如果该卖家在任何 token 流式传输给您之前出错，请求将在下一个最便宜的健康卖家上重试。最终未返回结果的请求费用为 $0。
为什么“健康”不可或缺
一个纯粹的“最低价优先”路由器会将你发送到任何一个价格低于所有其他卖家的卖家 — 包括那些因为故障而便宜的卖家。UberLLM 的健康筛选器是让“最低价”变得安全的关键：实时面板会显示每个提供商的可靠性，你可以在正常运行时间页面]上自行查看。路由使用相同的信号。
您可以看到什么
- 每个模型的实时价格，不收取额外费用 — 价格表。
- 哪些模型流量最大 — 排名。
- 提供商的长期可靠性 — 正常运行时间。
针对卖家
同样的机制也是市场中的卖家端：列出模型的闲置容量，保持良好状态并具有竞争力价格，请求就会路由到你。请参阅 销售工作原理 以及 卖家文档。
继续阅读
常见问题
UberLLM 如何决定由哪个提供商来处理我的请求？
它会过滤掉您指定模型中不健康的卖家，保留那些速度足以满足您的 prompt 大小（在测量的最快速度的 2x 范围内）的卖家，并将请求发送给其中最便宜的。如果该卖家在输出开始前失败，请求将会在另一个卖家上重试。
“健康”在路由中是什么意思？
一个当前正在成功提供服务的卖家——没有报错、没有限速、也没有被探测为不健康。健康状况通过真实流量和后台探测进行跟踪，不健康的卖家会被跳过，因此“最便宜”绝不意味着“损坏”。
如果选定的提供商失败了，我会被收费吗？
不会。在任何输出 streaming 之前发生的失败会在下一个健康的卖家上重试，并且一个没有返回结果的请求费用为 $0。