UberLLM이 잘못된 모델을 등록하는 판매자를 어떻게 적발하는지
싼 가격은 지불한 모델을 제대로 받을 때만 가치가 있습니다. UberLLM에서는 판매자의 제안이 다음 네 가지 방식으로 확인됩니다: 모델이 등록될 때 일치해야 하며, 어떤 구매자에게도 도달하기 전에 저희 테스트를 통과해야 하고, 저희 팀원이 승인해야 하며, 실시간 요청에서도 계속 테스트됩니다. 실패한 제안은 즉시 중단됩니다. 다른 모델을 제공하다 적발된 판매자는 차단되고, 해당 판매자에게 서비스를 받은 구매자들은 미지급 수익에서 환불됩니다.
이것이 중요한 이유
UberLLM은 마켓플레이스입니다. 판매자는 모델의 여유 용량을 등록하고, 귀하의 요청은 가장 저렴하고 건강한 판매자에게 전달됩니다. 이는 Claude 또는 DeepSeek V4를 등록한 판매자가 올바른 이름 뒤에 숨겨진 더 저렴한 모델이 아닌, 실제로 Claude 또는 DeepSeek V4,를 제공할 때만 제대로 작동합니다. 그래서 저희는 모든 제안을 항상 확인합니다.
오늘 아침에 잡은 진짜 사례
2026년 11월 11일에 한 판매자가 DeepSeek V4 Flash를 등록했습니다. 저희 테스트가 그것이 무엇인지 묻자, 그것은 "저는 OpenAI가 개발한 ChatGPT입니다."라고 답했습니다. 해당 제안은 실패하는 순간, 11월 12일 02:38 UTC에 중단되었습니다. 아직 승인되지 않은 상태였으므로, 어떤 구매자도 접근할 수 없었습니다.
네 가지 확인 사항
1. 등록 시: 모델이 일치해야 합니다
- 판매자는 OpenRouter, Groq, Together AI, Fireworks AI 또는 Amazon Bedrock과 같이 당사 목록에 있는 제공업체를 통해서만 자체 API key로 등록할 수 있습니다. 모델은 판매자가 아닌 제공업체가 실행합니다. 판매자 자체 서버는 등록할 수 없습니다.
- 모델에 대한 제공업체의 이름은 해당 제공업체 자체 모델 목록에 있어야 하며, 등록된 모델과 동일한 모델이어야 합니다. 판매자는 Claude를 등록하고 더 저렴한 모델을 가리킬 수 없습니다.
- 첫 번째 테스트 요청에 응답하지 않는 제안은 절대 등록되지 않습니다.
2. 구매자에게 공개 전: 진입 테스트
모든 새로운 제안은 일반적인 사용과 유사한 테스트를 거칩니다. 우리는 반환되는 내용을 동일한 모델의 신뢰할 수 있는 복사본과 비교합니다.
- token 계산 방식. 각 모델 제품군은 텍스트를 고유한 방식으로 계산하므로, 다른 제품군의 모델은 드러나게 됩니다.
- 자신이 누구라고 말하는지. 무엇인지 물었을 때, 가짜는 위 예시처럼 종종 실제 제작자의 이름을 밝힙니다.
- 정답이 하나인 질문. 더 작은 모델은 이러한 질문에서 더 많은 오답을 냅니다.
- 실제 모델과 나란히 비교했을 때 작성 방식.
- 추가된 내용 없음. 요청에 추가된 숨겨진 지침도 드러납니다.
그런 다음 실제 요청의 복사본으로 시험을 거치고(이미 확인된 제안에서 답변을 받습니다), 소량의 트래픽에 대한 시범 운영이 진행됩니다.
3. 담당자가 승인합니다
저희 팀의 담당자가 모든 제안을 검토합니다. 해당 검토가 완료되기 전에는 어떤 구매자도 제안에 접근할 수 없습니다. 새로운 key, 제공업체 또는 모델은 새로운 제안으로 간주되며 1단계부터 다시 시작됩니다.
4. 실시간 요청 시: 확인은 멈추지 않습니다
- 모든 응답에 명시된 모델은 등록된 모델과 비교됩니다.
- 제안이 등록되어 있는 동안 테스트 요청은 계속 들어오며, 귀하의 요청과 동일한 경로를 거칩니다.
- 구매자에게 전송된 응답은 다른 모델의 징후에 대해 점수가 매겨집니다. 높은 점수는 해당 제안을 저희 팀으로 보냅니다.
- 제공업체가 key가 더 이상 작동하지 않는다고 말하는 제안은 자동으로 삭제됩니다.
우리는 테스트가 어떻게 작동하는지 또는 언제 실행되는지 공개하지 않습니다. 그렇게 하면 사기꾼에게 피해야 할 것을 알려주는 셈이 됩니다.
판매자가 적발될 경우
- 해당 제안은 즉시 중단되며, 판매자는 이를 다시 활성화할 수 없습니다.
- 저희 팀이 증거를 검토하는 동안 판매자의 지급액은 보류됩니다.
- 다른 모델을 제공하다 적발된 판매자는 영구 정지됩니다: 모든 제안이 중단되며, 동일한 provider key, 지급 주소 및 이메일로는 다시 등록할 수 없습니다.
- 아직 지급되지 않은 수익은 해당 판매자가 서비스를 제공했던 구매자들에게 환불됩니다.
지금까지의 수치
첫 검사일에 2026년 10월 31일, 10개의 제안이 중단되었습니다. 그 중 하나는 Claude가 "OpenAI의 GPT-5"라고 말하며 판매되었습니다. 다른 것들은 모든 요청에 약 4,400개의 숨겨진 지시(instructions) 토큰을 추가했습니다.
2026년 11월 12일 기준: 336개의 판매자 제안 테스트 완료, 150개 실패 및 중단, 3명의 판매자 밴(banned), 그리고 지난 7일 동안 32,969개의 테스트 요청. 실시간 수치는 모델 검사 페이지]에서 확인할 수 있습니다.
어떤 검사로도 증명할 수 없는 것
솔직히 말씀드립니다: 어떤 소프트웨어 검사로도 모델의 어떤 정확한 복사본이 답변을 작성했는지 증명할 수 없습니다. 하드웨어 증명만이 가능하며, UberLLM은 이를 가지고 있지 않습니다. 압축된 (8-bit 또는 4-bit) 오픈 모델의 복사본도 통과할 수 있으므로, 판매자는 제공하는 정밀도를 명시해야 하며, 허위 진술 시 서비스 이용이 금지됩니다. 전체 목록은 모델 검사 페이지에서 확인할 수 있습니다.
무엇을 할 수 있나요
- 기본적으로는 아무것도 할 필요 없습니다. 귀하의 요청은 테스트와 저희 팀의 검토를 통과한 검증된 제공업체의 제안에만 도달합니다.
- 누가 서비스를 제공할지 선택하세요. 요청 시
provider.only또는provider.deny를 사용하여 경로를 선택하거나 차단할 수 있습니다. 귀하의 제어 기능을 확인하세요. - 답변이 잘못된 모델에서 온 것 같으신가요? 답변의
X-Request-Id(활동(Activity)의 해당 행과 동일한 ID)와 함께 [email protected]로 이메일을 보내주세요. 저희가 해당 제안을 다시 테스트합니다.