DeepSearchQA

사실 하나를 찾는 것과 모든 사실을 찾는 것은 서로 다른 검색 문제입니다. 운이 좋은 한 번의 질의로 BrowseComp의 답을 찾을 수도 있지만, DeepSearchQA의 답은 여러 검색을 통해 조합해야 하며 에이전트는 찾은 것과 아직 누락된 것을 추적해야 합니다. 이러한 포괄성에 대한 요구는 검색 스택의 다른 부분을 시험합니다. 결과의 폭과 중복 제거는 순위 매기기만큼 중요합니다.

모델을 고정하고 실행하는 이유는 OpenRouter 사용자가 실제로 제어할 수 있는 변수를 분리하기 위해서입니다. 사용자가 제어할 수 있는 변수는 검색을 처리할 엔진, 검색을 서버 도구로 실행할지 플러그인으로 실행할지, 그리고 루프에서 허용할 에이전트 턴 수입니다. 이러한 설정은 현재 요청에서 바로 지정할 수 있습니다.

이 점수는 에이전트 제품이 아니라 검색 구성을 비교합니다. 모델은 전체 페이지를 가져오거나 코드 도구를 사용하지 않고 검색 결과 발췌문만 읽으므로, 두 기능을 모두 허용하는 공개 에이전트 리더보드보다 절대적인 수치가 낮습니다. 원시적인 수준이 아니라 구성을 비교하세요.

전부 아니면 전무 방식의 평가이므로 이 테스트는 엄격하며, 목록 구성원 하나를 빠뜨려도 전부 빠뜨린 경우와 같은 점수를 받기 때문에 점수가 낮게 나오고 작은 엔진 간 격차는 변동성이 큽니다. 여기서는 겹치는 신뢰 구간을 동일하다는 증거가 아니라 미해결 상태로 처리합니다. 구성의 비용은 점수만큼 실제적인 요소이므로 품질과 효율성을 함께 확인하세요.

질문이 공개되어 있으므로 시간이 지나면서 암기로 인해 절대 점수가 부풀려질 수 있지만, 모든 구성이 동일한 모델을 공유하므로 검색 구성 간 차이는 여전히 의미가 있습니다.

각 작업은 예상 답변 요소의 기준 목록이 있는 하나의 질문으로 구성됩니다. 심사 모델은 모든 예상 요소와 응답을 대조하고, 응답이 주장하지만 기준 목록에는 없는 불필요한 답변도 표시합니다. 심사 모델이 모든 예상 요소를 찾고 불필요한 답변은 하나도 찾지 못한 경우에만 작업이 정답으로 처리됩니다. 평가는 부분 점수 없이 이진 방식으로 이루어지며, 실패했거나 거부된 작업은 0점으로 처리됩니다.

reward = all_expected_parts_found ∧ no_excessive_answers   // ∈ {0, 1}
judge  = gemini-2.5-flash, strict json_schema completeness verdict
empty or refused answers skip the judge and score 0

검색 구성은 하나의 모델, 검색 엔진, 요청 형식 및 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수를 기준으로 가중치가 적용되며, 소규모 스모크 테스트는 제외됩니다.

Runs execute on Kepler, OpenRouter's benchmark harness, against production endpoints. Server-tool configurations set a request-level tool-call budget on the web search server tool. Plugin configurations make one pre-inference search of the question with the web search plugin. Engines use the same default configurations that serve production traffic.

모든 실행에는 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 시간 측정 데이터가 저장됩니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, absent or zero telemetry is not treated as free or instantaneous performance.