DeepSearchQA

하나의 사실을 찾는 것과 모든 사실을 찾는 것은 서로 다른 검색 문제입니다. 운 좋게 단 한 번의 쿼리로 BrowseComp의 답을 찾을 수 있지만, DeepSearchQA의 답은 에이전트가 찾은 내용과 아직 누락된 내용을 추적하면서 여러 검색 결과를 종합해 구성해야 합니다. 이러한 포괄성에 대한 요구는 검색 스택의 다른 부분을 시험하며, 결과의 폭과 중복 제거가 순위 지정만큼 중요합니다.

OpenRouter 사용자가 실제로 제어할 수 있는 변수를 분리하기 위해 모델을 고정한 상태로 실행합니다. 이러한 변수는 검색을 처리하는 엔진, 검색을 서버 도구로 실행할지 플러그인으로 실행할지 여부, 루프에서 허용되는 에이전트 턴 수입니다. 이 항목들은 바로 현재 요청에서 설정할 수 있는 항목입니다.

이 점수는 에이전트 제품이 아닌 검색 구성을 비교합니다. 모델은 전체 페이지 가져오기나 코드 도구 없이 검색 결과 발췌문만 읽으므로, 절대 점수는 두 기능을 모두 허용하는 공개 에이전트 리더보드보다 낮습니다. 점수 자체의 수준보다는 구성을 비교하십시오.

전부 맞아야 점수를 받는 채점 방식으로 인해 이 평가 모음은 엄격하며, 목록 항목 하나를 누락해도 모두 누락한 것과 같은 점수를 받으므로 점수가 낮고 엔진 간의 작은 차이에는 잡음이 많습니다. 여기서는 신뢰 구간이 겹치는 경우 동등함의 증거가 아니라 결론을 내릴 수 없는 상태로 취급합니다. 구성의 비용은 점수만큼이나 실질적인 요소이므로 품질과 효율성을 함께 살펴보십시오.

질문이 공개되어 있어 시간이 지남에 따라 암기로 절대 점수가 부풀려질 수 있지만, 모든 구성이 동일한 모델을 사용하므로 검색 구성 간의 차이는 여전히 의미가 있습니다.

각 과제는 예상 답변 요소의 참조 목록이 있는 하나의 질문입니다. 심사 모델은 응답을 모든 예상 요소와 대조하여 확인하고, 참조 목록에 없는 내용을 응답이 주장하는 과잉 답변도 표시합니다. 심사 모델이 모든 예상 요소를 찾고 과잉 답변이 없다고 판단한 경우에만 과제가 정답으로 처리됩니다. 평가는 부분 점수 없이 이진 방식으로 이루어지며, 실패하거나 거부된 과제는 영점 처리됩니다.

reward = all_expected_parts_found ∧ no_excessive_answers   // ∈ {0, 1}
judge  = gemini-2.5-flash, strict json_schema completeness verdict
empty or refused answers skip the judge and score 0

검색 구성은 하나의 모델, 검색 엔진, 요청 형식, 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수에 따라 가중치가 부여되며, 소규모 스모크 테스트는 제외됩니다.

실행은 OpenRouter의 벤치마크 하네스인 Kepler에서 프로덕션 엔드포인트를 대상으로 수행됩니다. 서버 도구 구성은 요청 수준의 도구 호출 예산을 웹 검색 서버 도구에 설정합니다. 플러그인 구성은 추론 전에 질문에 대한 검색을 한 번 수행하며, 이때 사용하는 도구는 웹 검색 플러그인입니다. 엔진은 프로덕션 트래픽을 처리하는 것과 동일한 기본 구성을 사용합니다.

각 실행은 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 타이밍 텔레메트리를 영구 저장합니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, absent or zero telemetry is not treated as free or instantaneous performance.