BrowseComp

BrowseComp 질문은 경력의 단편으로 묘사된 인물이나 여러 제약 조건의 교차점으로 특정되는 사건처럼, 여러 겹의 간접적인 단서 뒤에 있는 검증 가능한 단 하나의 답을 찾아내도록 합니다. 한 번의 검색으로는 답을 찾기 어려우며, 에이전트는 가설을 세우고 검색하고 가설을 버리고 방향을 전환해야 합니다. 따라서 이는 검색 구성 의 기여도를 측정하는 가장 예리한 도구로, 동일한 모델도 추론 전 단일 검색을 사용할 때보다 충분한 에이전트 실행 예산을 사용할 때 몇 배 더 높은 점수를 얻습니다.

OpenRouter 사용자가 실제로 제어하는 변수만 분리하기 위해 모델을 고정한 상태로 실행합니다. 해당 변수는 검색을 처리하는 엔진, 검색을 서버 도구로 실행할지 플러그인으로 실행할지 여부, 루프에 허용되는 에이전트 턴 수입니다. 이러한 항목은 모두 현재 요청에서 설정할 수 있습니다.

이 점수는 에이전트 제품이 아닌 검색 구성을 비교합니다. 모델은 전체 페이지 가져오기나 코드 도구 없이 검색 결과 발췌문만 읽으므로, 절대 수치는 두 기능을 모두 허용하는 공개 에이전트 순위표보다 낮습니다. 원점수 수준보다는 구성을 비교하십시오.

여기서는 신뢰 구간이 겹치는 경우 동등성의 증거가 아니라 결론을 내릴 수 없는 상태로 취급합니다. 한 구성이 약간 더 우수하지만 훨씬 비싼 경우 품질과 함께 비용을 고려해야 합니다.

데이터셋은 학습 코퍼스에 포함되지 않도록 카나리아 문자열과 함께 암호화되어 배포되지만 질문은 공개되어 있으며, 평가는 암기만으로 우회하기 어려운 실시간 다단계 검색에 기반합니다.

각 과제는 짧은 기준 답변이 있는 하나의 질문입니다. 모델은 고정된 형식(설명, 정확한 답변, 명시된 확신도)으로 답하고, 평가 모델은 추출된 답변이 기준 답변과 의미상 동등한지 채점합니다. "1988 to 1996"은 "1988-96"과 일치하지만, 다른 개체를 답하면 오답 처리됩니다. 채점은 부분 점수 없이 이진 방식으로 이루어지며, 실패하거나 거부한 과제는 0점을 받습니다.

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

검색 구성은 하나의 모델, 검색 엔진, 요청 형식, 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수에 따라 가중치가 부여되며, 소규모 스모크 테스트는 제외됩니다.

실행은 OpenRouter의 벤치마크 하네스인 Kepler에서 프로덕션 엔드포인트를 대상으로 수행됩니다. 서버 도구 구성은 요청 수준의 도구 호출 예산을 웹 검색 서버 도구에 설정합니다. 플러그인 구성은 추론 전에 질문에 대한 검색을 한 번 수행하며, 이때 사용하는 도구는 웹 검색 플러그인입니다. 엔진은 프로덕션 트래픽을 처리하는 것과 동일한 기본 구성을 사용합니다.

각 실행은 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 타이밍 텔레메트리를 영구 저장합니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, absent or zero telemetry is not treated as free or instantaneous performance.