BrowseComp

BrowseComp 질문은 경력의 단편으로 묘사된 사람이나 여러 제약 조건의 교집합으로 위치가 특정된 사건처럼, 여러 단계의 간접적인 단서 뒤에 숨겨진, 검증 가능한 단일 답변을 요구합니다. 한 번의 검색으로는 거의 답을 찾을 수 없으므로 에이전트는 가설을 세우고, 검색하고, 버리고, 방향을 전환해야 합니다. 따라서 검색 구성 방식이 기여하는 바를 측정하는 데 가장 정밀한 도구입니다. 동일한 모델이라도 단일 사전 추론 검색을 사용할 때보다 전체 에이전트 예산을 사용할 때 점수가 몇 배 더 높습니다.

모델을 고정한 상태로 실행하는 이유는 OpenRouter 사용자가 실제로 제어하는 변수를 분리하기 위해서입니다. 사용자가 제어하는 변수는 어떤 엔진이 검색을 처리하는지, 검색이 서버 도구 또는 플러그인으로 실행되는지, 그리고 루프에 허용되는 에이전트 턴 수입니다. 이러한 설정은 현재 요청에서 정확히 지정할 수 있습니다.

이 점수는 에이전트 제품이 아니라 검색 구성을 비교합니다. 모델은 전체 페이지를 가져오거나 코드 도구를 사용하지 않고 검색 결과 발췌문만 읽으므로, 두 기능을 모두 허용하는 공개 에이전트 리더보드보다 절대적인 수치가 낮습니다. 원시적인 수준이 아니라 구성을 비교하세요.

여기서는 겹치는 신뢰 범위를 동일하다는 증거가 아니라 미해결 상태로 처리합니다. 한 구성이 조금 더 우수하지만 훨씬 비싸다면 비용을 품질과 함께 고려해야 합니다.

데이터셋은 학습 말뭉치에 포함되지 않도록 카나리아 문자열과 함께 암호화되어 배포되지만 질문은 공개되어 있습니다. 평가는 실시간 다단계 검색에 의존하므로 암기로 쉽게 우회하기 어렵습니다.

각 작업은 하나의 질문과 짧은 참조 답변으로 구성됩니다. 모델은 고정된 형식(설명, 정확한 답변, 명시된 확신도)으로 답변하고, 판정 모델은 추출된 답변이 참조 답변과 의미상 동일한지 평가합니다. "1988 to 1996"은 "1988-96"과 일치하지만, 다른 개체는 실패합니다. 평가는 이진 방식이며 부분 점수는 없고, 실패했거나 거부된 작업은 0점을 받습니다.

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

검색 구성은 하나의 모델, 검색 엔진, 요청 형식 및 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수를 기준으로 가중치가 적용되며, 소규모 스모크 테스트는 제외됩니다.

Runs execute on Kepler, OpenRouter's benchmark harness, against production endpoints. Server-tool configurations set a request-level tool-call budget on the web search server tool. Plugin configurations make one pre-inference search of the question with the web search plugin. Engines use the same default configurations that serve production traffic.

모든 실행에는 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 시간 측정 데이터가 저장됩니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, absent or zero telemetry is not treated as free or instantaneous performance.