HLE

HLE는 검색 스펙트럼에서 BrowseComp와 정반대에 위치합니다. 각 분야의 전문가가 모호하지 않으면서도 매우 어렵게 문제를 작성했으므로, 모델의 기본 점수는 대부분 모델이 이미 알고 있는 지식에 따라 결정됩니다. 웹 검색을 추가하면 질문이 달라지는데, 검색 구성이 필요할 때 전문가 수준의 지식을 얼마나 많이 검색해 낼 수 있는지가 핵심입니다.

OpenRouter 사용자가 실제로 제어할 수 있는 변수를 분리하기 위해 모델을 고정한 상태로 실행합니다. 이러한 변수는 검색을 처리하는 엔진, 검색이 서버 도구와 플러그인 중 어느 방식으로 실행되는지, 루프에 허용되는 에이전트 턴 수입니다. 이는 현재 요청에서 설정할 수 있는 항목과 정확히 일치합니다.

이 점수는 에이전트 제품이 아니라 검색 구성을 비교합니다. 모델은 전체 페이지 가져오기나 코드 도구 없이 검색 결과 발췌문만 읽으므로, 절대 수치는 두 가지를 모두 허용하는 공개 에이전트 리더보드보다 낮습니다. 원시 수치보다는 구성을 비교하십시오.

HLE는 탐색 깊이보다 전문 지식에 더 의존하므로, 여기서는 검색 구성 간 차이가 BrowseComp보다 작으며, 많은 질문이 모든 예산 수준에서 같은 방식으로 정답 또는 오답 처리됩니다. 신뢰 구간이 겹치는 엔진 간 격차는 여기서 동등성의 증거가 아니라 미확정으로 간주합니다. 구성의 비용은 점수만큼이나 실질적인 요소이므로 품질과 효율성을 함께 살펴보십시오.

공개 데이터 세트의 텍스트 전용 하위 집합을 사용하므로(멀티모달 질문은 제외), 점수를 전체 HLE 리더보드와 직접 비교할 수 없습니다. 질문이 공개되어 있어 시간이 지나면서 암기로 인해 절대 점수가 부풀려질 수 있지만, 모든 구성이 동일한 모델을 공유하므로 검색 구성 간 차이는 여전히 유의미합니다.

각 과제는 짧은 참조 답변이 있는 하나의 질문입니다. 모델은 고정된 형식(설명, 정확한 답변, 명시된 신뢰도)으로 답하고, 평가 모델은 추출된 답변이 참조 답변과 의미상 동등한지 평가하며, 이는 BrowseComp가 사용하는 것과 동일한 답변 동등성 평가 방식입니다. 평가는 부분 점수 없이 정답과 오답으로만 나뉘며, 실패하거나 거부한 과제는 영점을 받습니다.

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

검색 구성은 하나의 모델, 검색 엔진, 요청 형식, 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수에 따라 가중치가 부여되며, 소규모 스모크 테스트는 제외됩니다.

실행은 OpenRouter의 벤치마크 하네스인 Kepler에서 프로덕션 엔드포인트를 대상으로 수행됩니다. 서버 도구 구성은 요청 수준의 도구 호출 예산을 웹 검색 서버 도구에 설정합니다. 플러그인 구성은 추론 전에 질문에 대한 검색을 한 번 수행하며, 이때 사용하는 도구는 웹 검색 플러그인입니다. 엔진은 프로덕션 트래픽을 처리하는 것과 동일한 기본 구성을 사용합니다.

각 실행은 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 타이밍 텔레메트리를 영구 저장합니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, absent or zero telemetry is not treated as free or instantaneous performance.