HLE

O HLE está no extremo oposto do espectro de pesquisa em relação ao BrowseComp. Suas perguntas foram escritas por especialistas no assunto para serem inequívocas, mas extremamente difíceis, de modo que a pontuação de referência de um modelo depende principalmente do que ele já sabe. Adicionar pesquisa na web transforma isso em uma pergunta diferente: quanto conhecimento especializado uma configuração de pesquisa consegue recuperar sob demanda?

Nós o executamos mantendo o modelo fixo porque isso isola as variáveis que os usuários do OpenRouter realmente controlam. Elas são qual mecanismo realiza as pesquisas, se a pesquisa é executada como uma ferramenta de servidor ou um plugin e quantos turnos do agente são permitidos no ciclo. Esses parâmetros são exatamente o que você pode configurar em uma solicitação hoje.

Essas pontuações comparam configurações de pesquisa, não produtos de agentes. O modelo lê apenas trechos dos resultados de pesquisa, sem buscar páginas completas e sem ferramentas de código, por isso os números absolutos ficam abaixo dos rankings publicados de agentes, que permitem ambos. Compare configurações em vez de valores brutos.

Como o HLE se apoia em conhecimento especializado, e não na profundidade da navegação, as diferenças entre configurações de pesquisa são menores aqui do que no BrowseComp: muitas perguntas são respondidas (ou não) da mesma forma em todos os orçamentos. Diferenças entre mecanismos com intervalos de confiança sobrepostos são tratadas aqui como inconclusivas, não como prova de igualdade. O custo de uma configuração é tão real quanto sua pontuação, portanto avalie qualidade e eficiência em conjunto.

Usamos o subconjunto somente de texto do conjunto de dados público (perguntas multimodais são excluídas), portanto as pontuações não são diretamente comparáveis às dos rankings do HLE completo. As perguntas são públicas, o que significa que a memorização pode inflar as pontuações absolutas ao longo do tempo; as diferenças entre configurações de pesquisa continuam sendo significativas porque todas as configurações compartilham o mesmo modelo.

Cada tarefa é uma pergunta com uma resposta de referência curta. O modelo responde em um formato fixo (explicação, resposta exata, confiança declarada), e um modelo avaliador determina se a resposta extraída é semanticamente equivalente à referência — a mesma avaliação de equivalência de respostas usada pelo BrowseComp. A avaliação é binária, sem pontuação parcial, e tarefas que falham ou são recusadas recebem pontuação zero.

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

Uma configuração de pesquisa consiste em um modelo, um mecanismo de pesquisa, um formato de solicitação e um orçamento máximo de pesquisa. As pontuações são ponderadas pelo número de perguntas em cada execução verificada; pequenos testes de verificação básica são excluídos.

As execuções são realizadas no Kepler, o harness de avaliação comparativa do OpenRouter, usando endpoints de produção. As configurações de ferramentas de servidor definem um orçamento de chamadas de ferramenta por requisição na ferramenta de servidor de pesquisa na web. As configurações de plugin fazem uma pesquisa da pergunta antes da inferência com o plugin de pesquisa na web. Os mecanismos usam as mesmas configurações padrão que atendem ao tráfego de produção.

Cada execução persiste seu modelo exato, mecanismo, formato de solicitação, orçamento de pesquisa, custo e telemetria de tempo disponível. As configurações ausentes permanecem ausentes na tabela de comparação, e absent or zero telemetry is not treated as free or instantaneous performance.