BrowseComp

As perguntas do BrowseComp delimitam uma resposta única e verificável por trás de várias camadas de referências indiretas, como uma pessoa descrita por fragmentos de sua carreira ou um evento localizado pela interseção de restrições. Uma única pesquisa raramente chega à resposta; o agente precisa formular hipóteses, pesquisar, descartar e mudar de direção. Isso o torna a ferramenta mais precisa que temos para medir a contribuição de uma pesquisa com determinada configuração : o mesmo modelo obtém uma pontuação várias vezes maior com um orçamento completo de execução agêntica do que com uma única pesquisa anterior à inferência.

Executamos o teste mantendo o modelo fixo porque isso isola as variáveis que os usuários do OpenRouter realmente controlam. Elas são qual mecanismo realiza as pesquisas, se a pesquisa é executada como ferramenta do servidor ou plugin e quantos turnos do agente são permitidos no ciclo. Esses parâmetros são exatamente os que você pode definir em uma requisição hoje.

Essas pontuações comparam configurações de pesquisa, não produtos de agentes. O modelo lê apenas trechos dos resultados de pesquisa, sem buscar páginas completas nem usar ferramentas de código, portanto os números absolutos ficam abaixo dos rankings publicados de agentes, que permitem ambos. Compare configurações em vez de níveis absolutos.

Intervalos de confiança sobrepostos são tratados aqui como inconclusivos, não como prova de igualdade. O custo deve ser considerado junto com a qualidade quando uma configuração é ligeiramente melhor e muito mais cara.

O conjunto de dados é distribuído criptografado com uma string de alerta para mantê-lo fora dos corpora de treinamento, mas as perguntas são públicas; a avaliação depende de pesquisa em tempo real em várias etapas, o que dificulta atalhos por memorização.

Cada tarefa é uma pergunta com uma resposta de referência curta. O modelo responde em um formato fixo (explicação, resposta exata, confiança declarada), e um modelo avaliador verifica se a resposta extraída é semanticamente equivalente à referência. "1988 a 1996" corresponde a "1988-96"; uma entidade diferente é reprovada. A avaliação é binária, sem pontuação parcial, e tarefas com falha ou recusadas recebem zero.

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

Uma configuração de pesquisa consiste em um modelo, um mecanismo de pesquisa, um formato de solicitação e um orçamento máximo de pesquisa. As pontuações são ponderadas pelo número de perguntas em cada execução verificada; pequenos testes de verificação básica são excluídos.

As execuções são realizadas no Kepler, o harness de avaliação comparativa do OpenRouter, usando endpoints de produção. As configurações de ferramentas de servidor definem um orçamento de chamadas de ferramenta por requisição na ferramenta de servidor de pesquisa na web. As configurações de plugin fazem uma pesquisa da pergunta antes da inferência com o plugin de pesquisa na web. Os mecanismos usam as mesmas configurações padrão que atendem ao tráfego de produção.

Cada execução persiste seu modelo exato, mecanismo, formato de solicitação, orçamento de pesquisa, custo e telemetria de tempo disponível. As configurações ausentes permanecem ausentes na tabela de comparação, e absent or zero telemetry is not treated as free or instantaneous performance.