BrowseComp

Las preguntas de BrowseComp buscan una respuesta única y verificable tras varias capas de información indirecta, como una persona descrita mediante fragmentos de su trayectoria profesional o un evento identificado mediante la intersección de restricciones. Una sola búsqueda rara vez basta; el agente tiene que formular hipótesis, buscar, descartar y cambiar de enfoque. Eso lo convierte en la herramienta más precisa que tenemos para medir lo que una configuración de búsqueda aporta: el mismo modelo obtiene una puntuación varias veces mayor con un presupuesto completo para la ejecución del agente que con una sola búsqueda previa a la inferencia.

Lo ejecutamos manteniendo el modelo fijo porque así se aíslan las variables que los usuarios de OpenRouter realmente controlan. Estas son qué motor gestiona las búsquedas, si la búsqueda se ejecuta como herramienta del servidor o como plugin y cuántos turnos del agente permite el bucle. Esos parámetros son exactamente los que puede configurar en una solicitud hoy.

Estas puntuaciones comparan configuraciones de búsqueda, no productos de agentes. El modelo solo lee extractos de los resultados de búsqueda, sin recuperar páginas completas ni utilizar herramientas de código, por lo que las cifras absolutas quedan por debajo de las clasificaciones publicadas de agentes, que permiten ambas cosas. Compare configuraciones en lugar de niveles absolutos.

Aquí, los intervalos de confianza que se solapan se consideran resultados no concluyentes, no una prueba de igualdad. El costo debe evaluarse junto con la calidad cuando una configuración es ligeramente mejor y mucho más cara.

El conjunto de datos se distribuye cifrado con una cadena señuelo para mantenerlo fuera de los corpus de entrenamiento, pero las preguntas son públicas; la evaluación depende de búsquedas en vivo de varios pasos, que difícilmente pueden eludirse mediante la memorización.

Cada tarea es una pregunta con una respuesta de referencia breve. El modelo responde en un formato fijo (explicación, respuesta exacta, confianza declarada), y un modelo juez evalúa si la respuesta extraída es semánticamente equivalente a la de referencia. «1988 a 1996» coincide con «1988-96»; una entidad diferente se considera incorrecta. La calificación es binaria, sin puntuación parcial, y las tareas fallidas o rechazadas reciben una puntuación de cero.

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

Una configuración de búsqueda consta de un modelo, un motor de búsqueda, un formato de solicitud y un presupuesto máximo de búsqueda. Las puntuaciones se ponderan por el número de preguntas de cada ejecución verificada; se excluyen las pruebas básicas pequeñas.

Las ejecuciones se realizan en Kepler, el harness de evaluación comparativa de OpenRouter, contra endpoints de producción. Las configuraciones de herramientas de servidor establecen un presupuesto de llamadas a herramientas por solicitud para la herramienta de servidor de búsqueda web. Las configuraciones de plugins realizan una búsqueda de la pregunta antes de la inferencia con el plugin de búsqueda web. Los motores utilizan las mismas configuraciones predeterminadas que atienden el tráfico de producción.

Cada ejecución conserva su modelo exacto, motor, formato de solicitud, presupuesto de búsqueda, coste y telemetría de tiempos disponible. Las configuraciones ausentes siguen ausentes en la tabla comparativa, y absent or zero telemetry is not treated as free or instantaneous performance.