GPQA Diamond

GPQA es una prueba amplia de razonamiento de nivel de posgrado en biología, física y química, por lo que nos proporciona una señal económica y con un umbral mínimo alto de que un despliegue funciona correctamente. Si un modelo que normalmente resuelve estas preguntas sufre una caída repentina, esto suele indicar un fallo en el endpoint o en el enrutamiento, más que en las propias preguntas.

Como ejecutamos el mismo conjunto fijo de preguntas en los endpoints de los proveedores, una diferencia grande de precisión entre proveedores que sirven el mismo modelo permite detectar rápidamente un endpoint mal configurado o degradado. Las columnas de costo y latencia muestran cuánto cuesta ofrecer esa calidad de razonamiento.

GPQA es una evaluación de alcance limitado y alta dificultad, no una medida completa de la inteligencia general ni de la utilidad. Una puntuación refleja el rendimiento en preguntas científicas de opción múltiple redactadas por expertos y debe considerarse junto con evaluaciones de programación, seguimiento de instrucciones, exactitud factual y otras.

Las puntuaciones pueden ser sensibles a los ajustes de muestreo, al tratamiento de la posición de las respuestas y al número de ejecuciones repetidas. Las pequeñas diferencias pueden no ser significativas cuando los modelos tienen cantidades de muestras similares, por lo que la clasificación incluye la variabilidad entre ejecuciones y el contexto de costes en lugar de presentar solo la exactitud.

La prueba de referencia está descrita públicamente y algunas preguntas podrían acabar apareciendo en los datos de entrenamiento. Evitamos reproducir aquí el conjunto privado de preguntas, pero ninguna prueba de referencia pública puede garantizar que todos los elementos de evaluación futuros estén libres de contaminación.

Las puntuaciones agregan las ejecuciones satisfactorias de los últimos 90 días, ponderadas por el número de preguntas, con un umbral mínimo de muestras por cada par de modelo y proveedor. La puntuación principal de un modelo utiliza el enrutamiento predeterminado cuando está disponible; de lo contrario, recurre a la mediana de los proveedores. Las cifras de coste, tiempo y tokens de salida son promedios por pregunta de las mismas ejecuciones. La mejor relación calidad-precio corresponde al modelo óptimo de Pareto más económico situado a no más de cinco puntos porcentuales de la puntuación más alta.

GPQA Diamond se describe en el artículo original. Consulte la documentación para conocer los detalles del enrutamiento, o explore todos los modelos para probar uno.