GPQA Diamond

GPQA est un test général de raisonnement de niveau universitaire avancé couvrant la biologie, la physique et la chimie, qui nous fournit donc un indicateur peu coûteux permettant de vérifier qu’un déploiement maintient le niveau de performance attendu. Un modèle qui réussit habituellement ces questions mais dont les performances chutent soudainement indique généralement un dysfonctionnement du point de terminaison ou du routage plutôt qu’un problème lié aux questions elles-mêmes.

Comme nous utilisons le même ensemble fixe de questions sur les points de terminaison des fournisseurs, un écart important de précision entre des fournisseurs servant le même modèle permet de repérer rapidement un point de terminaison mal configuré ou dégradé. Les colonnes de coût et de latence indiquent ce que coûte cette qualité de raisonnement en conditions de service.

GPQA est une évaluation ciblée et très difficile, et non une mesure complète de l’intelligence générale ou de l’utilité. Un score reflète les performances sur des questions scientifiques à choix multiples rédigées par des experts et doit être considéré en complément des évaluations du code, du suivi des instructions, de l’exactitude factuelle et d’autres évaluations.

Les scores peuvent être sensibles aux paramètres d’échantillonnage, au traitement de la position des réponses et au nombre d’exécutions répétées. De faibles écarts peuvent ne pas être significatifs lorsque les modèles ont des nombres d’échantillons similaires, c’est pourquoi le classement inclut la variabilité des exécutions et des informations sur les coûts plutôt que de présenter uniquement la précision.

Le test de référence est décrit publiquement, et certaines questions pourraient finir par apparaître dans les données d’entraînement. Nous évitons de reproduire ici l’ensemble privé de questions, mais aucun test de référence public ne peut garantir que chaque futur élément d’évaluation sera exempt de contamination.

Les scores regroupent les exécutions réussies des 90 derniers jours, pondérées par le nombre de questions, avec un seuil minimal d’échantillonnage par paire modèle-fournisseur. Le score principal d’un modèle utilise le routage par défaut lorsqu’il est disponible ; sinon, il se base sur le fournisseur médian. Les chiffres de coût, de temps et de jetons de sortie sont des moyennes par question issues des mêmes exécutions. Le meilleur rapport qualité-prix correspond au modèle Pareto-optimal le moins cher dont le score est inférieur d’au plus cinq points de pourcentage au meilleur score.

GPQA Diamond est décrit dans l’ article original. Consultez la documentation pour les détails du routage, ou parcourez tous les modèles pour en essayer un.