GPQA Diamond

O GPQA é um teste abrangente de raciocínio de nível de pós-graduação em biologia, física e química, por isso nos fornece um indicador de baixo custo e com um patamar mínimo elevado de que uma implantação está funcionando bem. Um modelo que normalmente acerta essas questões, mas apresenta uma queda repentina, costuma indicar algum problema no endpoint ou no roteamento, e não nas próprias questões.

Como executamos o mesmo conjunto fixo de questões nos endpoints dos provedores, uma grande diferença de acurácia entre provedores que servem o mesmo modelo é uma forma rápida de detectar um endpoint mal configurado ou degradado. As colunas de custo e latência mostram quanto custa oferecer essa qualidade de raciocínio.

O GPQA é uma avaliação de escopo restrito e alta dificuldade, não uma medida completa de inteligência geral ou utilidade. Uma pontuação reflete o desempenho em questões científicas de múltipla escolha elaboradas por especialistas e deve ser considerada junto com avaliações de programação, seguimento de instruções, factualidade e outras avaliações.

As pontuações podem ser sensíveis às configurações de amostragem, ao tratamento da posição das respostas e ao número de execuções repetidas. Pequenas diferenças podem não ser significativas quando os modelos têm quantidades semelhantes de amostras, por isso a classificação inclui a variabilidade entre execuções e o contexto de custos, em vez de apresentar apenas a acurácia.

A avaliação é descrita publicamente, e algumas questões podem acabar aparecendo nos dados de treinamento. Evitamos reproduzir aqui o conjunto privado de questões, mas nenhuma avaliação pública pode garantir que todos os futuros itens de avaliação estejam livres de contaminação.

As pontuações agregam execuções bem-sucedidas dos últimos 90 dias, ponderadas pelo número de questões, com um limite mínimo de amostra por par modelo-provedor. A pontuação principal de um modelo usa o roteamento padrão quando disponível; caso contrário, usa o provedor mediano como alternativa de contingência. Os valores de custo, tempo e tokens de saída são médias por questão das mesmas execuções. O melhor custo-benefício é o modelo mais barato na fronteira ótima de Pareto que esteja a até cinco pontos percentuais da maior pontuação.

O GPQA Diamond é descrito no artigo original. Consulte a documentação para obter detalhes de roteamento ou explore todos os modelos para experimentar um deles.