GPQA Diamond

GPQA는 생물학, 물리학, 화학 전반을 아우르는 대학원 수준의 추론 테스트이므로, 적은 비용으로 배포 상태가 정상인지에 대한 높은 기본 신뢰도의 신호를 제공합니다. 평소에는 이 문제들을 잘 풀던 모델의 성능이 갑자기 떨어지는 경우, 대개 문제 자체보다는 엔드포인트나 라우팅에 문제가 있음을 나타냅니다.

제공업체 엔드포인트 전반에서 동일한 고정 문제 세트를 실행하므로, 같은 모델을 제공하는 제공업체 간의 큰 정확도 격차를 통해 잘못 구성되었거나 성능이 저하된 엔드포인트를 빠르게 감지할 수 있습니다. 비용 및 지연 시간 열은 해당 추론 품질을 제공하는 데 드는 비용과 지연 시간을 보여 줍니다.

GPQA는 범위가 좁은 고난도 평가로, 일반 지능이나 유용성을 완전히 측정하지는 않습니다. 점수는 전문가가 작성한 객관식 과학 질문에 대한 성능을 반영하며 코딩, 지시 준수, 사실성 및 기타 평가와 함께 고려해야 합니다.

점수는 샘플링 설정, 정답 위치 처리 방식, 반복 실행 횟수에 민감할 수 있습니다. 모델 간 샘플 수가 비슷할 때 작은 차이는 유의미하지 않을 수 있으므로, 순위표에는 정확도뿐 아니라 실행 간 변동성과 비용 정보도 포함됩니다.

이 벤치마크의 내용은 공개적으로 설명되어 있으며, 일부 질문은 향후 학습 데이터에 포함될 수 있습니다. 여기서는 비공개 질문 풀을 재현하지 않지만, 어떤 공개 벤치마크도 향후 모든 평가 항목이 학습 데이터에 노출되지 않았음을 보장할 수는 없습니다.

점수는 최근 90 일간의 성공한 실행을 질문 수로 가중하여 집계하며, 모델-제공업체 쌍별로 최소 표본 임계값을 적용합니다. 모델의 대표 점수는 기본 라우팅을 사용할 수 있으면 이를 사용하고, 그렇지 않으면 중앙값에 해당하는 제공업체로 대체합니다. 비용, 시간, 출력 토큰 수치는 동일한 실행에서 산출한 질문당 평균입니다. 최고 가성비 모델은 최고 점수와의 차이가 5퍼센트포인트 이내인 파레토 최적 모델 중 가장 저렴한 모델입니다.

GPQA Diamond에 대한 설명은 원본 논문에 있습니다. 라우팅에 관한 자세한 내용은 문서 에서 확인하거나, 사용해 볼 모델을 찾으려면 전체 모델 을 살펴보십시오.