GPQA Diamond

GPQA は生物学、物理学、化学にわたる幅広い大学院レベルの推論テストであり、デプロイが正常であることを低コストで示す、信頼性の高い基本的な指標になります。通常はこれらの問題に正解するモデルの成績が突然低下した場合、問題自体ではなく、エンドポイントやルーティングの不具合を示していることが一般的です。

各プロバイダーのエンドポイントで同じ固定の問題セットを実行するため、同じモデルを提供するプロバイダー間で正解率に大きな差があれば、設定ミスや性能低下のあるエンドポイントをすばやく検出できます。コストとレイテンシの列は、その推論品質を提供する際にかかるコストとレイテンシを示します。

GPQA は対象範囲が狭く難易度の高い評価であり、汎用的な知能や有用性を完全に測定するものではありません。スコアは専門家が作成した科学分野の多肢選択問題に対する性能を反映しており、コーディング、指示への追従、事実性などの評価と併せて検討する必要があります。

スコアは、サンプリング設定、回答の選択肢位置の扱い、繰り返し実行の回数に左右されることがあります。モデル間でサンプル数が同程度の場合、小さな差には意味がない可能性があるため、リーダーボードでは正答率だけでなく、実行ごとのばらつきやコストの情報も示しています。

このベンチマークの内容は公開されており、一部の問題は将来、学習データに含まれる可能性があります。ここでは非公開の問題プールの転載を避けていますが、公開ベンチマークでは、将来のすべての評価項目について学習データへの混入がないことを保証できません。

スコアは直近の 90 日間の成功した実行を問題数で重み付けして集計し、モデルとプロバイダーの組み合わせごとに最小サンプル数のしきい値を適用しています。モデルの代表スコアには、利用可能な場合はデフォルトのルーティングを使用し、そうでない場合は中央値のプロバイダーにフォールバックします。コスト、時間、出力トークン数は、同じ実行における問題ごとの平均値です。最もコストパフォーマンスが高いモデルは、最高スコアとの差が五パーセントポイント以内のパレート最適なモデルのうち、最も安価なものです。

GPQA Diamond については 原著論文で説明されています。ルーティングの詳細は ドキュメント を参照するか、 すべてのモデル を閲覧してお試しください。