OpenRouter는 GPQA Diamond에서 모델을 어떻게 평가하나요?

모든 모델은 실제 제공업체 엔드포인트를 통해 동일한 고정 문항 세트에 답하며, 결과는 반복 실행에 걸쳐 집계됩니다. 모델의 대표 점수는 가장 성능이 좋은 제공업체의 결과가 아니라 하나의 대표 결과이며, 비용, 시간, 출력 토큰 수는 동일한 실행에서 얻은 문항당 평균입니다.

같은 모델을 제공하는 두 제공업체의 점수가 서로 다른 이유는 무엇인가요?

모든 실행은 실제 제공업체 엔드포인트로 전송되므로 제공업체의 동작이 측정에 반영됩니다. 같은 모델을 제공하는 제공업체 간 정확도 차이가 크다면, 대개 문항보다는 잘못 구성되었거나 성능이 저하된 엔드포인트를 의미합니다.

이 점수를 프로그래밍 방식으로 가져올 수 있나요?

예. 공개 벤치마크 API는 API 키를 사용해 GET https://openrouter.ai/api/v1/benchmarks?source=openrouter에서 동일한 모델 수준의 결과를 반환합니다. task_type=intelligence로 필터링하면 gpqa_diamond에 접근할 수 있습니다.

GPQA Diamond 점수로 알 수 없는 것은 무엇인가요?

이는 일반적인 유용성을 측정하는 평가가 아니라, 범위가 좁고 난도가 높은 평가입니다. 점수는 샘플링 설정, 답안 위치 처리 방식, 반복 실행 횟수에 민감하므로 샘플 수가 비슷한 모델 간의 작은 차이는 의미가 없을 수 있습니다.

모든 벤치마크

GPQA Diamond

GPQA Diamond는 생물학, 물리학, 화학 분야의 대학원 수준 객관식 벤치마크입니다. 각 문항은 해당 분야의 전문가가 작성하며, 전공 전문가조차 정답을 찾기 위해 신중한 추론이 필요하도록 설계되었습니다. 동일한 고정 문항 세트를 각 제공업체 엔드포인트에서 실행하여 모델 성능, 라우팅, 그리고 어려운 과학 문제를 해결하는 데 드는 실제 비용을 비교합니다.

마지막 벤치마크 실행 2026. 10. 12. 오후 7:52 UTC

논문 GitHub

GPQA Diamond 벤치마크에서 가장 앞선 모델들은 무엇인가요?

Google: Gemini 3.8 Flash이(가) 2026. 10. 12. 오후 7:52 UTC 기준 95.6%로 GPQA Diamond에서 선두입니다. 동일한 고정 GPQA Diamond 질문 세트와 평가 방식이 프로덕션 제공업체 엔드포인트 전반에 걸쳐 고정되어 적용됩니다. 헤드라인 행에서는 가능한 경우 기본 라우팅을 사용하고, 그렇지 않으면 대표 제공업체 결과를 사용합니다.

리더보드

최상위 행은 가능한 경우 기본 라우팅을 사용합니다. 행을 클릭하면 제공업체가 고정된 결과를 펼쳐 볼 수 있습니다.

GPQA Diamond 리더보드: 제공업체별 질문당 모델 정확도, 비용, 시간 및 출력 토큰
#	모델		표준편차
1	Google: Gemini 3.8 Flash 파레토	95.6%	--	US$0.068	2.2m	18k
2	OpenAI: GPT-6 Astra Pro	95.5%	--	US$0.33	75s	4.53k
3	Fugu Ultra	94.6%	--	US$1.15	5.5m	33.3k
4	Google: Gemini 3.1 Pro Preview	94.5%	±0.1pp	US$0.20	2.2m	16.7k
5	OpenAI: GPT-6 Astra	94.4%	--	US$0.11	57s	2.11k
6	OpenAI: GPT-6.1 Sol 파레토	94.4%	--	US$0.021	52s	1.98k
7	TypeSafe: Jev Router 파레토	93.9%	--	US$0.016	25s	2.22k
8	OpenAI: GPT-5.6 Sol Pro	93.9%	±0.2pp	US$0.30	1.8m	11.7k
9	Google: Gemini 3.7 Flash	93.9%	±0.4pp	US$0.029	59s	7.68k
10	OpenAI: GPT-5.5	93.7%	±0.4pp	US$0.31	2.5m	10.2k
11	Fugu Ultra V2	93.3%	--	US$0.50	3.2m	13.8k
12	SpaceXAI: Grok 4.6	92.8%	±0.4pp	US$0.12	6.0m	20.3k
13	Google: Gemini 3.6 Flash	92.6%	±0.4pp	US$0.060	59s	11.7k
14	Google: Gemini 3.5 Flash	92.6%	±0.4pp	US$0.14	82s	15.6k
15	Pareto	92.4%	--	US$0.034	1.9m	4.36k
16	Anthropic: Claude Sonnet 5.5	92.4%	±0.3pp	US$0.025	21s	2.28k
17	OpenAI: GPT-5.6 Sol	92.1%	±0.5pp	US$0.060	63s	3.59k
18	MoonshotAI: Kimi K3	92.0%	±1.2pp	US$0.13	5.0m	10.3k
19	OpenAI: GPT-6 Sol	91.9%	--	US$0.025	32s	2.37k
20	GLM 5.3 Flash 파레토 digitalocean	90.9%	--	US$0.005	3.9m	10.7k
21	Qwen: Qwen3.7 Max AtlasCloud	90.9%	--	US$0.22	5.0m	29.4k
22	NVIDIA: Switchyard	90.7%	±3.4pp	US$0.016	64s	3.6k
23	MiniMax: MiniMax M3	90.5%	±1.9pp	US$0.034	5.5m	29.3k
24	OpenAI: GPT-5.4	90.3%	±0.1pp	US$0.15	2.2m	9.65k
25	Anthropic: Claude Opus 5.5	90.2%	±0.3pp	US$0.054	34s	2.5k
26	DeepSeek: DeepSeek V4 Pro 0813	90.1%	±1.7pp	US$0.12	10.0m	36.4k
27	OpenAI: GPT-5.6 Luna Pro	90.0%	±0.6pp	US$0.041	2.4m	27.2k
28	Anthropic: Claude Fable 5.1	89.9%	±0.7pp	US$0.13	31s	2.4k
29	GPT-6-Luna 파레토	89.8%	--	US$0.003	73s	6.83k
30	Tencent: Hy4 preview	89.7%	--	US$0.12	14.1m	47.9k
31	Anthropic: Claude Opus 4.8	89.7%	±1.2pp	US$0.20	1.6m	7.8k
32	Anthropic: Claude Opus 4.7	89.4%	±0.9pp	US$0.23	1.8m	8.82k
33	Amazon: Nova Micro 1.0	89.0%	±0.6pp	US$0.22	1.7m	8.43k
34	DeepSeek: DeepSeek V4.1 Flash	88.8%	±0.9pp	US$0.025	4.6m	30k
35	OpenAI: GPT-5.6 Terra	88.8%	±0.6pp	US$0.034	50s	3.31k
36	Fugu Max	88.6%	--	US$0.076	3.8m	12.3k
37	Qwen: Qwen3.8 Flash	88.6%	--	US$0.021	11.2m	45.5k
38	Xiaomi: MiMo-V2.6-Pro	88.5%	±0.4pp	US$0.033	13.4m	37.4k
39	Google: Gemini 3 Flash Preview	88.4%	±0.1pp	US$0.13	4.1m	43.8k
40	OpenAI: GPT-6 Luna Pro	88.4%	--	US$0.008	73s	13.1k
41	DeepSeek: DeepSeek V4 Flash Vision Exp	88.0%	±1.1pp	US$0.023	3.9m	25.3k
42	Auto Router	88.0%	±2.6pp	US$0.089	3.3m	37.4k
43	Deepseek V4.1 Flash	87.9%	--	US$0.011	2.1m	14.3k
44	Mimo V2.6 Pro	87.9%	--	US$0.012	5.3m	14.2k
45	OpenAI: GPT-5.2 OpenAI	87.9%	--	US$0.13	2.3m	9.43k
46	Qwen: Qwen3.7 Plus Alibaba	87.9%	--	US$0.044	9.8m	34.2k
47	OpenAI: GPT-5.6 Luna	87.9%	±0.6pp	US$0.008	80s	7.83k
48	Anthropic: Claude Opus 5	87.6%	±1.8pp	US$0.13	64s	5.04k
49	OpenAI: GPT-6 Luna 파레토	87.4%	--	US$0.003	50s	5.75k
50	MoonshotAI: Kimi K2 Thinking	87.3%	±0.8pp	US$0.11	16.7m	42k
51	Qwen: Qwen3.8 2.4T A95B	86.9%	±1.2pp	US$0.082	3.4m	13.3k
52	Thinking Machines: Inkling Small	86.6%	±0.8pp	US$0.025	3.9m	20.8k
53	DeepSeek: DeepSeek V4 Pro 0423	86.4%	±1.6pp	US$0.049	12.1m	34k
54	OpenAI: GPT-5.1	86.4%	±0.5pp	US$0.22	4.3m	22k
55	MiniMax: MiniMax M2.1	86.3%	±0.6pp	US$0.044	6.1m	25k
56	DeepSeek: DeepSeek V4 Flash 0731	86.3%	±2.7pp	US$0.008	8.4m	25.1k
57	Anthropic: Claude Opus 4.6	86.2%	±1.4pp	US$0.75	8.2m	29.8k
58	Anthropic: Claude Haiku 5.5	86.2%	--	US$0.004	39s	7.86k
59	Anthropic: Claude Opus 4.5	86.1%	±0.9pp	US$0.84	6.9m	33.6k
60	MoonshotAI: Kimi K2.7 Code	86.0%	±1.8pp	US$0.099	8.4m	26.5k
61	Anthropic: Claude Fable 5	85.8%	±4.1pp	US$0.18	44s	3.29k
62	OpenAI: GPT-5	85.7%	±0.3pp	US$0.21	4.4m	20.9k
63	DeepSeek: DeepSeek V4 Flash 0423	85.5%	±0.8pp	US$0.006	9.8m	29k
64	Z.ai: GLM 5.3	85.2%	±1.4pp	US$0.10	9.2m	29.6k
65	Z.ai: GLM 5.3 Flash	85.0%	±2.3pp	US$0.014	10.0m	35.9k
66	MoonshotAI: Kimi K2.6	84.9%	±3.7pp	US$0.17	16.7m	54.1k
67	inclusionAI: Ling 3.0 Flash VL 파레토	84.8%	--	US$0.001	88s	17.5k
68	Z.ai: GLM 5.2	84.8%	±1.9pp	US$0.11	9.6m	45.1k
69	Qwen: Qwen3.5 397B A17B	84.6%	±2.7pp	US$0.071	9.2m	22.2k
70	MiniMax: MiniMax M2.7	84.3%	±2.1pp	US$0.047	10.6m	37.6k
71	MoonshotAI: Kimi K2.5	84.3%	±4.5pp	US$0.11	21.8m	45k
72	Google: Gemini 3.5 Flash Lite	84.1%	±0.9pp	US$0.037	51s	14.6k
73	Anthropic: Claude Sonnet 5	84.0%	±4.4pp	US$0.17	2.7m	16.4k
74	OpenAI: GPT-5.4 Mini	83.5%	±0.6pp	US$0.062	84s	13.6k
75	Thinking Machines: Inkling	83.4%	±1.1pp	US$0.095	4.9m	23.4k
76	Qwen: Qwen3.5-122B-A10B	83.3%	±3.3pp	US$0.055	4.5m	23.4k
77	MiniMax: MiniMax M2.5	82.8%	±3.2pp	US$0.026	8.2m	23.8k
78	Xiaomi: MiMo-V2.5-Pro	82.3%	±6.0pp	US$0.028	11.3m	29.2k
79	GLM 5.3 digitalocean	82.3%	--	US$0.026	2.7m	9.04k
80	DeepSeek: DeepSeek V3.2 Exp	82.1%	±0.6pp	US$0.008	10.8m	19.1k
81	Anthropic: Claude Sonnet 4.5	82.0%	±1.4pp	US$0.31	4.8m	20.8k
82	Qwen: Qwen3.8 27B	81.9%	±1.5pp	US$0.035	4.0m	13.7k
83	Qwen: Qwen3.6 27B	81.9%	±4.3pp	US$0.085	13.3m	31.5k
84	Z.ai: GLM 4.7	81.7%	±3.3pp	US$0.081	15.1m	40.7k
85	Google: Gemini 3.1 Flash Lite	81.6%	±2.1pp	US$0.041	83s	27.5k
86	Google: Gemma 4 31B	81.5%	±1.7pp	US$0.007	8.7m	17.6k
87	Z.ai: GLM 5.1	81.5%	±2.6pp	US$0.21	15.5m	55.9k
88	Google: Gemini 2.5 Pro	81.3%	±2.2pp	US$0.26	3.8m	25.5k
89	NVIDIA: Nemotron 3 Ultra	81.2%	--	US$0.14	5.1m	39.8k
90	DeepSeek: DeepSeek V3.2	81.0%	±2.6pp	US$0.009	9.3m	18.9k
91	OpenAI: GPT-5 Mini	80.8%	±1.8pp	US$0.044	3.6m	22.1k
92	Meta: Muse Glimmer 30B	80.6%	±1.4pp	US$0.023	4.2m	17.5k
93	OpenAI: GPT-5.3 Chat	80.5%	--	US$0.024	24s	1.63k
94	Qwen: Qwen3.5-35B-A3B	80.1%	±4.2pp	US$0.027	6.0m	25.6k
95	OpenAI: GPT-5.2 Chat OpenAI	79.8%	--	US$0.036	33s	2.48k
96	Qwen: Qwen3.6 35B A3B	78.8%	±3.5pp	US$0.043	8.1m	42.8k
97	Qwen: Qwen3 235B A22B Thinking 2507	77.8%	±2.1pp	US$0.056	10.7m	23.9k
98	Qwen: Qwen3.5-9B	77.7%	±1.9pp	US$0.006	11.7m	36.4k
99	OpenAI: GPT-5.4 Nano	77.7%	±0.3pp	US$0.013	68s	10.3k
100	DeepSeek: R1 0528	77.4%	±3.5pp	US$0.052	14.4m	23.5k
101	DeepSeek: DeepSeek V3.1 Terminus	77.3%	±2.1pp	US$0.016	7.1m	16k
102	Anthropic: Claude Sonnet 4	76.7%	±1.9pp	US$0.27	3.0m	17.6k
103	StepFun: Step 3.7 Flash	76.6%	--	US$0.080	7.1m	69.8k
104	Xiaomi: MiMo-V2.5	76.1%	±4.9pp	US$0.012	13.6m	36.1k
105	Mistral: Mistral Small 4	75.8%	--	US$0.015	2.9m	24k
106	Z.ai: GLM 5	75.4%	±7.4pp	US$0.14	16.8m	58.6k
107	Xiaomi: MiMo-V2.6-Flash	75.1%	±0.3pp	US$0.017	16.2m	58.8k
108	Z.ai: GLM 4.6	74.9%	±3.7pp	US$0.052	15.7m	27.1k
109	inclusionAI: Ling 3.0 Flash	74.9%	±1.9pp	US$0.003	2.8m	31k
110	MoonshotAI: Kimi K2 0905	74.7%	±1.8pp	US$0.018	71s	6.12k
111	Qwen: Qwen3 Coder Next	74.6%	±0.9pp	US$0.015	1.8m	14.4k
112	Qwen: Qwen3 235B A22B Instruct 2507	73.0%	±2.0pp	US$0.006	3.7m	7.92k
113	Anthropic: Claude Haiku 4.5	72.8%	±1.0pp	US$0.19	4.0m	37.9k
114	OpenAI: gpt-oss-120b	72.7%	±2.9pp	US$0.007	5.0m	17.9k
115	Google: Gemini 2.5 Flash	72.6%	±0.4pp	US$0.060	2.1m	23.9k
116	Google: Gemma 4 26B A4B	71.8%	±4.8pp	US$0.016	15.2m	44.8k
117	Qwen: Qwen3 Next 80B A3B Instruct	71.2%	±0.8pp	US$0.011	1.6m	10.5k
118	OpenAI: GPT-5 Nano	70.5%	±0.4pp	US$0.013	3.9m	33.3k
119	NVIDIA: Nemotron 3.5 Lightning	69.8%	±2.8pp	US$0.009	6.4m	44.7k
120	DeepSeek: DeepSeek V3.1	69.6%	±11.7pp	US$0.016	7.7m	14.8k
121	Qwen: Qwen3 VL 235B A22B Instruct	69.3%	±1.8pp	US$0.009	4.5m	6.4k
122	Gemma 4 26B A4B IT (free) Darkbloom	68.5%	--	--	6.4m	6.99k
123	Z.ai: GLM 4.6V	66.8%	--	US$0.014	5.4m	15.3k
124	Meta: Llama 4 Maverick	66.3%	±0.8pp	US$0.003	84s	2.95k
125	IBM: Granite 4.2 8B	65.7%	--	US$0.015	28.6m	64.4k
126	Anthropic: Claude Sonnet 4.6	65.5%	±13.7pp	US$0.62	10.5m	40.9k
127	OpenAI: GPT-4.1 Mini	64.9%	±1.1pp	US$0.004	29s	2.35k
128	OpenAI: GPT-4.1	64.6%	±1.4pp	US$0.015	14s	1.73k
129	Qwen: Qwen3 VL 30B A3B Instruct	64.6%	±1.8pp	US$0.007	4.0m	11.3k
130	Qwen: Qwen3 30B A3B Instruct 2507	64.3%	±1.1pp	US$0.003	2.3m	9.41k
131	OpenAI: gpt-oss-20b	63.8%	±1.6pp	US$0.009	11.0m	48.8k
132	NVIDIA: Nemotron 3 Nano 30B A3B	62.9%	±2.1pp	US$0.017	10.5m	83.9k
133	Z.ai: GLM 4.5 Air	62.3%	±4.7pp	US$0.031	13.9m	38.5k
134	DeepSeek: DeepSeek V3	62.1%	±1.2pp	US$0.002	65s	2.17k
135	Qwen: Qwen3 30B A3B	62.1%	±1.2pp	US$0.008	5.7m	15.7k
136	Qwen: Qwen3 32B	60.8%	±1.0pp	US$0.008	4.7m	17.4k
137	Qwen: Qwen3 Coder 480B A35B	60.5%	±0.7pp	US$0.003	53s	2.11k
138	Qwen: Qwen3 14B	59.2%	±0.3pp	US$0.003	8.7m	11.7k
139	Google: Gemini 2.5 Flash Lite	54.9%	±0.6pp	US$0.017	2.0m	42.9k
140	Z.ai: GLM 4.7 Flash	52.8%	±1.4pp	US$0.017	12.1m	41.8k
141	Qwen: Qwen3 Coder 30B A3B Instruct	52.0%	±0.2pp	US$0.004	1.5m	2.72k
142	OpenAI: GPT-4o (2024-08-06)	52.0%	±0.3pp	US$0.018	16s	1.56k
143	Qwen: Qwen3 VL 8B Instruct	51.3%	±0.0pp	US$0.006	2.8m	12.7k
144	DeepSeek: DeepSeek V3 0324	50.8%	±12.4pp	US$0.004	1.8m	3.88k
145	OpenAI: GPT-4o (2024-05-13)	50.7%	--	US$0.024	11s	1.32k
146	OpenAI: GPT-4o	50.6%	±0.8pp	US$0.013	13s	1.1k
147	inclusionAI: Ling 3.0 Flash Fin	50.5%	--	US$0.010	11.7m	64.8k
148	OpenAI: GPT-4.1 Nano 파레토	50.0%	±1.5pp	US$0.00084	20s	1.9k
149	Meta: Llama 3.3 70B Instruct	47.3%	±1.0pp	US$0.001	72s	2.29k
150	Qwen2.5 72B Instruct	46.0%	±1.3pp	US$0.001	1.6m	1.85k
151	Qwen: Qwen2.5 VL 72B Instruct	44.4%	±1.5pp	US$0.002	59s	1.59k
152	OpenAI: GPT-4o-mini	43.2%	±0.8pp	US$0.001	21s	1.48k
153	Tencent: Hy-MT2-30B-A3B 파레토 Reka	38.9%	--	US$0.00023	9s	711
154	Google: Gemma 3 12B	37.9%	±1.7pp	US$0.00034	46s	2.04k
155	Mistral: Mistral Nemo 파레토	33.8%	--	US$0.00013	17s	668
156	Qwen: Qwen2.5 7B Instruct	32.8%	--	US$0.00053	36s	2.04k
157	Meta: Llama 3.1 8B Instruct	28.5%	±1.8pp	US$0.001	1.9m	19.4k
158	Sao10K: Llama 3 8B Lunaris 파레토	27.3%	±0.6pp	US$0.000063	10s	586
159	Meta: Llama 3.2 3B Instruct	11.6%	--	US$0.00015	30s	1.84k
160	Google: Nano Banana 2 Lite (Gemini 3.1 Flash Lite Image)	10.3%	±0.0pp	US$0.018	22s	11.8k

예시 문제

GPQA는 단순히 정의를 암기하는 것 이상을 요구하는 4지선다형 문항을 사용합니다. 다음 대표 예시는 벤치마크의 보호된 문항 풀을 그대로 재현하지 않으면서 형식과 다양한 과학 분야를 보여 줍니다.

Biology

A researcher observes that a membrane protein is synthesized on ribosomes attached to the rough endoplasmic reticulum. Which destination is most consistent with this protein entering the secretory pathway?

A.The cytosol, where it remains soluble
B.The nucleus, after import through a nuclear pore
C.A membrane of the endomembrane system or the cell surface
D.The mitochondrial matrix through a TOM/TIM complex

답변: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

A.It increases because the exhaust carries away backward momentum
B.It decreases because the thrust points opposite to its velocity
C.It remains unchanged because thrust only changes direction
D.It becomes zero because the spacecraft is in free space

답변: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

A.The common ion increases the solid’s lattice energy
B.The common ion shifts the dissolution equilibrium toward the solid
C.The common ion converts every dissolved ion into a neutral molecule
D.The common ion removes solvent molecules from the solution

답변: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

이 벤치마크를 실행하는 이유

GPQA는 생물학, 물리학, 화학 전반을 다루는 대학원 수준의 추론 테스트이므로, 배포 상태가 정상인지 확인할 수 있는 저비용·높은 기준의 신호를 제공합니다. 평소에는 이 문항들을 통과하던 모델의 성능이 갑자기 떨어진다면, 대개 문항 자체보다는 엔드포인트나 라우팅에 문제가 있음을 의미합니다.

동일한 고정 문항 세트를 각 제공업체 엔드포인트에서 실행하므로, 같은 모델을 제공하는 제공업체 간 정확도 차이가 크면 잘못 구성되었거나 성능이 저하된 엔드포인트를 빠르게 찾아낼 수 있습니다. 비용 및 지연 시간 열에서는 이러한 추론 품질을 제공하는 데 드는 비용을 보여 줍니다.

점수가 알려 주는 것과 알려 주지 못하는 것

GPQA는 범용 지능이나 유용성을 완전히 측정하는 평가가 아니라, 범위가 좁고 난도가 높은 평가입니다. 점수는 전문가가 작성한 과학 분야 객관식 문항에서의 성능을 반영하므로, 코딩, 지시 따르기, 사실성 및 기타 평가와 함께 고려해야 합니다.

점수는 샘플링 설정, 답안 위치 처리 방식, 반복 실행 횟수에 민감할 수 있습니다. 모델의 샘플 수가 비슷할 때는 작은 차이가 의미가 없을 수 있으므로, 리더보드는 정확도만 제시하는 대신 실행 변동성과 비용 관련 맥락도 포함합니다.

이 벤치마크는 공개적으로 설명되어 있으며, 일부 문항은 향후 학습 데이터에 포함될 수 있습니다. 여기에서는 비공개 문항 풀을 재현하지 않지만, 어떤 공개 벤치마크도 향후 모든 평가 문항이 오염되지 않았음을 보장할 수는 없습니다.

방법론

Scores aggregate successful runs from the newest 90 days, weighted by question count, with a minimum sample threshold per model-provider pair. A model's headline score uses default routing when available; otherwise it falls back to the median provider. Cost, time, and output-token figures are per-question averages from the same runs. Best value is the cheapest Pareto-optimal model within five percentage points of the top score.

GPQA Diamond is described in the original paper. See the docs for routing details, or browse all models to try one.

API 액세스

이 점수는 OpenRouter의 공개 벤치마크 API를 통해 제공되므로, 동일한 모델 수준의 결과를 프로그래밍 방식으로 가져올 수 있습니다.

GET https://openrouter.ai/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

쿼리 task_type=intelligence 파라미터로 gpqa_diamond 항목만 필터링합니다. 각 항목은 하나의 모델을 나타내며 accuracy, accuracy_stddev, avg_cost_per_task, total_tasks, last_run_timestamp를 포함합니다. 자세한 내용은 벤치마크 API 문서를 참조하세요.

다운로드 및 인용

이 리더보드의 스냅샷은 benchmark-leaderboard 오픈 데이터셋에 게시되며( benchmark 열로 필터링), daily 주기로 재생성되고 API 키 없이 이용할 수 있습니다. 현재 스냅샷은 2026. 10. 12. 오전 1:46 UTC에 생성되었습니다. 이 데이터에는 다음 라이선스가 적용됩니다: CC BY 4.0. OpenRouter를 출처로 표시하면 재사용하고 재게시할 수 있습니다.

CSV 다운로드 (text/csv)
JSON 다운로드 (application/json)
스냅샷 매니페스트 (위 파일의 SHA-256 체크섬)
최신 매니페스트 (변경 가능한 별칭이며, 스냅샷이 게시될 때 업데이트됨)

열 정의, 방법론 및 마스킹 규칙은 데이터 세트 README에 있습니다.

이 리더보드 인용

OpenRouter(2026). OpenRouter의 GPQA Diamond 결과, 2026-10-12 스냅샷. https://openrouter.ai/benchmarks/gpqa-diamond. CC BY 4.0에 따라 라이선스가 부여됩니다.

자주 묻는 질문

모든 벤치마크

GPQA Diamond

마지막 벤치마크 실행 2026. 10. 12. 오후 7:52 UTC

논문 GitHub

GPQA Diamond 벤치마크에서 가장 앞선 모델들은 무엇인가요?

리더보드

최상위 행은 가능한 경우 기본 라우팅을 사용합니다. 행을 클릭하면 제공업체가 고정된 결과를 펼쳐 볼 수 있습니다.

GPQA Diamond 리더보드: 제공업체별 질문당 모델 정확도, 비용, 시간 및 출력 토큰
#	모델		표준편차
1	Google: Gemini 3.8 Flash 파레토	95.6%	--	US$0.068	2.2m	18k
2	OpenAI: GPT-6 Astra Pro	95.5%	--	US$0.33	75s	4.53k
3	Fugu Ultra	94.6%	--	US$1.15	5.5m	33.3k
4	Google: Gemini 3.1 Pro Preview	94.5%	±0.1pp	US$0.20	2.2m	16.7k
5	OpenAI: GPT-6 Astra	94.4%	--	US$0.11	57s	2.11k
6	OpenAI: GPT-6.1 Sol 파레토	94.4%	--	US$0.021	52s	1.98k
7	TypeSafe: Jev Router 파레토	93.9%	--	US$0.016	25s	2.22k
8	OpenAI: GPT-5.6 Sol Pro	93.9%	±0.2pp	US$0.30	1.8m	11.7k
9	Google: Gemini 3.7 Flash	93.9%	±0.4pp	US$0.029	59s	7.68k
10	OpenAI: GPT-5.5	93.7%	±0.4pp	US$0.31	2.5m	10.2k
11	Fugu Ultra V2	93.3%	--	US$0.50	3.2m	13.8k
12	SpaceXAI: Grok 4.6	92.8%	±0.4pp	US$0.12	6.0m	20.3k
13	Google: Gemini 3.6 Flash	92.6%	±0.4pp	US$0.060	59s	11.7k
14	Google: Gemini 3.5 Flash	92.6%	±0.4pp	US$0.14	82s	15.6k
15	Pareto	92.4%	--	US$0.034	1.9m	4.36k
16	Anthropic: Claude Sonnet 5.5	92.4%	±0.3pp	US$0.025	21s	2.28k
17	OpenAI: GPT-5.6 Sol	92.1%	±0.5pp	US$0.060	63s	3.59k
18	MoonshotAI: Kimi K3	92.0%	±1.2pp	US$0.13	5.0m	10.3k
19	OpenAI: GPT-6 Sol	91.9%	--	US$0.025	32s	2.37k
20	GLM 5.3 Flash 파레토 digitalocean	90.9%	--	US$0.005	3.9m	10.7k
21	Qwen: Qwen3.7 Max AtlasCloud	90.9%	--	US$0.22	5.0m	29.4k
22	NVIDIA: Switchyard	90.7%	±3.4pp	US$0.016	64s	3.6k
23	MiniMax: MiniMax M3	90.5%	±1.9pp	US$0.034	5.5m	29.3k
24	OpenAI: GPT-5.4	90.3%	±0.1pp	US$0.15	2.2m	9.65k
25	Anthropic: Claude Opus 5.5	90.2%	±0.3pp	US$0.054	34s	2.5k
26	DeepSeek: DeepSeek V4 Pro 0813	90.1%	±1.7pp	US$0.12	10.0m	36.4k
27	OpenAI: GPT-5.6 Luna Pro	90.0%	±0.6pp	US$0.041	2.4m	27.2k
28	Anthropic: Claude Fable 5.1	89.9%	±0.7pp	US$0.13	31s	2.4k
29	GPT-6-Luna 파레토	89.8%	--	US$0.003	73s	6.83k
30	Tencent: Hy4 preview	89.7%	--	US$0.12	14.1m	47.9k
31	Anthropic: Claude Opus 4.8	89.7%	±1.2pp	US$0.20	1.6m	7.8k
32	Anthropic: Claude Opus 4.7	89.4%	±0.9pp	US$0.23	1.8m	8.82k
33	Amazon: Nova Micro 1.0	89.0%	±0.6pp	US$0.22	1.7m	8.43k
34	DeepSeek: DeepSeek V4.1 Flash	88.8%	±0.9pp	US$0.025	4.6m	30k
35	OpenAI: GPT-5.6 Terra	88.8%	±0.6pp	US$0.034	50s	3.31k
36	Fugu Max	88.6%	--	US$0.076	3.8m	12.3k
37	Qwen: Qwen3.8 Flash	88.6%	--	US$0.021	11.2m	45.5k
38	Xiaomi: MiMo-V2.6-Pro	88.5%	±0.4pp	US$0.033	13.4m	37.4k
39	Google: Gemini 3 Flash Preview	88.4%	±0.1pp	US$0.13	4.1m	43.8k
40	OpenAI: GPT-6 Luna Pro	88.4%	--	US$0.008	73s	13.1k
41	DeepSeek: DeepSeek V4 Flash Vision Exp	88.0%	±1.1pp	US$0.023	3.9m	25.3k
42	Auto Router	88.0%	±2.6pp	US$0.089	3.3m	37.4k
43	Deepseek V4.1 Flash	87.9%	--	US$0.011	2.1m	14.3k
44	Mimo V2.6 Pro	87.9%	--	US$0.012	5.3m	14.2k
45	OpenAI: GPT-5.2 OpenAI	87.9%	--	US$0.13	2.3m	9.43k
46	Qwen: Qwen3.7 Plus Alibaba	87.9%	--	US$0.044	9.8m	34.2k
47	OpenAI: GPT-5.6 Luna	87.9%	±0.6pp	US$0.008	80s	7.83k
48	Anthropic: Claude Opus 5	87.6%	±1.8pp	US$0.13	64s	5.04k
49	OpenAI: GPT-6 Luna 파레토	87.4%	--	US$0.003	50s	5.75k
50	MoonshotAI: Kimi K2 Thinking	87.3%	±0.8pp	US$0.11	16.7m	42k
51	Qwen: Qwen3.8 2.4T A95B	86.9%	±1.2pp	US$0.082	3.4m	13.3k
52	Thinking Machines: Inkling Small	86.6%	±0.8pp	US$0.025	3.9m	20.8k
53	DeepSeek: DeepSeek V4 Pro 0423	86.4%	±1.6pp	US$0.049	12.1m	34k
54	OpenAI: GPT-5.1	86.4%	±0.5pp	US$0.22	4.3m	22k
55	MiniMax: MiniMax M2.1	86.3%	±0.6pp	US$0.044	6.1m	25k
56	DeepSeek: DeepSeek V4 Flash 0731	86.3%	±2.7pp	US$0.008	8.4m	25.1k
57	Anthropic: Claude Opus 4.6	86.2%	±1.4pp	US$0.75	8.2m	29.8k
58	Anthropic: Claude Haiku 5.5	86.2%	--	US$0.004	39s	7.86k
59	Anthropic: Claude Opus 4.5	86.1%	±0.9pp	US$0.84	6.9m	33.6k
60	MoonshotAI: Kimi K2.7 Code	86.0%	±1.8pp	US$0.099	8.4m	26.5k
61	Anthropic: Claude Fable 5	85.8%	±4.1pp	US$0.18	44s	3.29k
62	OpenAI: GPT-5	85.7%	±0.3pp	US$0.21	4.4m	20.9k
63	DeepSeek: DeepSeek V4 Flash 0423	85.5%	±0.8pp	US$0.006	9.8m	29k
64	Z.ai: GLM 5.3	85.2%	±1.4pp	US$0.10	9.2m	29.6k
65	Z.ai: GLM 5.3 Flash	85.0%	±2.3pp	US$0.014	10.0m	35.9k
66	MoonshotAI: Kimi K2.6	84.9%	±3.7pp	US$0.17	16.7m	54.1k
67	inclusionAI: Ling 3.0 Flash VL 파레토	84.8%	--	US$0.001	88s	17.5k
68	Z.ai: GLM 5.2	84.8%	±1.9pp	US$0.11	9.6m	45.1k
69	Qwen: Qwen3.5 397B A17B	84.6%	±2.7pp	US$0.071	9.2m	22.2k
70	MiniMax: MiniMax M2.7	84.3%	±2.1pp	US$0.047	10.6m	37.6k
71	MoonshotAI: Kimi K2.5	84.3%	±4.5pp	US$0.11	21.8m	45k
72	Google: Gemini 3.5 Flash Lite	84.1%	±0.9pp	US$0.037	51s	14.6k
73	Anthropic: Claude Sonnet 5	84.0%	±4.4pp	US$0.17	2.7m	16.4k
74	OpenAI: GPT-5.4 Mini	83.5%	±0.6pp	US$0.062	84s	13.6k
75	Thinking Machines: Inkling	83.4%	±1.1pp	US$0.095	4.9m	23.4k
76	Qwen: Qwen3.5-122B-A10B	83.3%	±3.3pp	US$0.055	4.5m	23.4k
77	MiniMax: MiniMax M2.5	82.8%	±3.2pp	US$0.026	8.2m	23.8k
78	Xiaomi: MiMo-V2.5-Pro	82.3%	±6.0pp	US$0.028	11.3m	29.2k
79	GLM 5.3 digitalocean	82.3%	--	US$0.026	2.7m	9.04k
80	DeepSeek: DeepSeek V3.2 Exp	82.1%	±0.6pp	US$0.008	10.8m	19.1k
81	Anthropic: Claude Sonnet 4.5	82.0%	±1.4pp	US$0.31	4.8m	20.8k
82	Qwen: Qwen3.8 27B	81.9%	±1.5pp	US$0.035	4.0m	13.7k
83	Qwen: Qwen3.6 27B	81.9%	±4.3pp	US$0.085	13.3m	31.5k
84	Z.ai: GLM 4.7	81.7%	±3.3pp	US$0.081	15.1m	40.7k
85	Google: Gemini 3.1 Flash Lite	81.6%	±2.1pp	US$0.041	83s	27.5k
86	Google: Gemma 4 31B	81.5%	±1.7pp	US$0.007	8.7m	17.6k
87	Z.ai: GLM 5.1	81.5%	±2.6pp	US$0.21	15.5m	55.9k
88	Google: Gemini 2.5 Pro	81.3%	±2.2pp	US$0.26	3.8m	25.5k
89	NVIDIA: Nemotron 3 Ultra	81.2%	--	US$0.14	5.1m	39.8k
90	DeepSeek: DeepSeek V3.2	81.0%	±2.6pp	US$0.009	9.3m	18.9k
91	OpenAI: GPT-5 Mini	80.8%	±1.8pp	US$0.044	3.6m	22.1k
92	Meta: Muse Glimmer 30B	80.6%	±1.4pp	US$0.023	4.2m	17.5k
93	OpenAI: GPT-5.3 Chat	80.5%	--	US$0.024	24s	1.63k
94	Qwen: Qwen3.5-35B-A3B	80.1%	±4.2pp	US$0.027	6.0m	25.6k
95	OpenAI: GPT-5.2 Chat OpenAI	79.8%	--	US$0.036	33s	2.48k
96	Qwen: Qwen3.6 35B A3B	78.8%	±3.5pp	US$0.043	8.1m	42.8k
97	Qwen: Qwen3 235B A22B Thinking 2507	77.8%	±2.1pp	US$0.056	10.7m	23.9k
98	Qwen: Qwen3.5-9B	77.7%	±1.9pp	US$0.006	11.7m	36.4k
99	OpenAI: GPT-5.4 Nano	77.7%	±0.3pp	US$0.013	68s	10.3k
100	DeepSeek: R1 0528	77.4%	±3.5pp	US$0.052	14.4m	23.5k
101	DeepSeek: DeepSeek V3.1 Terminus	77.3%	±2.1pp	US$0.016	7.1m	16k
102	Anthropic: Claude Sonnet 4	76.7%	±1.9pp	US$0.27	3.0m	17.6k
103	StepFun: Step 3.7 Flash	76.6%	--	US$0.080	7.1m	69.8k
104	Xiaomi: MiMo-V2.5	76.1%	±4.9pp	US$0.012	13.6m	36.1k
105	Mistral: Mistral Small 4	75.8%	--	US$0.015	2.9m	24k
106	Z.ai: GLM 5	75.4%	±7.4pp	US$0.14	16.8m	58.6k
107	Xiaomi: MiMo-V2.6-Flash	75.1%	±0.3pp	US$0.017	16.2m	58.8k
108	Z.ai: GLM 4.6	74.9%	±3.7pp	US$0.052	15.7m	27.1k
109	inclusionAI: Ling 3.0 Flash	74.9%	±1.9pp	US$0.003	2.8m	31k
110	MoonshotAI: Kimi K2 0905	74.7%	±1.8pp	US$0.018	71s	6.12k
111	Qwen: Qwen3 Coder Next	74.6%	±0.9pp	US$0.015	1.8m	14.4k
112	Qwen: Qwen3 235B A22B Instruct 2507	73.0%	±2.0pp	US$0.006	3.7m	7.92k
113	Anthropic: Claude Haiku 4.5	72.8%	±1.0pp	US$0.19	4.0m	37.9k
114	OpenAI: gpt-oss-120b	72.7%	±2.9pp	US$0.007	5.0m	17.9k
115	Google: Gemini 2.5 Flash	72.6%	±0.4pp	US$0.060	2.1m	23.9k
116	Google: Gemma 4 26B A4B	71.8%	±4.8pp	US$0.016	15.2m	44.8k
117	Qwen: Qwen3 Next 80B A3B Instruct	71.2%	±0.8pp	US$0.011	1.6m	10.5k
118	OpenAI: GPT-5 Nano	70.5%	±0.4pp	US$0.013	3.9m	33.3k
119	NVIDIA: Nemotron 3.5 Lightning	69.8%	±2.8pp	US$0.009	6.4m	44.7k
120	DeepSeek: DeepSeek V3.1	69.6%	±11.7pp	US$0.016	7.7m	14.8k
121	Qwen: Qwen3 VL 235B A22B Instruct	69.3%	±1.8pp	US$0.009	4.5m	6.4k
122	Gemma 4 26B A4B IT (free) Darkbloom	68.5%	--	--	6.4m	6.99k
123	Z.ai: GLM 4.6V	66.8%	--	US$0.014	5.4m	15.3k
124	Meta: Llama 4 Maverick	66.3%	±0.8pp	US$0.003	84s	2.95k
125	IBM: Granite 4.2 8B	65.7%	--	US$0.015	28.6m	64.4k
126	Anthropic: Claude Sonnet 4.6	65.5%	±13.7pp	US$0.62	10.5m	40.9k
127	OpenAI: GPT-4.1 Mini	64.9%	±1.1pp	US$0.004	29s	2.35k
128	OpenAI: GPT-4.1	64.6%	±1.4pp	US$0.015	14s	1.73k
129	Qwen: Qwen3 VL 30B A3B Instruct	64.6%	±1.8pp	US$0.007	4.0m	11.3k
130	Qwen: Qwen3 30B A3B Instruct 2507	64.3%	±1.1pp	US$0.003	2.3m	9.41k
131	OpenAI: gpt-oss-20b	63.8%	±1.6pp	US$0.009	11.0m	48.8k
132	NVIDIA: Nemotron 3 Nano 30B A3B	62.9%	±2.1pp	US$0.017	10.5m	83.9k
133	Z.ai: GLM 4.5 Air	62.3%	±4.7pp	US$0.031	13.9m	38.5k
134	DeepSeek: DeepSeek V3	62.1%	±1.2pp	US$0.002	65s	2.17k
135	Qwen: Qwen3 30B A3B	62.1%	±1.2pp	US$0.008	5.7m	15.7k
136	Qwen: Qwen3 32B	60.8%	±1.0pp	US$0.008	4.7m	17.4k
137	Qwen: Qwen3 Coder 480B A35B	60.5%	±0.7pp	US$0.003	53s	2.11k
138	Qwen: Qwen3 14B	59.2%	±0.3pp	US$0.003	8.7m	11.7k
139	Google: Gemini 2.5 Flash Lite	54.9%	±0.6pp	US$0.017	2.0m	42.9k
140	Z.ai: GLM 4.7 Flash	52.8%	±1.4pp	US$0.017	12.1m	41.8k
141	Qwen: Qwen3 Coder 30B A3B Instruct	52.0%	±0.2pp	US$0.004	1.5m	2.72k
142	OpenAI: GPT-4o (2024-08-06)	52.0%	±0.3pp	US$0.018	16s	1.56k
143	Qwen: Qwen3 VL 8B Instruct	51.3%	±0.0pp	US$0.006	2.8m	12.7k
144	DeepSeek: DeepSeek V3 0324	50.8%	±12.4pp	US$0.004	1.8m	3.88k
145	OpenAI: GPT-4o (2024-05-13)	50.7%	--	US$0.024	11s	1.32k
146	OpenAI: GPT-4o	50.6%	±0.8pp	US$0.013	13s	1.1k
147	inclusionAI: Ling 3.0 Flash Fin	50.5%	--	US$0.010	11.7m	64.8k
148	OpenAI: GPT-4.1 Nano 파레토	50.0%	±1.5pp	US$0.00084	20s	1.9k
149	Meta: Llama 3.3 70B Instruct	47.3%	±1.0pp	US$0.001	72s	2.29k
150	Qwen2.5 72B Instruct	46.0%	±1.3pp	US$0.001	1.6m	1.85k
151	Qwen: Qwen2.5 VL 72B Instruct	44.4%	±1.5pp	US$0.002	59s	1.59k
152	OpenAI: GPT-4o-mini	43.2%	±0.8pp	US$0.001	21s	1.48k
153	Tencent: Hy-MT2-30B-A3B 파레토 Reka	38.9%	--	US$0.00023	9s	711
154	Google: Gemma 3 12B	37.9%	±1.7pp	US$0.00034	46s	2.04k
155	Mistral: Mistral Nemo 파레토	33.8%	--	US$0.00013	17s	668
156	Qwen: Qwen2.5 7B Instruct	32.8%	--	US$0.00053	36s	2.04k
157	Meta: Llama 3.1 8B Instruct	28.5%	±1.8pp	US$0.001	1.9m	19.4k
158	Sao10K: Llama 3 8B Lunaris 파레토	27.3%	±0.6pp	US$0.000063	10s	586
159	Meta: Llama 3.2 3B Instruct	11.6%	--	US$0.00015	30s	1.84k
160	Google: Nano Banana 2 Lite (Gemini 3.1 Flash Lite Image)	10.3%	±0.0pp	US$0.018	22s	11.8k

예시 문제

Biology

A.The cytosol, where it remains soluble
B.The nucleus, after import through a nuclear pore
C.A membrane of the endomembrane system or the cell surface
D.The mitochondrial matrix through a TOM/TIM complex

답변: C

Ribosomes on the rough ER synthesize proteins destined for secretion or insertion into the endomembrane system, including the plasma membrane.

Physics

A spacecraft is far from other bodies and fires its engine in the direction opposite to its velocity. Ignoring mass loss during the brief burn, what happens immediately to its speed?

A.It increases because the exhaust carries away backward momentum
B.It decreases because the thrust points opposite to its velocity
C.It remains unchanged because thrust only changes direction
D.It becomes zero because the spacecraft is in free space

답변: B

An impulse opposite the velocity vector reduces the spacecraft’s momentum and therefore its speed during the burn.

Chemistry

Why does adding a small amount of a common ion generally reduce the solubility of a sparingly soluble ionic solid in water?

A.The common ion increases the solid’s lattice energy
B.The common ion shifts the dissolution equilibrium toward the solid
C.The common ion converts every dissolved ion into a neutral molecule
D.The common ion removes solvent molecules from the solution

답변: B

The added ion raises the concentration of a dissolution product, so Le Chatelier’s principle shifts the equilibrium toward the undissolved solid.

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

방법론

GPQA Diamond is described in the original paper. See the docs for routing details, or browse all models to try one.

API 액세스

이 점수는 OpenRouter의 공개 벤치마크 API를 통해 제공되므로, 동일한 모델 수준의 결과를 프로그래밍 방식으로 가져올 수 있습니다.

GET https://openrouter.ai/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

다운로드 및 인용

CSV 다운로드 (text/csv)
JSON 다운로드 (application/json)
스냅샷 매니페스트 (위 파일의 SHA-256 체크섬)
최신 매니페스트 (변경 가능한 별칭이며, 스냅샷이 게시될 때 업데이트됨)

열 정의, 방법론 및 마스킹 규칙은 데이터 세트 README에 있습니다.

이 리더보드 인용

OpenRouter(2026). OpenRouter의 GPQA Diamond 결과, 2026-10-12 스냅샷. https://openrouter.ai/benchmarks/gpqa-diamond. CC BY 4.0에 따라 라이선스가 부여됩니다.

GPQA Diamond

GPQA Diamond 벤치마크에서 가장 앞선 모델들은 무엇인가요?

모델 비교

비용 효율성

리더보드

예시 문제

Biology

Physics

Chemistry

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

GPQA Diamond

GPQA Diamond 벤치마크에서 가장 앞선 모델들은 무엇인가요?

모델 비교

비용 효율성

리더보드

예시 문제

Biology

Physics

Chemistry

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

GPQA Diamond

GPQA Diamond 벤치마크에서 가장 앞선 모델들은 무엇인가요?

모델 비교

비용 효율성

리더보드

예시 문제

Biology

Physics

Chemistry

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

GPQA Diamond란 무엇인가요?

OpenRouter는 GPQA Diamond에서 모델을 어떻게 평가하나요?

같은 모델을 제공하는 두 제공업체의 점수가 서로 다른 이유는 무엇인가요?

이 점수를 프로그래밍 방식으로 가져올 수 있나요?

GPQA Diamond 점수로 알 수 없는 것은 무엇인가요?

GPQA Diamond

GPQA Diamond 벤치마크에서 가장 앞선 모델들은 무엇인가요?

모델 비교

비용 효율성

리더보드

예시 문제

Biology

Physics

Chemistry

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

GPQA Diamond란 무엇인가요?

OpenRouter는 GPQA Diamond에서 모델을 어떻게 평가하나요?

같은 모델을 제공하는 두 제공업체의 점수가 서로 다른 이유는 무엇인가요?

이 점수를 프로그래밍 방식으로 가져올 수 있나요?

GPQA Diamond 점수로 알 수 없는 것은 무엇인가요?