모든 벤치마크
HLE
Humanity's Last Exam은 수학, 과학, 인문학을 아우르며 인간 지식의 최전선에서 전문가가 작성한 질문을 수집합니다. 이 시험의 텍스트 전용 질문 2,158개를 검색 벤치마크로 실행합니다. 모델은 저장된 지식만으로 답하는 대신 실시간 웹 검색을 사용해 답변하며, 심사 모델은 최종 답변이 참조 답변과 일치하는지 평가합니다. 모델은 고정하고 검색 엔진, 요청 형식, 최대 검색 예산을 변경합니다. BrowseComp가 지속적인 다단계 브라우징을 중점적으로 평가한다면, HLE는 전문 지식이 필요해 어려운 질문에 실시간 검색이 어떤 도움을 주는지 보여줍니다.
마지막 벤치마크 실행
- 검색 제공업체
- 5 검색 제공업체
- 구성별 비교
- 모델
- 3 모델
- Claude Opus 5, GPT-5.6 Sol 및 Auto
- 테스트 구성
- 1 / Default / 5 / 25
- 검색 예산 및 플러그인 모드
HLE에서 선두인 검색 구성은 무엇입니까?
2026년 8월 11일 기준 Perplexity를 사용하는 Claude Opus 5 · high, 예산 25-turn이(가) 77.4% 벤치마크 정확도로 선두입니다. 표시 점수는 소수점 첫째 자리로 반올림되므로 함께 표시된 구성은 해당 정밀도에서 공동 선두입니다. 비교에는 아래에 표시된 동일한 검증된 SSR 레인과 벤치마크 방법론이 사용됩니다.
우승 결과
가장 높은 점수를 받은 구성, 해당 점수의 세부 내역, 그리고 가치와 속도 측면에서 가장 강력한 대안입니다.
최고 품질
Perplexity25-turn
77.4%답변이 기준 답안과 일치했습니다
95% 신뢰 구간 67.4%–85.0%
우승 결과 상세
- 정답
- 65/84
- 오답
- 19/84
- 질문당 비용
- US$0.46
- 질문당 평균 생성 시간
- 83s
- 최고의 가성비
- 질문당 US$0.16
- PerplexityClaude Opus 5 · high검색 예산 1-turn 75.3% 정답
- 가장 빠른 우수 결과
- 48s / 질문
- PerplexityClaude Opus 5 · high검색 예산 1-turn 75.3% 정답
품질 결과
선택한 모델에 대해 각 엔진의 최고 점수 구성을 비교합니다. 이 결과는 개별 과목의 전문성이 아니라 전반적인 답변 정확도를 측정합니다.
Perplexity
77.4%Claude Opus 5 · high 25-turn
Exa
74.2%Claude Opus 5 · high 25-turn
OpenAI Native
71.1%GPT-5.6 Sol · high 25-turn
Parallel
68.6%Claude Opus 5 · high 25-turn
Auto policy
52.5%Auto · high default budget
전문가 수준의 질문에서 검색을 더 많이 하면 도움이 될까요?
검색 예산의 최댓값이 증가할 때 정답률을 비교합니다. HLE는 전문가 지식을 중시하므로, 이 보기에서는 실시간 검색이 추가로 기여하는 정도를 보여줍니다.
| 검색 제공업체 | 1-turn | default budget | 5-turn | 25-turn |
|---|---|---|---|---|
| Perplexity | 75.3%Claude Opus 5 · high | — | 71.7%Claude Opus 5 · high | 77.4%Claude Opus 5 · high |
| Exa | 68.5%Claude Opus 5 · high | — | 71.4%Claude Opus 5 · high | 74.2%Claude Opus 5 · high |
| OpenAI Native | 66.0%GPT-5.6 Sol · high | — | 66.0%GPT-5.6 Sol · high | 71.1%GPT-5.6 Sol · high |
| Parallel | 60.1%Claude Opus 5 · high | — | 65.0%Claude Opus 5 · high | 68.6%Claude Opus 5 · high |
| Auto policy | — | 52.5%Auto · high | — | — |
모든 검색 구성
모든 모델의 검증된 모든 구성입니다. 품질, 비용, 속도 또는 질문 수를 기준으로 정렬합니다.
| # | 모델 | 검색 제공업체 | 검색 예산 | 추론 작업량 | ||||
|---|---|---|---|---|---|---|---|---|
| 1 | | Perplexity | 25-turn | high | 77.4% | US$0.46 | 83s | 84 |
| 2 | | Perplexity | 1-turn | high | 75.3% | US$0.16 | 48s | 93 |
| 3 | | Exa | 25-turn | high | 74.2% | US$0.67 | 1.7m | 89 |
| 4 | | Perplexity | 5-turn | high | 71.7% | US$0.37 | 85s | 99 |
| 5 | | Exa | 5-turn | high | 71.4% | US$0.40 | 77s | 98 |
| 6 | | OpenAI Native | 25-turn | high | 71.1% | US$0.40 | 2.0m | 97 |
| 7 | | Perplexity | 25-turn | high | 71.0% | US$0.33 | 84s | 100 |
| 8 | | Perplexity | 1-turn | high | 70.0% | US$0.11 | 44s | 100 |
| 9 | | Perplexity | 5-turn | high | 69.0% | US$0.25 | 68s | 100 |
| 10 | | Parallel | 25-turn | high | 68.6% | US$0.54 | 2.1m | 595 |
작업 점수 산정 방식
각 작업은 짧은 참조 답변이 있는 하나의 질문으로 구성됩니다. 모델은 고정된 형식(설명, 정확한 답변, 명시된 신뢰도)으로 답변하며, 심사 모델은 추출된 답변이 참조 답변과 의미적으로 동등한지 평가합니다. 이는 BrowseComp에서 사용하는 동일한 답변 동등성 채점 방식입니다. 채점은 부분 점수 없이 이진으로 이루어지며, 실패하거나 거부된 작업은 0점으로 처리됩니다.
reward = judge(extracted_answer ≡ reference_answer) // ∈ {0, 1}
judge = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0검색 구성은 하나의 모델, 검색 엔진, 요청 형식 및 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수를 기준으로 가중치가 적용되며, 소규모 스모크 테스트는 제외됩니다.
실제 실행 예시
위 모델 필터와 무관하게 고정된 과거 실행 결과입니다. 긴 결과와 운영 메타데이터는 축약되며, 선택한 쿼리는 편집되거나 생략될 수 있습니다.
작업
벌새 꼬리의 종자골 추적하기
Hummingbirds within Apodiformes uniquely have a bilaterally paired oval bone, a sesamoid embedded in the caudolateral portion of the expanded, cruciate aponeurosis of insertion of m. depressor caudae. How many paired tendons are supported by this sesamoid bone? Answer with a number.
이 질문은 공식 HLE 사이트와 공식 논문의 그림 3에 원문 그대로 게시되어 있습니다. 공개 자료에는 정답이 게시되어 있지 않으므로, 두 번의 새 실행 결과 모두 채점하지 않은 상태로 표시합니다.
공식 HLE 데이터셋 예제참조
참조 답변은 공개되지 않습니다.
미채점 · 답변 3
PerplexityClaude Opus 4.8 1 turn최종 답변
Based on the anatomy of the hummingbird tail depressor system, this unique sesamoid bone embedded in the cross-shaped aponeurosis of the m. depressor caudae supports three paired tendons.
Exact Answer: 3 Confidence: 45%
발생한 일
The shallow run made one search and answered 3, but its selected independent source only established the anatomical context, not that count. With no official public reference, the result remains ungraded.