WideSearch는 모델에 전체 표를 작성하도록 요청합니다. 즉, 쿼리와 필수 열 스키마가 주어지면 로켓 계열의 모든 발사와 날짜 및 결과처럼 모든 엔터티와 모든 속성을 찾아야 합니다. 200개 작업(영어 100개, 중국어 100개)은 엄격하게 평가됩니다. 모든 행과 모든 셀이 참조 표와 일치해야만 작업이 성공한 것으로 처리됩니다. 모델은 고정한 상태에서 검색 엔진, 요청 형식 및 최대 검색 예산을 바꿔 가며 실행합니다. BrowseComp가 하나의 숨겨진 사실을 깊이 파고드는 반면, WideSearch는 많은 사실과 속성을 폭넓게 다룹니다.
마지막 벤치마크 실행


2026년 8월 11일 기준 Perplexity를 사용하는 GPT-5.6 Sol · high, 예산 25-turn이(가) 84.0% Item F1에서 선두입니다. 이는 벤치마크의 답변 항목 정확도 측정값입니다. 표시된 점수는 소수점 첫째 자리로 반올림되므로 함께 나열된 구성은 표시 정밀도 기준 공동 선두입니다. 비교에는 아래에 표시된 동일한 검증 완료 SSR 레인과 WideSearch 방법론이 사용됩니다.
가장 높은 점수를 받은 구성, 해당 점수의 세부 내역, 그리고 가치와 속도 측면에서 가장 강력한 대안입니다.
최고 품질

우승 결과 상세


답변 항목 정확도가 우선이며, 전체 표 성공 여부는 아래에 표시됩니다.

답변 항목 정확도를 비용 및 평균 생성 시간과 비교합니다. 각 차트에는 완성된 표와 파레토 포인트도 표시됩니다.
로그 눈금으로 표시한 질문당 평균 생성 비용입니다. 선은 각 가격 수준에서 이용 가능한 최고 품질을 나타냅니다.
샘플 가중치가 적용된 질문당 평균 생성 시간입니다. 선은 각 시간 수준에서 이용 가능한 최고 품질을 나타냅니다.
검색 예산에 따른 답변 항목 정확도의 변화를 보여 주며, 그 아래에 전체 표 성공률이 표시됩니다. 누락된 셀은 실행하지 않았습니다.
| 검색 제공업체 | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| 79.8%13.0% 완전한 표GPT-5.6 Sol · high | 81.4%18.0% 완전한 표GPT-5.6 Sol · high | 84.0%21.0% 완전한 표GPT-5.6 Sol · high | |
| 76.9%13.0% 완전한 표GPT-5.6 Sol · high | 78.4%17.0% 완전한 표GPT-5.6 Sol · high | 81.8%16.0% 완전한 표GPT-5.6 Sol · high | |
| 77.4%13.0% 완전한 표GPT-5.6 Sol · high | 77.8%13.5% 완전한 표GPT-5.6 Sol · high | 80.6%16.5% 완전한 표GPT-5.6 Sol · high | |
| 69.1%8.0% 완전한 표GPT-5.6 Luna · xhigh | 75.7%12.0% 완전한 표GPT-5.6 Luna · xhigh | 78.0%16.0% 완전한 표GPT-5.6 Luna · xhigh |
모든 모델에 대해 검증된 구성을 답변 항목 정확도순으로 정렬했으며, 전체 표 성공률과 구간도 함께 표시합니다.
| # | 모델 | 검색 제공업체 | 검색 예산 | 추론 작업량 | 답변 항목 정확도 | 완전한 표 | 질문당 비용 | 질문당 평균 생성 시간 | 질문 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 25-turn | high | 84.0% | 21.0% | US$0.83 | 2.3m | 100 | ||
| 2 | 25-turn | xhigh | 83.4% | 22.0% | US$0.17 | 2.7m | 100 | ||
| 3 | 25-turn | high | 81.8% | 16.0% | US$0.98 | 3.9m | 100 | ||
| 4 | 5-turn | high | 81.4% | 18.0% | US$0.45 | 2.2m | 100 | ||
| 5 | 25-turn | high | 80.6% | 16.5% | US$1.46 | 2.7m | 200 | ||
| 6 | 5-turn | xhigh | 80.0% | 18.0% | US$0.063 | 2.4m | 100 | ||
| 7 | 1-turn | high | 79.8% | 13.0% | US$0.26 | 1.9m | 100 | ||
| 8 | 5-turn | high | 78.4% | 17.0% | US$0.53 | 2.7m | 100 | ||
| 9 | 25-turn | xhigh | 78.0% | 16.0% | US$0.22 | 2.9m | 100 | ||
| 10 | 5-turn | high | 77.8% | 13.5% | US$0.60 | 2.6m | 200 |
WideSearch는 폭넓은 탐색 능력을 측정합니다. 에이전트는 전체 엔터티 집합을 열거하고 각 속성을 찾아 구조화된 표로 출력해야 합니다. 이는 단일 답변 상식 문제보다 실제 연구 워크플로(시장 조사, 문헌 조사, 경쟁사 표)에 더 가깝습니다. 작업의 절반은 중국어로 구성되어 있어 영어권 결과를 벗어난 검색 엔진도 평가합니다.
OpenRouter 사용자가 실제로 제어하는 변수를 분리하기 위해 모델은 고정한 상태에서 실행합니다. 제어 가능한 변수는 검색을 처리할 엔진, 검색을 서버 도구로 실행할지 플러그인으로 실행할지, 그리고 루프에 허용되는 에이전트 턴 수입니다. 이러한 설정은 현재 요청에서 바로 지정할 수 있습니다.
이 점수는 에이전트 제품이 아니라 검색 구성을 비교합니다. 모델은 검색 결과 발췌문만 읽으며 전체 페이지 가져오기나 코드 도구는 사용할 수 없습니다. 따라서 두 가지 모두를 허용하는 게시된 에이전트 리더보드보다 절대 수치가 낮습니다. 원시 점수 수준이 아니라 구성을 서로 비교하세요.
대표 점수는 답변 항목 정확도로, 표에서 일치하는 항목에 부분 점수를 부여해 아슬아슬하게 실패한 결과도 확인할 수 있게 합니다. 엄격한 WideSearch 성공률은 보조 지표로 유지되며, 표의 모든 행과 셀이 정확해야 합니다. 원 벤치마크에서는 최첨단 모델도 낮은 점수를 기록합니다. 논문에 따르면 OpenAI o3의 단일 에이전트 성공률은 약 4.5%(Avg@4)이며, 주요 단일 에이전트 시스템의 답변 항목 정확도는 약 52~58%입니다. 신뢰 구간보다 작은 엔진 간 격차는 아직 판단할 수 없으며, 구성의 비용은 품질과 함께 살펴봐야 합니다.
질문이 공개되어 있으므로 시간이 지나면서 암기로 인해 절대 점수가 부풀려질 수 있습니다. 그러나 모든 구성이 동일한 모델을 공유하므로 검색 구성 간 차이는 여전히 의미가 있습니다.
각 작업은 참조 표가 포함된 하나의 쿼리로 구성됩니다. 모델이 생성한 표를 구문 분석한 다음, 판정 모델이 행과 열을 참조 표에 맞춰 정렬하고 각 셀을 비교합니다. 가능한 경우 정확히 일치하는지 확인하고, 그렇지 않은 경우 판정 모델이 동등성을 평가합니다. 모든 참조 행을 찾고 모든 셀이 일치하며 누락된 행이나 추가 행이 없어야 작업이 성공한 것으로 처리됩니다.
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0검색 구성은 하나의 모델, 검색 엔진, 요청 형식 및 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수를 기준으로 가중치가 적용되며, 소규모 스모크 테스트는 제외됩니다.
위 모델 필터와 무관하게 고정된 과거 실행 결과입니다. 긴 결과와 운영 메타데이터는 축약되며, 선택한 쿼리는 편집되거나 생략될 수 있습니다.
작업
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
현재 의료 서비스 안내가 아닌 2024년의 과거 벤치마크 스냅샷입니다.
참조
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
최종 답변
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
발생한 일
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.
Runs execute on Kepler, OpenRouter's benchmark harness, against production endpoints. Server-tool configurations set a request-level tool-call budget on the web search server tool. Plugin configurations make one pre-inference search of the question with the web search plugin. Engines use the same default configurations that serve production traffic.
모든 실행에는 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 시간 측정 데이터가 저장됩니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, 시간 텔레메트리가 없거나 0인 경우 즉각적인 성능으로 간주하지 않습니다.
이 리더보드의 스냅샷은 search-benchmark-lanes 오픈 데이터셋에 게시되며( benchmark 열로 필터링), daily 주기로 재생성되고 API 키 없이 이용할 수 있습니다. 현재 스냅샷은 에 생성되었습니다. 이 데이터에는 다음 라이선스가 적용됩니다: CC BY 4.0. OpenRouter를 출처로 표시하면 재사용하고 재게시할 수 있습니다.
열 정의, 방법론 및 마스킹 규칙은 데이터 세트 README에 있습니다.
OpenRouter(2026). OpenRouter의 WideSearch 검색 결과, 2026-10-12 스냅샷. https://openrouter.ai/benchmarks/widesearch. CC BY 4.0에 따라 라이선스가 부여됩니다.