WideSearch는 모델에 전체 표를 채우도록 요구하며, 쿼리와 필수 열 스키마가 주어지면 특정 로켓 계열의 모든 발사에 대한 날짜와 결과처럼 모든 개체와 속성을 찾아야 합니다. 200개 작업(영어 100개, 중국어 100개)은 엄격하게 채점되며, 모든 행과 모든 셀이 기준 표와 일치해야만 작업을 성공한 것으로 인정합니다. 모델을 고정한 상태에서 검색 엔진, 요청 형식, 최대 검색 예산을 바꾸어 실행합니다. BrowseComp가 숨겨진 사실 하나를 깊이 파고드는 반면, WideSearch는 여러 사실과 속성을 폭넓게 탐색합니다.
최근 벤치마크 실행


GPT-5.6 Sol · high, 2026년 8월 11일 기준 25-turn 예산으로 Perplexity 사용의 Item F1 점수는 84.0%로 선두이며, 이는 벤치마크의 답변 항목 정확도 지표입니다. 표시 점수는 소수점 첫째 자리로 반올림되므로 함께 나열된 구성은 표시된 정밀도에서 공동 선두입니다. 비교에는 아래에 제시된 것과 동일한 검증된 SSR 레인과 WideSearch 방법론이 사용됩니다.
가장 높은 점수를 받은 구성, 해당 점수의 세부 내역, 비용 효율과 속도 측면에서 가장 뛰어난 대안입니다.
최고 품질

최고 결과 상세


답변 항목 정확도가 주요 지표이며, 전체 표 성공률은 아래에 표시됩니다.

답변 항목 정확도를 비용 및 평균 생성 시간과 비교할 수 있으며, 전체 표와 파레토 점은 각 차트에 표시됩니다.
질문당 평균 비용을 로그 척도로 표시합니다. 선은 각 가격대에서 이용 가능한 최고 품질을 나타냅니다.
질문당 표본 가중 평균 생성 시간입니다. 선은 각 시간 수준에서 가능한 최상의 품질을 보여줍니다.
검색 예산에 따라 답변 항목의 정확도가 어떻게 달라지는지 확인할 수 있으며, 전체 표 완성 성공률은 아래에 표시됩니다. 비어 있는 셀은 실행하지 않은 항목입니다.
| 검색 제공업체 | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| 79.8%13.0% 개의 완성된 표GPT-5.6 Sol · high | 81.4%18.0% 개의 완성된 표GPT-5.6 Sol · high | 84.0%21.0% 개의 완성된 표GPT-5.6 Sol · high | |
| 76.9%13.0% 개의 완성된 표GPT-5.6 Sol · high | 78.4%17.0% 개의 완성된 표GPT-5.6 Sol · high | 81.8%16.0% 개의 완성된 표GPT-5.6 Sol · high | |
| 77.4%13.0% 개의 완성된 표GPT-5.6 Sol · high | 77.8%13.5% 개의 완성된 표GPT-5.6 Sol · high | 80.6%16.5% 개의 완성된 표GPT-5.6 Sol · high | |
| 69.1%8.0% 개의 완성된 표GPT-5.6 Luna · xhigh | 75.7%12.0% 개의 완성된 표GPT-5.6 Luna · xhigh | 78.0%16.0% 개의 완성된 표GPT-5.6 Luna · xhigh |
모든 모델의 검증된 구성을 답변 항목 정확도순으로 정렬했으며, 전체 표 성공률과 구간도 표시합니다.
| # | 모델 | 검색 제공업체 | 검색 예산 | 추론 노력 | 답변 항목 정확도 | 완성된 표 | 질문당 비용 | 질문당 평균 생성 시간 | 질문 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 25-turn | high | 84.0% | 21.0% | US$0.83 | 2.3m | 100 | ||
| 2 | 25-turn | xhigh | 83.4% | 22.0% | US$0.17 | 2.7m | 100 | ||
| 3 | 25-turn | high | 81.8% | 16.0% | US$0.98 | 3.9m | 100 | ||
| 4 | 5-turn | high | 81.4% | 18.0% | US$0.45 | 2.2m | 100 | ||
| 5 | 25-turn | high | 80.6% | 16.5% | US$1.46 | 2.7m | 200 | ||
| 6 | 5-turn | xhigh | 80.0% | 18.0% | US$0.063 | 2.4m | 100 | ||
| 7 | 1-turn | high | 79.8% | 13.0% | US$0.26 | 1.9m | 100 | ||
| 8 | 5-turn | high | 78.4% | 17.0% | US$0.53 | 2.7m | 100 | ||
| 9 | 25-turn | xhigh | 78.0% | 16.0% | US$0.22 | 2.9m | 100 | ||
| 10 | 5-turn | high | 77.8% | 13.5% | US$0.60 | 2.6m | 200 |
WideSearch는 탐색의 폭을 측정합니다. 에이전트는 전체 엔터티 집합을 열거하고 각 속성을 추적하여 구조화된 표를 출력해야 하며, 이는 단답형 퀴즈보다 실제 조사 워크플로(시장 조사, 문헌 조사, 경쟁 비교표)에 더 가깝습니다. 작업의 절반은 중국어로 되어 있어 영어 검색 결과 외의 영역에서도 엔진을 테스트합니다.
OpenRouter 사용자가 실제로 제어할 수 있는 변수를 분리하기 위해 모델을 고정한 상태로 실행합니다. 이러한 변수는 검색을 처리하는 엔진, 검색을 서버 도구 또는 플러그인으로 실행할지 여부, 루프에 허용되는 에이전트 턴 수입니다. 이 설정들은 현재 요청에서 지정할 수 있는 항목과 정확히 일치합니다.
이 점수는 에이전트 제품이 아닌 검색 구성을 비교합니다. 모델은 전체 페이지를 가져오거나 코드 도구를 사용하지 않고 검색 결과 발췌문만 읽으므로, 절대 수치는 두 기능을 모두 허용하는 공개 에이전트 순위표보다 낮습니다. 원점수 수준보다 구성을 비교하십시오.
주요 점수는 답변 항목 정확도로, 일치하는 표 항목에 부분 점수를 부여하여 정답에 가까운 결과도 드러나게 합니다. 엄격한 WideSearch 성공률은 보조 지표로 유지되며 표의 모든 행과 셀이 정확해야 합니다. 최첨단 모델조차 원본 벤치마크에서 낮은 점수를 기록하며, 논문에 따르면 OpenAI o3의 단일 에이전트 성공률은 약 4.5%(Avg@4)이고 주요 단일 에이전트 시스템의 답변 항목 정확도는 약 52–58%입니다. 신뢰 구간보다 작은 엔진 간 격차는 확정할 수 없으며, 구성의 비용은 품질과 함께 고려해야 합니다.
질문이 공개되어 있으므로 시간이 지나면서 암기로 인해 절대 점수가 부풀려질 수 있지만, 모든 구성이 동일한 모델을 공유하므로 검색 구성 간 차이는 여전히 의미가 있습니다.
각 작업은 참조 표가 있는 하나의 쿼리입니다. 모델의 표를 파싱하고, 심사 모델이 행과 열을 참조 표에 맞춰 정렬하며, 각 셀을 비교하되 가능한 경우에는 정확한 일치 여부를 확인하고 그렇지 않은 경우에는 심사 모델이 동등성을 평가합니다. 누락되거나 추가된 행 없이 모든 참조 행을 찾고 모든 셀이 일치해야만 작업이 성공합니다.
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0검색 구성은 하나의 모델, 검색 엔진, 요청 형식, 최대 검색 예산으로 이루어집니다. 점수는 검증된 각 실행의 질문 수에 따라 가중치가 부여되며, 소규모 스모크 테스트는 제외됩니다.
위의 모델 필터와 무관한 고정된 과거 실행 결과입니다. 긴 결과와 운영 메타데이터는 축약되며, 선택된 쿼리는 편집되거나 생략될 수 있습니다.
작업
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
이는 2024년의 과거 벤치마크 스냅샷이며, 현재의 의료 서비스 지침이 아닙니다.
참조
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
최종 답변
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
발생한 일
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.
실행은 OpenRouter의 벤치마크 하네스인 Kepler에서 프로덕션 엔드포인트를 대상으로 수행됩니다. 서버 도구 구성은 요청 수준의 도구 호출 예산을 웹 검색 서버 도구에 설정합니다. 플러그인 구성은 추론 전에 질문에 대한 검색을 한 번 수행하며, 이때 사용하는 도구는 웹 검색 플러그인입니다. 엔진은 프로덕션 트래픽을 처리하는 것과 동일한 기본 구성을 사용합니다.
각 실행은 정확한 모델, 엔진, 요청 형식, 검색 예산, 비용 및 사용 가능한 타이밍 텔레메트리를 영구 저장합니다. 누락된 구성은 비교 표에서도 누락된 상태로 유지되며, 시간 측정 원격 분석 데이터가 없거나 값이 0인 경우 즉각적인 성능으로 간주하지 않습니다.
이 리더보드의 스냅샷은 search-benchmark-lanes 공개 데이터셋에 게시되며(필터링 기준: benchmark 열), daily 간격으로 재생성되며 API 키가 필요하지 않습니다. 현재 스냅샷은 에 생성되었습니다. 라이선스는 CC BY 4.0이며, OpenRouter를 출처로 표시하면 재사용 및 재게시할 수 있습니다.
열 정의, 방법론 및 마스킹 규칙: 데이터 세트 README에서 확인할 수 있습니다.
OpenRouter (2026). OpenRouter의 WideSearch 검색 결과, 2026-11-03 스냅샷. https://openrouter.ai/benchmarks/widesearch. CC BY 4.0 라이선스 적용.