WideSearch はモデルに表全体を埋めるよう求めるもので、クエリと必須の列スキーマが与えられると、ロケットシリーズのすべての打ち上げとその日付や結果など、すべてのエンティティと属性を見つける必要があります。200 件のタスク(英語 100 件、中国語 100 件)は厳密に採点され、すべての行とすべてのセルが参照表と一致した場合にのみ、タスクが正解とみなされます。モデルを固定したまま、検索エンジン、リクエスト形式、検索予算の上限を変えて実行します。BrowseComp が隠れた事実を深く掘り下げるのに対し、WideSearch は多くの事実と属性を幅広く調べます。
前回のベンチマーク実行


最高スコアを獲得した構成、そのスコアの内訳、そしてコストパフォーマンスと速度で最も優れた代替候補です。
最高品質

最良結果の詳細


回答項目の正解率を主指標とし、表全体の成功率をその下に表示します。

回答項目の正確性をコストおよび平均生成時間と比較でき、各チャートには完全な表とパレート点が表示されます。
質問あたりの平均コストを対数スケールで表示しています。線は、各価格帯で得られる最高の品質を示しています。
質問あたりの生成時間のサンプル数で重み付けした平均です。線は、各時間水準で利用可能な最高品質を示しています。
検索予算による回答項目の正確性の変化を確認でき、その下には表全体の成功率が表示されます。空欄のセルは未実行です。
| 検索プロバイダー | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| 79.8%13.0% 個の完成したテーブルGPT-5.6 Sol · high | 81.4%18.0% 個の完成したテーブルGPT-5.6 Sol · high | 84.0%21.0% 個の完成したテーブルGPT-5.6 Sol · high | |
| 76.9%13.0% 個の完成したテーブルGPT-5.6 Sol · high | 78.4%17.0% 個の完成したテーブルGPT-5.6 Sol · high | 81.8%16.0% 個の完成したテーブルGPT-5.6 Sol · high | |
| 77.4%13.0% 個の完成したテーブルGPT-5.6 Sol · high | 77.8%13.5% 個の完成したテーブルGPT-5.6 Sol · high | 80.6%16.5% 個の完成したテーブルGPT-5.6 Sol · high | |
| 69.1%8.0% 個の完成したテーブルGPT-5.6 Luna · xhigh | 75.7%12.0% 個の完成したテーブルGPT-5.6 Luna · xhigh | 78.0%16.0% 個の完成したテーブルGPT-5.6 Luna · xhigh |
すべてのモデル の検証済み構成を回答項目の正確性順に表示しており、表全体の成功率と区間も表示しています。
| # | モデル | 検索プロバイダー | 検索予算 | 推論の労力 | 回答項目の正確性 | 完成したテーブル | 質問あたりのコスト | 質問あたりの平均生成時間 | 質問 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 25-turn | high | 84.0% | 21.0% | $0.83 | 2.3m | 100 | ||
| 2 | 25-turn | xhigh | 83.4% | 22.0% | $0.17 | 2.7m | 100 | ||
| 3 | 25-turn | high | 81.8% | 16.0% | $0.98 | 3.9m | 100 | ||
| 4 | 5-turn | high | 81.4% | 18.0% | $0.45 | 2.2m | 100 | ||
| 5 | 25-turn | high | 80.6% | 16.5% | $1.46 | 2.7m | 200 | ||
| 6 | 5-turn | xhigh | 80.0% | 18.0% | $0.063 | 2.4m | 100 | ||
| 7 | 1-turn | high | 79.8% | 13.0% | $0.26 | 1.9m | 100 | ||
| 8 | 5-turn | high | 78.4% | 17.0% | $0.53 | 2.7m | 100 | ||
| 9 | 25-turn | xhigh | 78.0% | 16.0% | $0.22 | 2.9m | 100 | ||
| 10 | 5-turn | high | 77.8% | 13.5% | $0.60 | 2.6m | 200 |
WideSearch は網羅性を測定します。エージェントはエンティティの集合を漏れなく列挙し、各属性を調べ上げ、構造化された表を出力する必要があり、単一の答えを求める雑学問題よりも、実際の調査ワークフロー(市場調査、文献調査、競合比較表)に近いものです。タスクの半分は中国語であるため、英語の検索結果以外でもエンジンの能力を試します。
OpenRouter のユーザーが実際に制御できる変数を切り分けるため、モデルを固定して実行します。その変数とは、検索を処理するエンジン、検索をサーバーツールとプラグインのどちらで実行するか、ループ内で許可するエージェントのターン数です。これらはまさに、現在リクエストで設定できる項目です。
これらのスコアは検索構成を比較するものであり、エージェント製品を比較するものではありません。モデルは検索結果の抜粋のみを読み、ページ全体の取得もコードツールの使用も行わないため、絶対値はその両方を許可する公開エージェントランキングよりも低くなります。スコアの絶対値ではなく、構成を比較してください。
主要スコアは回答項目の正解率であり、一致した表の項目に部分点を与えることで、正解に近い回答も評価に反映します。厳密な WideSearch 成功率は副次的な指標であり、表のすべての行とセルが正しいことを求めます。最先端モデルでも元の評価ではスコアが低く、論文では OpenAI o3(Avg@4)のシングルエージェント成功率が約 4.5%、主要なシングルエージェントシステムの回答項目の正解率が約 52~58% と報告されています。信頼区間よりも小さいエンジン間の差は明確ではなく、構成のコストは品質と併せて評価する必要があります。
質問は公開されているため、記憶によって時間とともに絶対スコアが過大になる可能性がありますが、すべての構成で同じモデルを使用するため、検索構成間の差には引き続き意味があります。
各タスクは、参照テーブルを伴う一つのクエリです。モデルのテーブルを解析し、判定モデルがその行と列を参照テーブルに対応付け、各セルを比較しますが、可能な場合は完全一致で、それ以外は判定モデルが評価する同等性で比較します。参照テーブルのすべての行が見つかり、すべてのセルが一致し、欠落した行も余分な行もない場合にのみ、タスクは成功します。
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0検索構成は、単一のモデル、検索エンジン、リクエスト形式、検索予算の上限で構成されます。スコアは検証済みの各実行の質問数で重み付けされ、小規模なスモークテストは除外されます。
上のモデルフィルターとは無関係の、固定された過去の実行結果です。長い結果と運用メタデータは省略されており、一部のクエリは編集または省略される場合があります。
タスク
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
これは 2024 年時点のベンチマークのスナップショットであり、現在の医療サービスに関する指針ではありません。
参照
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
最終回答
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
起きたこと
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.
実行は、OpenRouter のベンチマークハーネスである Kepler 上で、本番エンドポイントに対して行われます。サーバーツール構成では、 ウェブ検索サーバーツールにリクエスト単位のツール呼び出し予算を設定します。プラグイン構成では、 ウェブ検索プラグインを使用して、推論前に質問を一度検索します。エンジンは、本番トラフィックの処理と同じデフォルト構成を使用します。
各実行では、使用したモデル、エンジン、リクエスト形式、検索予算、コスト、利用可能なタイミングのテレメトリが正確に保存されます。設定が欠けている場合は比較表でも欠けたままとなり、 タイミングのテレメトリが欠落している場合やゼロの場合は、瞬時に処理されたとはみなしません。
このランキングのスナップショットは、 search-benchmark-lanes の公開データセットに掲載されており、フィルタリング対象は benchmark 列で、再生成の頻度は daily で、APIキーなしで利用できます。 現在のスナップショットの生成日は です。 ライセンスは CC BY 4.0で、OpenRouter への帰属を明記すれば再利用や再公開ができます。
列定義、手法、マスキングルールは、 データセットの READMEに記載されています。
OpenRouter(2026)。OpenRouter での WideSearch の検索結果、2026-11-03 時点のスナップショット。https://openrouter.ai/benchmarks/widesearch。CC BY 4.0 に基づいてライセンスされています。