WideSearch 要求模型填写一整张表格:给定查询和所需的列结构,模型必须找出每个实体及其每项属性,例如某个火箭系列的所有发射记录及其日期和结果。其 200 项任务(100 项英文、100 项中文)采用严格评分——只有每一行、每一个单元格都与参考表格匹配,任务才算通过。我们在固定模型的情况下运行测试,并改变搜索引擎、请求格式和最大搜索预算。BrowseComp 深入挖掘单个隐藏事实,而 WideSearch 则广泛覆盖多个事实和属性。
上次基准测试运行


得分最高的配置、该得分的明细,以及性价比和速度方面的最佳替代方案。
最高质量

获胜结果详情


以答案项准确率为主要指标;完整表格成功率显示在下方。

比较答案项准确率与成本及平均生成时间;每张图表均提供完整表格和帕累托点。
以对数刻度显示每个问题的平均成本。曲线表示各价格水平下可达到的最佳质量。
每道题的样本加权平均生成时间。曲线显示各时间水平下可达到的最佳质量。
查看答案项准确率如何随搜索预算变化;完整表格的成功率显示在下方。空缺单元格表示未运行测试。
| 搜索提供商 | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| 79.8%13.0% 张完整表格GPT-5.6 Sol · high | 81.4%18.0% 张完整表格GPT-5.6 Sol · high | 84.0%21.0% 张完整表格GPT-5.6 Sol · high | |
| 76.9%13.0% 张完整表格GPT-5.6 Sol · high | 78.4%17.0% 张完整表格GPT-5.6 Sol · high | 81.8%16.0% 张完整表格GPT-5.6 Sol · high | |
| 77.4%13.0% 张完整表格GPT-5.6 Sol · high | 77.8%13.5% 张完整表格GPT-5.6 Sol · high | 80.6%16.5% 张完整表格GPT-5.6 Sol · high | |
| 69.1%8.0% 张完整表格GPT-5.6 Luna · xhigh | 75.7%12.0% 张完整表格GPT-5.6 Luna · xhigh | 78.0%16.0% 张完整表格GPT-5.6 Luna · xhigh |
所有模型 的已验证配置,按答案项准确率排名;同时显示整表成功率和区间。
| # | 模型 | 搜索提供商 | 搜索预算 | 推理强度 | 答案项准确率 | 完整表格 | 每题成本 | 平均生成时间 / 问题 | 问题 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 25-turn | high | 84.0% | 21.0% | US$0.83 | 2.3m | 100 | ||
| 2 | 25-turn | xhigh | 83.4% | 22.0% | US$0.17 | 2.7m | 100 | ||
| 3 | 25-turn | high | 81.8% | 16.0% | US$0.98 | 3.9m | 100 | ||
| 4 | 5-turn | high | 81.4% | 18.0% | US$0.45 | 2.2m | 100 | ||
| 5 | 25-turn | high | 80.6% | 16.5% | US$1.46 | 2.7m | 200 | ||
| 6 | 5-turn | xhigh | 80.0% | 18.0% | US$0.063 | 2.4m | 100 | ||
| 7 | 1-turn | high | 79.8% | 13.0% | US$0.26 | 1.9m | 100 | ||
| 8 | 5-turn | high | 78.4% | 17.0% | US$0.53 | 2.7m | 100 | ||
| 9 | 25-turn | xhigh | 78.0% | 16.0% | US$0.22 | 2.9m | 100 | ||
| 10 | 5-turn | high | 77.8% | 13.5% | US$0.60 | 2.6m | 200 |
WideSearch 衡量的是广度。智能体必须枚举完整的实体集合,逐一查明各项属性,并输出结构化表格——这更接近真实的研究工作流程(市场扫描、文献综述、竞争对比表),而非只有单一答案的知识问答。其中一半任务使用中文,因此它也能检验引擎在英语搜索结果之外的表现。
我们在运行时保持模型固定,因为这样可以单独考察 OpenRouter 用户实际能够控制的变量。这些变量包括由哪个引擎处理搜索、搜索是作为服务器工具还是插件运行,以及允许智能体循环执行多少轮。这些参数正是您如今可以在请求中设置的内容。
这些分数比较的是搜索配置,而非智能体产品。模型仅读取搜索结果摘要,不获取完整页面,也不使用代码工具,因此绝对分数低于已公布的智能体排行榜分数,后者允许使用这两项能力。请比较配置,而非原始分数高低。
主要分数是答案项准确率,匹配的表格项可获得部分分数,因此接近正确的结果仍能体现出来。严格的 WideSearch 成功率仍是次要指标,要求表格中的每一行、每一个单元格都正确。即使是前沿模型,在原始基准上的得分也很低——论文报告 OpenAI o3 的单智能体成功率约为 4.5%(Avg@4),领先的单智能体系统的答案项准确率约为 52–58%。小于置信区间的搜索引擎差距尚无定论,而评估配置成本时应同时考虑其质量。
这些问题是公开的,这意味着随着时间推移,记忆效应可能推高绝对分数;搜索配置之间的差异仍有意义,因为所有配置都使用相同的模型。
每项任务都是一个附带参考表格的查询。模型生成的表格会被解析,其行和列由评判模型与参考表格对齐,然后逐个比较单元格——尽可能进行精确匹配,否则由评判模型评估等价性。只有找到所有参考行且每个单元格都匹配,没有缺失或多余的行时,任务才算成功。
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0搜索配置包含一个模型、搜索引擎、请求格式和最大搜索预算。分数按每次已验证运行中的问题数量加权;小规模冒烟测试不计入。
固定的历史运行,不受上方模型筛选条件影响。较长的结果和运行元数据会被截短;所选查询可能经过编辑或被省略。
任务
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
这是 2024 年的历史基准测试快照,并非当前的医疗服务指导。
参考
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
最终答案
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
发生的情况
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.
此排行榜的快照发布在 search-benchmark-lanes 开放数据集中(按 benchmark 列筛选),更新频率为 daily ,无需 API 密钥。 当前快照生成于 。 其采用的许可协议为 CC BY 4.0,因此您可以在注明 OpenRouter 署名的情况下重复使用和重新发布。
列定义、方法和脱敏规则见 数据集 README。
OpenRouter(2026)。WideSearch 在 OpenRouter 上的搜索结果,2026-11-03 快照。https://openrouter.ai/benchmarks/widesearch。依据 CC BY 4.0 授权。