WideSearch demande au modèle de remplir un tableau entier : à partir d’une requête et d’un schéma de colonnes imposé, il doit trouver chaque entité et chaque attribut, par exemple tous les lancements d’une famille de fusées avec leurs dates et leurs résultats. Ses 200 tâches (100 en anglais, 100 en chinois) sont évaluées strictement — une tâche n’est comptabilisée que si chaque ligne et chaque cellule correspondent au tableau de référence. Nous l’exécutons en gardant le même modèle et en faisant varier le moteur de recherche, le format des requêtes et le budget de recherche maximal. Là où BrowseComp explore en profondeur un seul fait caché, WideSearch couvre un large éventail de faits et d’attributs.
Dernière exécution de l’évaluation comparative


GPT-5.6 Sol · high, via Perplexity avec 25-turn au 11 août 2026 est en tête avec un score Item F1 de 84,0 %, la mesure de précision des éléments de réponse du banc d’essai. Les scores affichés sont arrondis à une décimale, de sorte que les configurations regroupées sont ex æquo en tête à cette précision d’affichage. La comparaison utilise les mêmes parcours SSR vérifiés et la même méthodologie WideSearch présentés ci-dessous.
La configuration ayant obtenu le meilleur score, le détail de ce score et les meilleures alternatives en matière de rapport qualité-prix et de rapidité.
Qualité la plus élevée

Résultat gagnant en détail


L’exactitude des éléments de réponse est le critère principal ; le taux de réussite sur le tableau complet est affiché en dessous.

Comparez l’exactitude des éléments de réponse au coût et au temps moyen de génération ; les tableaux complets et les points de Pareto figurent dans chaque graphique.
Coût moyen par question sur une échelle logarithmique. La courbe indique la meilleure qualité disponible à chaque niveau de prix.
Temps moyen de génération par question, pondéré par le nombre d’échantillons. La courbe indique la meilleure qualité disponible pour chaque durée.
Découvrez comment l’exactitude de chaque élément de réponse évolue selon le budget de recherche ; le taux de réussite pour le tableau complet apparaît en dessous. Les cellules manquantes correspondent à des tests non exécutés.
| Fournisseur de recherche | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| 79,8 %13,0 % tableaux completsGPT-5.6 Sol · high | 81,4 %18,0 % tableaux completsGPT-5.6 Sol · high | 84,0 %21,0 % tableaux completsGPT-5.6 Sol · high | |
| 76,9 %13,0 % tableaux completsGPT-5.6 Sol · high | 78,4 %17,0 % tableaux completsGPT-5.6 Sol · high | 81,8 %16,0 % tableaux completsGPT-5.6 Sol · high | |
| 77,4 %13,0 % tableaux completsGPT-5.6 Sol · high | 77,8 %13,5 % tableaux completsGPT-5.6 Sol · high | 80,6 %16,5 % tableaux completsGPT-5.6 Sol · high | |
| 69,1 %8,0 % tableaux completsGPT-5.6 Luna · xhigh | 75,7 %12,0 % tableaux completsGPT-5.6 Luna · xhigh | 78,0 %16,0 % tableaux completsGPT-5.6 Luna · xhigh |
Configurations vérifiées pour tous les modèles, classées par exactitude des éléments de réponse ; le taux de réussite sur le tableau complet et les intervalles sont également affichés.
| # | Modèle | Fournisseur de recherche | Budget de recherche | Effort de raisonnement | Exactitude des éléments de réponse | Tableaux complets | Coût / question | Temps moyen de génération / question | Questions |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 25-turn | high | 84,0 % | 21,0 % | 0,83 $US | 2,3m | 100 | ||
| 2 | 25-turn | xhigh | 83,4 % | 22,0 % | 0,17 $US | 2,7m | 100 | ||
| 3 | 25-turn | high | 81,8 % | 16,0 % | 0,98 $US | 3,9m | 100 | ||
| 4 | 5-turn | high | 81,4 % | 18,0 % | 0,45 $US | 2,2m | 100 | ||
| 5 | 25-turn | high | 80,6 % | 16,5 % | 1,46 $US | 2,7m | 200 | ||
| 6 | 5-turn | xhigh | 80,0 % | 18,0 % | 0,063 $US | 2,4m | 100 | ||
| 7 | 1-turn | high | 79,8 % | 13,0 % | 0,26 $US | 1,9m | 100 | ||
| 8 | 5-turn | high | 78,4 % | 17,0 % | 0,53 $US | 2,7m | 100 | ||
| 9 | 25-turn | xhigh | 78,0 % | 16,0 % | 0,22 $US | 2,9m | 100 | ||
| 10 | 5-turn | high | 77,8 % | 13,5 % | 0,60 $US | 2,6m | 200 |
WideSearch mesure l’étendue de la recherche. L’agent doit énumérer un ensemble complet d’entités, rechercher chaque attribut et produire un tableau structuré — une démarche plus proche des processus de recherche réels (études de marché, revues de littérature, tableaux comparatifs de la concurrence) que des questions de culture générale à réponse unique. La moitié des tâches sont en chinois, ce qui met aussi les moteurs à l’épreuve au-delà des résultats en anglais.
Nous l’exécutons en gardant le modèle fixe, car cela permet d’isoler les variables que les utilisateurs d’OpenRouter contrôlent réellement. Il s’agit du moteur qui traite les recherches, de l’exécution de la recherche sous forme d’outil serveur ou de plugin, et du nombre de tours d’agent autorisés dans la boucle. Ces paramètres sont précisément ceux que vous pouvez définir dans une requête aujourd’hui.
Ces scores comparent des configurations de recherche, et non des produits d’agents. Le modèle lit uniquement des extraits des résultats de recherche, sans récupération de pages complètes ni outils de code, si bien que les valeurs absolues restent inférieures à celles des classements d’agents publiés, qui autorisent les deux. Comparez les configurations plutôt que les niveaux bruts.
Le score principal est l’exactitude des éléments de réponse, qui accorde un crédit partiel aux éléments de tableau correspondants afin que les réponses presque correctes restent visibles. Le taux de réussite strict WideSearch reste la mesure secondaire et exige que chaque ligne et chaque cellule du tableau soient correctes. Même les modèles de pointe obtiennent de faibles scores dans l’étude d’origine — l’article rapporte un taux de réussite d’environ 4,5 % avec un seul agent pour OpenAI o3 (Avg@4), avec une exactitude des éléments de réponse d’environ 52–58 % pour les meilleurs systèmes à agent unique. Les écarts entre moteurs inférieurs aux intervalles de confiance ne permettent pas de conclure, et le coût d’une configuration doit être considéré en parallèle de sa qualité.
Les questions sont publiques, ce qui signifie que la mémorisation peut gonfler les scores absolus au fil du temps ; les différences entre les configurations de recherche restent pertinentes, car toutes utilisent le même modèle.
Chaque tâche est une requête accompagnée d’un tableau de référence. Le tableau du modèle est analysé, ses lignes et ses colonnes sont alignées sur la référence par un modèle juge, et chaque cellule est comparée — correspondance exacte lorsque c’est possible, équivalence évaluée par le juge sinon. Une tâche ne réussit que si chaque ligne de référence est trouvée et que chaque cellule correspond, sans aucune ligne manquante ou supplémentaire.
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0Une configuration de recherche comprend un modèle, un moteur de recherche, un format de requête et un budget de recherche maximal. Les scores sont pondérés par le nombre de questions de chaque exécution vérifiée ; les petits tests de bon fonctionnement sont exclus.
Exécutions historiques fixes, indépendantes du filtre de modèles ci-dessus. Les résultats longs et les métadonnées opérationnelles sont abrégés ; certaines requêtes peuvent être modifiées ou omises.
Tâche
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
Il s’agit d’un aperçu historique des résultats d’évaluation de 2024, et non de recommandations actuelles concernant les services de santé.
Référence
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
Réponse finale
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
Ce qui s’est passé
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.
Les exécutions ont lieu sur Kepler, le harness d’évaluation comparative d’OpenRouter, sur des points de terminaison de production. Les configurations d’outil serveur définissent un budget d’appels d’outil par requête pour l’ outil serveur de recherche web. Les configurations d’extension effectuent une seule recherche de la question avant l’inférence avec l’ extension de recherche web. Les moteurs utilisent les mêmes configurations par défaut que celles qui traitent le trafic de production.
Chaque exécution conserve le modèle exact, le moteur, le format de requête, le budget de recherche, le coût et les données de télémétrie temporelle disponibles. Les configurations manquantes restent absentes du tableau comparatif, et une télémétrie temporelle absente ou nulle n’est pas considérée comme une performance instantanée.
Un instantané de ce classement est publié dans le jeu de données ouvert search-benchmark-lanes (filtrez sur la colonne benchmark ), régénéré daily sans qu’aucune clé API soit requise. L’instantané actuel a été généré le . Il est distribué sous licence CC BY 4.0, vous pouvez donc le réutiliser et le republier en mentionnant OpenRouter.
Les définitions des colonnes, la méthodologie et les règles de masquage figurent dans le README du jeu de données.
OpenRouter (2026). Résultats de recherche WideSearch sur OpenRouter, instantané du 2026-11-02. https://openrouter.ai/benchmarks/widesearch. Sous licence CC BY 4.0.