WideSearch fordert das Modell auf, eine vollständige Tabelle auszufüllen: Anhand einer Abfrage und eines vorgegebenen Spaltenschemas muss es jede Entität und jedes Attribut finden, etwa alle Starts einer Raketenfamilie mit Datum und Ergebnis. Die 200 Aufgaben (100 auf Englisch, 100 auf Chinesisch) werden streng bewertet – eine Aufgabe zählt nur, wenn jede Zeile und jede Zelle mit der Referenztabelle übereinstimmt. Wir führen den Test mit unverändertem Modell durch und variieren die Suchmaschine, das Anfrageformat und das maximale Suchbudget. Während BrowseComp bei einer verborgenen Tatsache in die Tiefe geht, deckt WideSearch viele Fakten und Attribute in der Breite ab.
Letzter Vergleichstestlauf


GPT-5.6 Sol · high, mit Perplexity und 25-turn, Stand: 11. Aug. 2026 liegt mit 84,0 % Item F1 vorn, dem Maß für die Genauigkeit einzelner Antwortelemente im Leistungstest. Die angezeigten Werte werden auf eine Dezimalstelle gerundet, sodass gemeinsam aufgeführte Konfigurationen bei dieser Anzeigegenauigkeit gleichauf an der Spitze liegen. Der Vergleich verwendet dieselben verifizierten SSR-Lanes und dieselbe WideSearch-Methodik wie unten dargestellt.
Die Konfiguration mit der höchsten Bewertung, die Aufschlüsselung dieser Bewertung und die stärksten Alternativen hinsichtlich Preis-Leistungs-Verhältnis und Geschwindigkeit.
Höchste Qualität

Siegerergebnis im Detail


Die Genauigkeit einzelner Antwortelemente steht im Vordergrund; die Erfolgsquote für vollständige Tabellen wird darunter angezeigt.

Vergleichen Sie die Genauigkeit der Antwortpunkte mit den Kosten und der mittleren Generierungszeit; vollständige Tabellen und Pareto-Punkte sind in jedem Diagramm enthalten.
Durchschnittliche Kosten pro Frage auf einer logarithmischen Skala. Die Linie zeigt die beste verfügbare Qualität auf jeder Preisstufe.
Nach Stichprobengröße gewichtete mittlere Generierungszeit pro Frage. Die Linie zeigt die beste verfügbare Qualität bei jedem Zeitniveau.
Sehen Sie, wie sich die Genauigkeit einzelner Antwortelemente mit dem Suchbudget verändert; darunter wird die Erfolgsquote für vollständige Tabellen angezeigt. Für fehlende Zellen wurden keine Tests durchgeführt.
| Suchanbieter | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| 79,8 %13,0 % vollständige TabellenGPT-5.6 Sol · high | 81,4 %18,0 % vollständige TabellenGPT-5.6 Sol · high | 84,0 %21,0 % vollständige TabellenGPT-5.6 Sol · high | |
| 76,9 %13,0 % vollständige TabellenGPT-5.6 Sol · high | 78,4 %17,0 % vollständige TabellenGPT-5.6 Sol · high | 81,8 %16,0 % vollständige TabellenGPT-5.6 Sol · high | |
| 77,4 %13,0 % vollständige TabellenGPT-5.6 Sol · high | 77,8 %13,5 % vollständige TabellenGPT-5.6 Sol · high | 80,6 %16,5 % vollständige TabellenGPT-5.6 Sol · high | |
| 69,1 %8,0 % vollständige TabellenGPT-5.6 Luna · xhigh | 75,7 %12,0 % vollständige TabellenGPT-5.6 Luna · xhigh | 78,0 %16,0 % vollständige TabellenGPT-5.6 Luna · xhigh |
Verifizierte Konfigurationen für alle Modelle, nach Genauigkeit der Antwortelemente geordnet; der Erfolg bei vollständigen Tabellen und die Intervalle werden ebenfalls angezeigt.
| # | Modell | Suchanbieter | Suchbudget | Reasoning-Aufwand | Genauigkeit der Antwortelemente | Vollständige Tabellen | Kosten / Frage | Mittlere Generierungszeit / Frage | Fragen |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 25-turn | high | 84,0 % | 21,0 % | 0,83 $ | 2,3m | 100 | ||
| 2 | 25-turn | xhigh | 83,4 % | 22,0 % | 0,17 $ | 2,7m | 100 | ||
| 3 | 25-turn | high | 81,8 % | 16,0 % | 0,98 $ | 3,9m | 100 | ||
| 4 | 5-turn | high | 81,4 % | 18,0 % | 0,45 $ | 2,2m | 100 | ||
| 5 | 25-turn | high | 80,6 % | 16,5 % | 1,46 $ | 2,7m | 200 | ||
| 6 | 5-turn | xhigh | 80,0 % | 18,0 % | 0,063 $ | 2,4m | 100 | ||
| 7 | 1-turn | high | 79,8 % | 13,0 % | 0,26 $ | 1,9m | 100 | ||
| 8 | 5-turn | high | 78,4 % | 17,0 % | 0,53 $ | 2,7m | 100 | ||
| 9 | 25-turn | xhigh | 78,0 % | 16,0 % | 0,22 $ | 2,9m | 100 | ||
| 10 | 5-turn | high | 77,8 % | 13,5 % | 0,60 $ | 2,6m | 200 |
WideSearch misst die Abdeckungsbreite. Der Agent muss eine vollständige Menge von Entitäten aufzählen, jedes Attribut recherchieren und eine strukturierte Tabelle ausgeben – das entspricht eher realen Rechercheabläufen (Marktanalysen, Literaturübersichten, Wettbewerbsvergleichen) als Wissensfragen mit einer einzigen Antwort. Die Hälfte der Aufgaben ist auf Chinesisch, sodass auch Suchmaschinen jenseits englischsprachiger Ergebnisse geprüft werden.
Wir führen den Test mit einem unveränderten Modell durch, weil sich so die Variablen isolieren lassen, die OpenRouter-Nutzer tatsächlich steuern können. Dazu gehören die Suchmaschine, die die Suchanfragen verarbeitet, die Ausführung der Suche als Server-Tool oder Plugin und die Anzahl der zulässigen Agentenschritte in der Schleife. Genau diese Einstellungen können Sie schon heute für eine Anfrage festlegen.
Diese Werte vergleichen Suchkonfigurationen, nicht Agentenprodukte. Das Modell liest nur Auszüge aus Suchergebnissen, ohne vollständige Seiten abzurufen oder Code-Werkzeuge zu nutzen, daher liegen die absoluten Werte unter denen veröffentlichter Agentenranglisten, die beides zulassen. Vergleichen Sie Konfigurationen statt absoluter Werte.
Der Hauptwert ist die Genauigkeit einzelner Antwortelemente, bei der übereinstimmende Tabellenelemente teilweise angerechnet werden, sodass knappe Fehlschläge sichtbar bleiben. Die strikte WideSearch-Erfolgsquote bleibt die sekundäre Kennzahl und setzt voraus, dass jede Zeile und jede Zelle der Tabelle korrekt ist. Selbst führende Modelle erzielen bereits in der zugrunde liegenden Studie niedrige Werte — die Veröffentlichung nennt für OpenAI o3 (Avg@4) eine Einzelagenten-Erfolgsquote von etwa 4,5 % und für führende Einzelagentensysteme eine Genauigkeit einzelner Antwortelemente von rund 52–58 %. Unterschiede zwischen Suchmaschinen, die kleiner als die Konfidenzbereiche sind, sind nicht eindeutig, und die Kosten einer Konfiguration sollten zusammen mit ihrer Qualität betrachtet werden.
Die Fragen sind öffentlich zugänglich, sodass Auswendiglernen die absoluten Werte mit der Zeit erhöhen kann; Unterschiede zwischen Suchkonfigurationen bleiben aussagekräftig, da jede Konfiguration dasselbe Modell verwendet.
Jede Aufgabe besteht aus einer Abfrage mit einer Referenztabelle. Die Tabelle des Modells wird geparst, ihre Zeilen und Spalten werden durch ein Bewertungsmodell an der Referenz ausgerichtet, und jede Zelle wird verglichen – nach Möglichkeit auf exakte Übereinstimmung, andernfalls auf vom Bewertungsmodell beurteilte Gleichwertigkeit. Eine Aufgabe gilt nur dann als erfolgreich, wenn jede Referenzzeile gefunden wird und jede Zelle übereinstimmt, ohne fehlende oder zusätzliche Zeilen.
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0Eine Suchkonfiguration besteht aus einem Modell, einer Suchmaschine, einem Anfrageformat und einem maximalen Suchbudget. Die Bewertungen werden nach der Anzahl der Fragen in jedem verifizierten Durchlauf gewichtet; kleine Smoke-Tests werden ausgeschlossen.
Feste historische Durchläufe, unabhängig vom Modellfilter oben. Lange Ergebnisse und betriebliche Metadaten werden gekürzt; ausgewählte Abfragen können bearbeitet oder ausgelassen werden.
Aufgabe
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
Dies ist eine historische Momentaufnahme eines Leistungstests aus dem Jahr 2024, keine aktuelle Orientierungshilfe für Gesundheitsdienstleistungen.
Referenz
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
Abschließende Antwort
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
Was passiert ist
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.
Die Durchläufe werden auf Kepler, dem Harness für Leistungsvergleiche von OpenRouter, gegen Produktionsendpunkte ausgeführt. Servertool-Konfigurationen legen ein anfragebezogenes Budget für Tool-Aufrufe fest, und zwar für das Websuch-Servertool. Plugin-Konfigurationen führen vor der Inferenz eine einzelne Suche nach der Frage durch, und zwar mit dem Websuch-Plugin. Die Suchmaschinen verwenden dieselben Standardkonfigurationen wie bei der Verarbeitung von Produktionsdatenverkehr.
Jeder Durchlauf speichert das genaue Modell, die Engine, das Anfrageformat, das Suchbudget, die Kosten und die verfügbare Zeittelemetrie. Fehlende Konfigurationen bleiben in der Vergleichstabelle fehlend, und fehlende Zeitmessdaten oder Zeitmessdaten mit dem Wert null werden nicht als sofortige Ausführung gewertet.
Ein Schnappschuss dieser Rangliste wird im search-benchmark-lanes offenen Datensatz veröffentlicht (filtern Sie anhand von benchmark als Spalte) und daily neu erstellt, ohne dass ein API-Schlüssel erforderlich ist. Der aktuelle Snapshot wurde erstellt am . Es steht unter der Lizenz CC BY 4.0, sodass Sie es mit Quellenangabe zu OpenRouter wiederverwenden und erneut veröffentlichen können.
Spaltendefinitionen, Methodik und Schwärzungsregeln finden Sie in der README des Datensatzes.
OpenRouter (2026). WideSearch-Suchergebnisse auf OpenRouter, Stand: 2026-11-03. https://openrouter.ai/benchmarks/widesearch. Lizenziert unter CC BY 4.0.