Todos os testes de desempenho
WideSearch
O WideSearch pede ao modelo que preencha uma tabela inteira: dada uma consulta e um esquema de colunas obrigatório, ele precisa encontrar todas as entidades e todos os atributos, como todos os lançamentos de uma família de foguetes com datas e resultados. Suas 200 tarefas (100 em inglês, 100 em chinês) são avaliadas rigorosamente — uma tarefa só conta quando cada linha e cada célula correspondem à tabela de referência. Executamos o teste mantendo o modelo fixo e variando o mecanismo de pesquisa, o formato da requisição e o orçamento máximo de pesquisa. Enquanto o BrowseComp se aprofunda em um único fato oculto, o WideSearch abrange muitos fatos e atributos.
Última execução da avaliação de desempenho
- Provedores de pesquisa
- 4 provedores de pesquisa
- comparados entre configurações
- Modelos
- 4 modelos
- GPT-5.6 Luna, GPT-5.6 Sol, Claude Opus 5 e DeepSeek V4 Flash 0731
- Configurações de teste
- 1 / 5 / 25
- orçamentos de pesquisa e modo de plugin
Qual configuração de pesquisa lidera WideSearch?
GPT-5.6 Sol · high, usando Perplexity com 25-turn em 11 de ago. de 2026 lidera com 84,0% em Item F1, a medida de precisão dos itens de resposta da avaliação comparativa. As pontuações exibidas são arredondadas para uma casa decimal, portanto as configurações listadas juntas compartilham a liderança nessa precisão de exibição. A comparação usa as mesmas trilhas SSR verificadas e a metodologia WideSearch mostradas abaixo.
Resultado vencedor
A configuração com a maior pontuação, o detalhamento dessa pontuação e as melhores alternativas em custo-benefício e velocidade.
Maior qualidade
Perplexity25-turn
84,0%precisão por item de resposta
Resultado vencedor em detalhes
- Tabelas completas
- 21,0% · 21 de 100
- Tabelas incompletas
- 79 de 100
- Custo / pergunta
- US$ 0,83
- Tempo médio de geração / pergunta
- 2,3m
- Melhor custo-benefício
- US$ 0,063 / pergunta
- PerplexityGPT-5.6 Luna · xhighOrçamento de pesquisa de 5-turn 80,0% precisão por item de resposta
- Resultado de alta qualidade mais rápido
- 1,9m / pergunta
- PerplexityGPT-5.6 Sol · highOrçamento de pesquisa de 1-turn 79,8% precisão por item de resposta
Qualidade e conclusão
A precisão dos itens de resposta é a métrica principal; o sucesso na tabela completa é mostrado abaixo.
Perplexity
GPT-5.6 Sol · high 25-turn
84,0%21,0% tabelas completas
OpenAI Native
GPT-5.6 Sol · high 25-turn
81,8%16,0% tabelas completas
Parallel
GPT-5.6 Sol · high 25-turn
80,6%16,5% tabelas completas
Exa
GPT-5.6 Luna · xhigh 25-turn
78,0%16,0% tabelas completas
Precisão dos itens da resposta Tabelas completas
Como o orçamento de pesquisa afeta a precisão dos itens de resposta?
Veja como a precisão dos itens da resposta varia com o orçamento de pesquisa; o sucesso na tabela completa aparece abaixo. As células ausentes não foram executadas.
| Provedor de pesquisa | 1-turn | 5-turn | 25-turn |
|---|---|---|---|
| Perplexity | 79,8%13,0% tabelas completasGPT-5.6 Sol · high | 81,4%18,0% tabelas completasGPT-5.6 Sol · high | 84,0%21,0% tabelas completasGPT-5.6 Sol · high |
| OpenAI Native | 76,9%13,0% tabelas completasGPT-5.6 Sol · high | 78,4%17,0% tabelas completasGPT-5.6 Sol · high | 81,8%16,0% tabelas completasGPT-5.6 Sol · high |
| Parallel | 77,4%13,0% tabelas completasGPT-5.6 Sol · high | 77,8%13,5% tabelas completasGPT-5.6 Sol · high | 80,6%16,5% tabelas completasGPT-5.6 Sol · high |
| Exa | 69,1%8,0% tabelas completasGPT-5.6 Luna · xhigh | 75,7%12,0% tabelas completasGPT-5.6 Luna · xhigh | 78,0%16,0% tabelas completasGPT-5.6 Luna · xhigh |
Todas as configurações de pesquisa
Configurações verificadas para todos os modelos, classificadas pela precisão dos itens de resposta; o sucesso na tabela completa e os intervalos também são exibidos.
| # | Modelo | Provedor de pesquisa | Orçamento de pesquisa | Esforço de raciocínio | Precisão dos itens da resposta | Tabelas completas | Custo / pergunta | Tempo médio de geração / pergunta | Perguntas |
|---|---|---|---|---|---|---|---|---|---|
| 1 | | Perplexity | 25-turn | high | 84,0% | 21,0% | US$ 0,83 | 2,3m | 100 |
| 2 | | Perplexity | 25-turn | xhigh | 83,4% | 22,0% | US$ 0,17 | 2,7m | 100 |
| 3 | | OpenAI Native | 25-turn | high | 81,8% | 16,0% | US$ 0,98 | 3,9m | 100 |
| 4 | | Perplexity | 5-turn | high | 81,4% | 18,0% | US$ 0,45 | 2,2m | 100 |
| 5 | | Parallel | 25-turn | high | 80,6% | 16,5% | US$ 1,46 | 2,7m | 200 |
| 6 | | Perplexity | 5-turn | xhigh | 80,0% | 18,0% | US$ 0,063 | 2,4m | 100 |
| 7 | | Perplexity | 1-turn | high | 79,8% | 13,0% | US$ 0,26 | 1,9m | 100 |
| 8 | | OpenAI Native | 5-turn | high | 78,4% | 17,0% | US$ 0,53 | 2,7m | 100 |
| 9 | | Exa | 25-turn | xhigh | 78,0% | 16,0% | US$ 0,22 | 2,9m | 100 |
| 10 | | Parallel | 5-turn | high | 77,8% | 13,5% | US$ 0,60 | 2,6m | 200 |
Como as tarefas são pontuadas
Cada tarefa é uma consulta com uma tabela de referência. A tabela do modelo é analisada, suas linhas e colunas são alinhadas à referência por um modelo avaliador, e cada célula é comparada — correspondência exata quando possível, equivalência avaliada pelo modelo avaliador nos demais casos. Uma tarefa só é bem-sucedida quando todas as linhas de referência são encontradas e todas as células correspondem, sem linhas ausentes ou extras.
reward = all_rows_aligned ∧ every_cell_correct // ∈ {0, 1}
judge = gpt-4.1 at temperature 0 for alignment and fuzzy cells
unparseable or empty tables score 0Uma configuração de pesquisa consiste em um modelo, um mecanismo de pesquisa, um formato de solicitação e um orçamento máximo de pesquisa. As pontuações são ponderadas pelo número de perguntas em cada execução verificada; pequenos testes de verificação básica são excluídos.
Exemplo de execução real
Execuções históricas fixas, independentes do filtro de modelos acima. Resultados longos e metadados operacionais são reduzidos; consultas selecionadas podem ser editadas ou omitidas.
Tarefa
Crie uma tabela verificada de clínicas da região de Fresno
Make a comprehensive, verified list of abortion clinics operating in California during 2024 within 65 miles of E Fedora Ave in Fresno. Omit facilities that closed during 2024. Return clinic, county, full address, phone number, and Saturday hours in one Markdown table.
Este é um retrato histórico de uma avaliação comparativa de 2024, não uma orientação atual sobre serviços de saúde.
Referência
Six rows: Planned Parenthood Fulton Street, FPA Women's Health Fresno, Planned Parenthood Family First, Planned Parenthood Madera, Planned Parenthood Merced, and FPA Women's Health Tulare. The reference marks only Fulton Street as open Saturday.
Precisão dos itens de resposta de 62,2%
ExaClaude Opus 4.8 1 turnResposta final
| Clinic | County | Address | Phone | Saturday hours |
|---|---|---|---|---|
| Planned Parenthood - Fulton Street | Fresno | 650 N. Fulton Street, Fresno, CA 93728 | (559) 488-4900 | 8:00 am - 4:30 pm |
| Planned Parenthood - Family First | Fresno | 6095 N. 1st Street, Fresno, CA 93710 | (559) 446-1515 | 8:00 am - 4:30 pm |
| FPA Women's Health - Fresno | Fresno | 165 N. Clark Street, Fresno, CA 93701 | (559) 233-8657 | Not available |
O que aconteceu
The one-turn run found three of six clinics. Two rows were fully correct; Family First had the wrong Saturday hours. Answer-item accuracy was 62.2%, and the complete-table verdict was incorrect.