O VGI-Bench (Video General Intelligence Bench, da Seldon) faz perguntas de múltipla escolha sobre vídeos longos: o que apareceu primeiro, o que estava na tela ao mesmo tempo que outra coisa, o que um narrador disse enquanto uma cena específica era exibida e perguntas cuja premissa nunca acontece. Cada exemplo abaixo é uma execução real pela OpenRouter. O modelo recebeu o vídeo completo e a pergunta em um único turno com temperatura 0, e a resposta avaliada é a letra em sua última linha Answer: .
Última execução da avaliação comparativa
Acurácia no subconjunto público (439 perguntas, as execuções precisam ter pelo menos 395 respondidas para serem listadas), com custo, tempo e tokens de entrada e saída por pergunta para cada endpoint de provedor no qual o modelo foi executado. As pontuações agregam execuções bem-sucedidas dos últimos 90 dias.
| # | Modelo | Desvio padrão | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66,2% | ±1,0pp | US$ 0,039 | 64s | 141k | 2,03k | |
| 2 | Alibaba | 65,5% | -- | US$ 0,046 | 4,6m | 412k | 11,5k |
| 3 | 63,7% | ±4,8pp | US$ 0,073 | 2,5m | 241k | 6,5k | |
| 4 | Alibaba | 63,7% | -- | US$ 0,55 | 8,6m | 613k | 20,1k |
| 5 | 63,6% | -- | US$ 1,03 | 3,1m | 233k | 8,62k | |
| 6 | Google AI Studio | 61,4% | ±0,7pp | US$ 0,061 | 1,8m | 341 | 6,04k |
| 7 | 61,1% | -- | US$ 0,22 | 4,2m | 227k | 14,3k | |
| 8 | Alibaba | 58,0% | -- | US$ 0,33 | 8,2m | 579k | 13,6k |
| 9 | Alibaba | 56,8% | -- | US$ 0,11 | 6,2m | 1,52M | 24,1k |
| 10 | Google AI Studio | 54,8% | ±0,5pp | US$ 0,14 | 4,7m | 111k | 40,2k |
| 11 | Alibaba | 54,8% | ±0,5pp | US$ 0,27 | 5,6m | 1,48M | 10,9k |
| 12 | 54,2% | ±0,5pp | US$ 0,24 | 2,6m | 151k | 21,8k | |
| 13 | 52,8% | ±2,3pp | US$ 0,16 | 3,7m | 98,6k | 14,1k | |
| 14 | 51,3% | -- | US$ 0,008 | 6,0m | 7,53k | 13,7k | |
| 15 | 51,0% | ±0,6pp | US$ 0,16 | 2,0m | 150k | 15,3k | |
| 16 | Alibaba | 50,6% | ±0,4pp | US$ 0,21 | 7,1m | 532k | 20,9k |
| 17 | Google AI Studio | 50,0% | ±0,3pp | US$ 0,024 | 1,9m | 341 | 9,42k |
| 18 | Google AI Studio | 48,0% | -- | US$ 0,012 | 2,4m | 340 | 29,7k |
| 19 | 47,6% | ±1,9pp | US$ 0,026 | 2,3m | 36,7k | 7,15k | |
| 20 | Xiaomi | 46,5% | ±2,9pp | US$ 0,018 | 6,4m | 272k | 13,2k |
| 21 | Perceptron | 46,2% | ±0,1pp | US$ 0,008 | 2,7m | 46,4k | 817 |
| 22 | Alibaba | 46,2% | ±1,2pp | US$ 0,10 | 4,9m | 1,49M | 20,2k |
| 23 | 45,6% | -- | US$ 0,027 | 4,6m | 77,4k | 14,7k | |
| 24 | 45,5% | ±1,0pp | US$ 0,95 | 8,6m | 1,45M | 21,4k | |
| 25 | 45,5% | ±0,7pp | US$ 0,17 | 7,5m | 532k | 21,3k | |
| 26 | 45,4% | -- | US$ 0,034 | 5,2m | 337k | 11,9k | |
| 27 | Alibaba | 45,2% | ±0,8pp | US$ 1,14 | 6,7m | 1,49M | 19,4k |
| 28 | 45,1% | ±0,6pp | US$ 0,17 | 4,9m | 440k | 18,6k | |
| 29 | 44,9% | ±0,8pp | US$ 0,035 | 6,9m | 77,3k | 18,5k | |
| 30 | 43,4% | ±2,9pp | US$ 0,027 | 1,9m | 232k | 9,34k | |
| 31 | 43,4% | -- | US$ 0,34 | 3,2m | 77k | 21,1k | |
| 32 | 35,5% | ±3,4pp | US$ 0,016 | 5,2m | 150k | 12k | |
| 33 | 34,6% | ±2,7pp | US$ 0,028 | 8,3m | 58,2k | 43,9k | |
| 34 | 30,1% | ±2,6pp | US$ 0,081 | 9,8m | 53,4k | 75,3k | |
| 35 | Perceptron | 28,9% | -- | US$ 0,019 | 1,6m | 49k | 7,48k |
| 36 | 28,5% | ±0,8pp | US$ 0,016 | 1,9m | 14,6k | 30,3k | |
| 37 | 24,7% | ±7,3pp | US$ 0,004 | 2,8m | 4,59k | 9,91k | |
| 38 | 22,2% | -- | US$ 0,006 | 44s | 130k | 3,99k | |
| 39 | Reka | 21,4% | ±0,2pp | US$ 0,00015 | 31s | 1,49k | 30,5 |
| 40 | 19,2% | -- | US$ 0,001 | 1,8m | 5,71k | 9,46k | |
| 41 | 15,5% | -- | US$ 0,050 | 44s | 1,58k | 4,7k | |
| 42 | Google AI Studio | 14,7% | -- | US$ 0,32 | 3,0m | 1,63k | 15,5k |
| 43 | 14,4% | -- | US$ 0,039 | 76s | 1,42k | 10,3k | |
| 44 | Together | 13,8% | -- | US$ 0,022 | 47s | 6,28k | 6,46k |
| 45 | Alibaba | 12,8% | ±0,4pp | US$ 0,023 | 3,9m | 38k | 6,22k |
| 46 | Google | 12,4% | -- | US$ 0,013 | 24s | 1,19k | 3,29k |
| 47 | 12,4% | ±0,4pp | US$ 0,015 | 56s | 38,3k | 6,56k | |
| 48 | 12,3% | ±0,5pp | US$ 0,13 | 6,9m | 124k | 2,42k | |
| 49 | 11,8% | ±0,4pp | US$ 0,031 | 3,9m | 32,7k | 5,87k | |
| 50 | Google AI Studio | 11,5% | -- | US$ 0,016 | 24s | 1,39k | 3,97k |
| 51 | Google AI Studio | 10,9% | -- | US$ 0,098 | 59s | 1,39k | 7,96k |
| 52 | 10,8% | ±0,3pp | US$ 0,005 | 44s | 4,57k | 5,08k | |
| 53 | Google AI Studio | 10,6% | -- | US$ 0,098 | 60s | 1,39k | 8,02k |
| 54 | Google AI Studio | 10,1% | -- | US$ 0,088 | 39s | 1,38k | 9,59k |
| 55 | Google AI Studio | 8,4% | -- | US$ 0,006 | 13s | 1,39k | 2,08k |
| 56 | Google AI Studio | 8,2% | -- | US$ 0,038 | 58s | 1,39k | 25,1k |
| 57 | Google AI Studio | 8,2% | -- | US$ 0,038 | 58s | 1,38k | 25,1k |
| 58 | 6,3% | ±5,7pp | US$ 0,025 | 36s | 5,46k | 1,69k | |
| 59 | Z.AI | 5,6% | ±4,3pp | US$ 0,017 | 1,9m | 69,2k | 804 |
| 60 | 2,7% | ±1,2pp | US$ 0,003 | 8,8m | 612 | 23,6k |
O rastro de raciocínio é a percepção do modelo: os momentos que ele diz ter visto e os registros de tempo que associa a eles. Compará-lo com o vídeo mostra como a resposta foi alcançada e, nas execuções que falharam, onde a descrição diverge das imagens.
Caminho ideal: O modelo localiza o momento e o interpreta corretamente.
Pergunta 1187 global-graph/interaction_partner Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Sobre qual opção o ponteiro do mouse fica com mais frequência?
O rastro acompanha o ponteiro ao longo de toda a gravação, em vez de apenas um quadro, identifica a breve aparição do Premiere Pro perto do final como uma distração e chega à janela que domina a sessão.
Modo de falha: Objeto saliente sobre a chave
Pergunta 1862 global-graph/co_presence Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Qual opção aparece repetidamente ao mesmo tempo que o galpão de madeira do jardim durante o vídeo?
O rastro cita oito marcações de tempo de uma roda de carroça encostada no galpão e considera o apresentador incidental. A resposta correta validada por humanos é o apresentador. O modelo escolheu o objeto mais distinto no quadro em vez daquele usado para pontuar a questão.
Modo de falha: Narra um momento que nunca acontece
Pergunta 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando a falante diz que usou uma colher de sopa cheia de sal, onde está posicionada a colher medidora vermelha em relação aos grãos de coalhada?
O gabarito diz que esse momento não ocorre. O rastreamento narra uma sequência de 2:38 a 2:44 com a colher colocada em frente à coalhada, rejeita categoricamente a opção 'não acontece' e responde com detalhes que o gabarito não sustenta.
Modo de falha: Responde a uma pergunta em áudio com base em conhecimentos sobre o mundo
Pergunta 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando os dois slots M.2 estão destacados em roxo, que clique é ouvido quando o dissipador de calor superior se encaixa novamente no lugar?
O rastreamento diz 'preciso me lembrar do áudio' e depois raciocina com base em como vídeos de montagem de PCs 'tipicamente' soam, nunca com base neste vídeo. O ponto-chave é 'não acontece'. A resposta final apresenta o clique presumido como algo ouvido no vídeo.
Modo de falha: Localiza um momento quase idêntico
Pergunta 1539 near-duplicate-moments Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando a mão insere um cabo de alimentação preto na fonte de alimentação Seasonic na parte traseira do gabinete preto do PC, que superfície está atrás dele?
A pergunta aponta um momento que se repete com pequenas diferenças. O rastreamento se fixa em uma vista traseira entre 15:30 e 15:40 com uma parede branca ao fundo. O elemento-chave é uma superfície escura e texturizada, então o modelo associou a ação a uma tomada semelhante e identificou o fundo a partir dela.
Modo de falha: Nunca localiza a indicação falada
Pergunta 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
O vídeo completo enviado ao modelo, disponibilizado pelo espelho do OpenRouter usado pelo harness.
Quando ele diz “Esse tempo todo ele está lá atrás bebendo uísque”, a garrafa de uísque está à esquerda ou à direita do notebook na bancada de Craig?
A pista é uma fala. O rastreamento nunca a encontra, diz que ela “provavelmente ocorre durante a conversa no banco” e responde com base em um quadro entre 60 e 70 segundos. A chave é “não acontece”. Sem a âncora da transcrição, o modelo usou a cena mais parecida no lugar.