VGI-Bench

VGI-Bench (Video General Intelligence Bench, de Seldon) plantea preguntas de opción múltiple sobre vídeos de larga duración: qué apareció primero, qué se mostraba en pantalla al mismo tiempo que otra cosa, qué dijo un narrador mientras se mostraba un plano específico y preguntas cuya premisa nunca ocurre. Cada ejemplo que aparece a continuación es una ejecución real a través de OpenRouter. El modelo recibió el vídeo completo y la pregunta en un solo turno con temperatura 0, y la respuesta evaluada es la letra de su última línea Answer: .

Última ejecución de la evaluación comparativa 2 nov 2026, 23:30 UTC

Conjunto de datos GitHub

Clasificación

Precisión en la partición pública (439 preguntas; las ejecuciones deben tener al menos 395 respondidas para aparecer en la lista), con el coste, el tiempo y los tokens de entrada y salida por pregunta para cada endpoint de proveedor en el que se ejecutó el modelo. Las puntuaciones agregan las ejecuciones satisfactorias de los últimos 90 días.

Clasificación de VGI-Bench: precisión del modelo, costo, tiempo y tokens de entrada y salida por pregunta, por proveedor
#	Modelo		Desv. estándar
1	ByteDance Seed: Seed 1.6 Pareto	66,2 %	±1,0pp	0,039 US$	64s	141k	2,03k
2	Qwen: Qwen3.8 Omni Flash Alibaba	65,5 %	--	0,046 US$	4,6m	412k	11,5k
3	ByteDance Seed: Seed-2.0-Lite Seed	63,7 %	±4,8pp	0,073 US$	2,5m	241k	6,5k
4	Qwen: Qwen3.8 Max (0902) Alibaba	63,7 %	--	0,55 US$	8,6m	613k	20,1k
5	Meta: Muse Wonder Meta	63,6 %	--	1,03 US$	3,1m	233k	8,62k
6	Google: Gemini 2.5 Pro Google AI Studio	61,4 %	±0,7pp	0,061 US$	1,8m	341	6,04k
7	Meta: Muse Spark 1.3 Meta	61,1 %	--	0,22 US$	4,2m	227k	14,3k
8	Qwen: Qwen3.8 Max (0803) Alibaba	58,0 %	--	0,33 US$	8,2m	579k	13,6k
9	Qwen: Qwen3.8 Flash Alibaba	56,8 %	--	0,11 US$	6,2m	1,52M	24,1k
10	Google: Gemini 3 Flash Preview Google AI Studio	54,8 %	±0,5pp	0,14 US$	4,7m	111k	40,2k
11	Qwen: Qwen3.7 Flash Alibaba	54,8 %	±0,5pp	0,27 US$	5,6m	1,48M	10,9k
12	Meta: Muse Spark 1.1 Meta	54,2 %	±0,5pp	0,24 US$	2,6m	151k	21,8k
13	Meta: Muse Spark Open	52,8 %	±2,3pp	0,16 US$	3,7m	98,6k	14,1k
14	Google: Gemma 4 31B Pareto	51,3 %	--	0,008 US$	6,0m	7,53k	13,7k
15	Meta: Muse Spark 1.2 Meta	51,0 %	±0,6pp	0,16 US$	2,0m	150k	15,3k
16	Qwen: Qwen3.6 Plus Alibaba	50,6 %	±0,4pp	0,21 US$	7,1m	532k	20,9k
17	Google: Gemini 2.5 Flash Google AI Studio	50,0 %	±0,3pp	0,024 US$	1,9m	341	9,42k
18	Google: Gemini 2.5 Flash Lite Google AI Studio	48,0 %	--	0,012 US$	2,4m	340	29,7k
19	Qwen: Qwen3.8 27B	47,6 %	±1,9pp	0,026 US$	2,3m	36,7k	7,15k
20	Xiaomi: MiMo-V2.5 Xiaomi	46,5 %	±2,9pp	0,018 US$	6,4m	272k	13,2k
21	Perceptron: Perceptron Mk1 Perceptron	46,2 %	±0,1pp	0,008 US$	2,7m	46,4k	817
22	Qwen: Qwen3.5-Flash Alibaba	46,2 %	±1,2pp	0,10 US$	4,9m	1,49M	20,2k
23	Xiaomi: MiMo-X-Pro Preview Xiaomi	45,6 %	--	0,027 US$	4,6m	77,4k	14,7k
24	Qwen: Qwen3.5 397B A17B	45,5 %	±1,0pp	0,95 US$	8,6m	1,45M	21,4k
25	Qwen: Qwen3.5 Plus 2026-02-15 Alibaba	45,5 %	±0,7pp	0,17 US$	7,5m	532k	21,3k
26	Xiaomi: MiMo-X-Flash Preview Xiaomi	45,4 %	--	0,034 US$	5,2m	337k	11,9k
27	Qwen: Qwen3.6 Flash Alibaba	45,2 %	±0,8pp	1,14 US$	6,7m	1,49M	19,4k
28	Qwen: Qwen3.5 Plus 2026-04-20 Alibaba	45,1 %	±0,6pp	0,17 US$	4,9m	440k	18,6k
29	Xiaomi: MiMo-V2.6-Pro	44,9 %	±0,8pp	0,035 US$	6,9m	77,3k	18,5k
30	ByteDance Seed: Seed-2.0-Mini Seed	43,4 %	±2,9pp	0,027 US$	1,9m	232k	9,34k
31	Xiaomi: MiMo-V2.6-Pro-UltraSpeed Xiaomi	43,4 %	--	0,34 US$	3,2m	77k	21,1k
32	Xiaomi: MiMo-V2.6-Flash	35,5 %	±3,4pp	0,016 US$	5,2m	150k	12k
33	Z.ai: GLM 5.3 Flash	34,6 %	±2,7pp	0,028 US$	8,3m	58,2k	43,9k
34	MiniMax: MiniMax M3	30,1 %	±2,6pp	0,081 US$	9,8m	53,4k	75,3k
35	Perceptron: Perceptron Mk1.5 Perceptron	28,9 %	--	0,019 US$	1,6m	49k	7,48k
36	NVIDIA: Nemotron 3.5 Super VL	28,5 %	±0,8pp	0,016 US$	1,9m	14,6k	30,3k
37	Google: Gemma 4 26B A4B Pareto	24,7 %	±7,3pp	0,004 US$	2,8m	4,59k	9,91k
38	MiniMax: MiniMax M3.1 Flash	22,2 %	--	0,006 US$	44s	130k	3,99k
39	Reka Edge Pareto Reka	21,4 %	±0,2pp	0,00015 US$	31s	1,49k	30,5
40	inclusionAI: Ling 3.0 Flash VL	19,2 %	--	0,001 US$	1,8m	5,71k	9,46k
41	Google: Gemini 4 Argon	15,5 %	--	0,050 US$	44s	1,58k	4,7k
42	Google: Gemini 4 Carbon (EAP) Google AI Studio	14,7 %	--	0,32 US$	3,0m	1,63k	15,5k
43	Google: Gemini 3.8 Flash	14,4 %	--	0,039 US$	76s	1,42k	10,3k
44	Elorian: Glimpse Together	13,8 %	--	0,022 US$	47s	6,28k	6,46k
45	Qwen: Qwen3.5-122B-A10B Alibaba	12,8 %	±0,4pp	0,023 US$	3,9m	38k	6,22k
46	Google: Gemini 3.7 Flash Google	12,4 %	--	0,013 US$	24s	1,19k	3,29k
47	Qwen: Qwen3.5-35B-A3B	12,4 %	±0,4pp	0,015 US$	56s	38,3k	6,56k
48	Z.ai: GLM 5V Turbo Z.AI	12,3 %	±0,5pp	0,13 US$	6,9m	124k	2,42k
49	Qwen: Qwen3.6 27B	11,8 %	±0,4pp	0,031 US$	3,9m	32,7k	5,87k
50	Google: Gemini 3.6 Flash Google AI Studio	11,5 %	--	0,016 US$	24s	1,39k	3,97k
51	Google: Gemini 3.1 Pro Preview Google AI Studio	10,9 %	--	0,098 US$	59s	1,39k	7,96k
52	Qwen: Qwen3.6 35B A3B	10,8 %	±0,3pp	0,005 US$	44s	4,57k	5,08k
53	Google: Gemini 3.1 Pro Preview Custom Tools Google AI Studio	10,6 %	--	0,098 US$	60s	1,39k	8,02k
54	Google: Gemini 3.5 Flash Google AI Studio	10,1 %	--	0,088 US$	39s	1,38k	9,59k
55	Google: Gemini 3.5 Flash Lite Google AI Studio	8,4 %	--	0,006 US$	13s	1,39k	2,08k
56	Google: Gemini 3.1 Flash Lite Google AI Studio	8,2 %	--	0,038 US$	58s	1,39k	25,1k
57	Google: Gemini 3.1 Flash Lite Preview Google AI Studio	8,2 %	--	0,038 US$	58s	1,38k	25,1k
58	MoonshotAI: Kimi K3	6,3 %	±5,7pp	0,025 US$	36s	5,46k	1,69k
59	Z.ai: GLM 4.6V Z.AI	5,6 %	±4,3pp	0,017 US$	1,9m	69,2k	804
60	Qwen: Qwen3.5-9B	2,7 %	±1,2pp	0,003 US$	8,8m	612	23,6k

Trayectorias

La traza de razonamiento refleja la percepción del modelo: los momentos que afirma haber visto y las marcas de tiempo que les asigna. Compararla con el vídeo muestra cómo se llegó a la respuesta y, en las ejecuciones fallidas, dónde la descripción se aparta de las imágenes.

correcto

La ventana sobre la que permanece el puntero durante más tiempo

Escenario ideal: El modelo localiza el momento y lo interpreta correctamente.

Pregunta 1187 global-graph/interaction_partner Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

¿Sobre qué opción se sitúa el puntero del ratón con mayor frecuencia?

A)Windhawk application windowclave, modelo
B)Install button
C)Adobe Premiere Pro window
D)Windows taskbar

respondió A ✓clave A

La traza sigue el puntero a lo largo de toda la grabación en lugar de un solo fotograma, identifica la breve aparición de Premiere Pro cerca del final como un distractor y se decide por la ventana que domina la sesión.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.

incorrecto

Objeto presente junto a una caseta de jardín

Modo de fallo: Objeto destacado sobre la llave

Pregunta 1862 global-graph/co_presence Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

¿Qué opción aparece repetidamente al mismo tiempo que la caseta de jardín de madera durante el video?

A)presenter with short curly hairclave
B)metal shed hinge
C)wagon wheelmodelo
D)glass doors

respondió C ✗clave A

La traza cita ocho marcas de tiempo de una rueda de carro apoyada contra el cobertizo y descarta al presentador por considerarlo incidental. La respuesta correcta validada por humanos es el presentador. El modelo eligió el objeto más distintivo del fotograma en lugar de aquel en el que se basaba la puntuación de la pregunta.

The question asks which option is repeatedly visible at the same time as the wooden garden shed during the video. Let me look at the frames where a wooden garden shed appears. At around 3:57-4:00, there's a wooden garden shed with a wagon wheel leaning against it, and the presenter is sitting in front of it. At 4:57-5:15, the same wooden shed with the wagon wheel is visible while the presenter talks about the slab base. So the wooden garden shed appears together with the wagon wheel in multiple segments. Let me check the other options: - A) presenter with short curly hair - the presenter is visible in many places, but the question is about what's visible at the same time as the wooden shed. The presenter is there too, but the wagon wheel is a distinctive object attached to the shed scene. - B) metal shed hinge - not particularly visible. - C) wagon wheel - yes, clearly visible leaning against the wooden shed in multiple frames (3:57, 4:00, 4:57, 5:00, 5:03, 5:07, 5:11, 5:15). - D) glass doors - those are on a different building (the dark shed with white doors). The wagon wheel is repeatedly visible alongside the wooden garden shed. The answer is C. Let me double check the frames. At 3:57 the presenter sits against a wooden shed with a large wagon wheel on the right. At 4:57-5:15 same scene. So wagon wheel is repeatedly visible with the wooden shed. Thus answer C.

incorrecto

Una pregunta con una premisa falsa sobre una cuchara medidora

Modo de fallo: Narra un momento que nunca ocurre

Pregunta 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando la hablante dice que usó una cucharada entera de sal, ¿dónde está situada la cuchara medidora roja con respecto a la cuajada de queso?

A)This does not happen in the video.clave
B)It is resting beside the bowl of cheese curds.
C)It is positioned just in front of the cheese curds.modelo
D)It is laid across the top of the cheese curds.

respondió C ✗clave A

La clave de respuestas indica que este momento no ocurre. La traza narra una secuencia de 2:38 a 2:44 en la que se deja la cuchara delante de la cuajada, rechaza de plano la opción «no ocurre» y responde con detalles que la clave de respuestas no respalda.

The user wants me to look at the video and determine the position of the red measuring spoon relative to the cheese curds when the speaker mentions using a full tablespoon of salt. Let me trace through the video. Around 2:38-2:42, the speaker is adding salt to the cheese curds in a cloth-lined pot. She holds a red measuring spoon with salt in it. At 2:42, she sets the red spoon down. Let me look at where it ends up. At 2:42-2:44, after adding the salt, she places the red spoon down in front of the bowl/curds. Looking at the frame at 2:44, the red spoon is lying on the counter just in front of the cheese curds (the cloth-lined pot). Then she picks up the wooden spoon to stir. Let me check the options: A) Does not happen - but it does happen, she uses a tablespoon of salt. B) Resting beside the bowl - "beside" could be left/right. C) Positioned just in front of the cheese curds. D) Laid across the top. Looking at the frame at 2:44, the red spoon is at the bottom of the frame, in front of the curds. So "just in front of the cheese curds" matches C. Let me double check the timestamp. At 2:38 she holds the red spoon with salt. At 2:42 she tips it in. At 2:44 the red spoon is resting on the counter at the front edge, in front of the curds. Yes. Thus answer C. I need to provide reasoning then final answer format.

incorrecto

El sonido de un disipador M.2 al encajar

Modo de fallo: Responde a una pregunta de audio a partir de conocimientos generales

Pregunta 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando las dos ranuras M.2 se resaltan en morado, ¿qué clic se oye al encajar de nuevo el disipador superior en su sitio?

A)This does not happen in the videoclave
B)A sharp metallic snap
C)A firm double-click
D)A soft plastic clickmodelo

respondió D ✗clave A

La traza dice «Necesito recordar el audio» y luego razona a partir de cómo suelen sonar los vídeos de montaje de PC, nunca a partir de este. La clave es «no ocurre». La respuesta final presenta el clic supuesto como algo que se ha oído en el vídeo.

The user is asking about a specific audio detail in the video. Let me look at the relevant section. Around 02:20-02:30, the video shows the M.2 slots being highlighted in purple (the diagram at 02:20 shows the M.2 slots). Then the person is working with the heatsink. Let me think about the sequence. At 02:20 there's a diagram showing M.2 slots highlighted. Then at 02:30 the person is holding a black heatsink piece. At 02:40-02:50 they're working on the motherboard with the M.2 area. The question asks: when the two M.2 slots are highlighted in purple, what click is heard as the top heatsink locks back into place? I need to recall the audio. In these PC build videos, when you press down on the M.2 heatsink, there's typically a plastic click as it locks. The options are: sharp metallic snap, firm double-click, soft plastic click, or doesn't happen. Given the context of an M.2 heatsink locking into place, the typical sound is a soft plastic click. The heatsink is plastic/metal but the locking mechanism is usually a plastic clip. Let me consider the diagram at 02:20 - it shows the M.2 slots with purple/magenta highlighting. Then the person installs the SSD and the heatsink. The click when the heatsink locks would be a soft plastic click. I'll go with D, soft plastic click. Let me double check by reasoning about the video flow. The diagram with purple highlights appears at 02:20. Then at 02:30-02:50 the person is handling the heatsink and the M.2 area. The locking click of an M.2 heatsink is generally a soft plastic click. Thus answer D.

incorrecto

Fondo detrás de un cable de fuente de alimentación que se está conectando

Modo de fallo: Localiza un momento casi idéntico

Pregunta 1539 near-duplicate-moments Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando la mano inserta un cable de alimentación negro en la fuente de alimentación Seasonic situada en la parte trasera de la carcasa negra del PC, ¿qué superficie hay detrás?

A)A dark, textured surfaceclave
B)A gray carpeted surface
C)A metal mesh surface
D)A plain white surfacemodelo

respondió D ✗clave A

La pregunta señala un momento que se repite con pequeñas diferencias. La traza se centra en una vista trasera entre 15:30 y 15:40 con una pared blanca detrás. La clave es una superficie oscura con textura, por lo que el modelo asoció la acción con una toma similar y extrajo el fondo de esa toma.

The user wants me to identify the surface behind the action of plugging a black power cable into the Seasonic PSU at the rear of the case. Let me look at the relevant timestamps. Around 15:30-15:40, the video shows the rear of the case with the Seasonic PSU installed, and a hand plugging in a black power cable (the IEC power cord) into the PSU. Looking at the frames around 15:30-15:40, the background behind the case appears to be a plain white wall/surface. There's a white wall with some light switches visible in earlier frames (around 7:50-8:00), and at the rear view (15:30-15:40) the background is a plain white surface. Let me verify by examining the frames. At 15:30, the case is shown from the rear with the Seasonic logo, and the background is white. At 15:40, the hand plugs the cable in, and the background is a plain white surface. So the answer is D) A plain white surface. Let me double check the other options: A) dark textured surface - that's the table surface where components were laid out earlier. B) gray carpeted surface - similar to the table. C) metal mesh surface - that's part of the case itself. The background behind the case at the rear view is white. Thus D.

incorrecto

Dónde está una botella de whisky cuando se pronuncia una frase

Modo de fallo: Nunca localiza la señal hablada

Pregunta 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando dice «Todo este tiempo está ahí atrás bebiendo whisky», ¿está la botella de whisky a la izquierda o a la derecha del portátil en el banco de trabajo de Craig?

A)This does not happen in the video.clave
B)To the left of the laptop.modelo
C)To the right of the laptop.
D)Directly behind the laptop.

respondió B ✗clave A

La pista es una frase hablada. La traza nunca la encuentra, dice que «probablemente ocurre durante la conversación en el banco» y responde a partir de un fotograma entre los 60 y los 70 segundos. La clave es «no ocurre». Sin el punto de referencia de la transcripción, el modelo lo sustituyó por la escena más parecida.

The user is asking about a specific moment in the video where someone says "This whole time he's back there drinking whiskey." I need to find this moment and look at the position of the whiskey bottle relative to the laptop on Craig's bench. Let me look at the early part of the video. Around 60-70 seconds, there's a scene with a man sitting at a bench with a laptop, and there's a bottle on the bench. Let me look carefully. At around 60-70 seconds, there's a man in a light blue shirt sitting in a chair at a bench with a laptop. On the bench, to the left of the laptop (from the viewer's perspective), there's a bottle (looks like a whiskey bottle) and a mug. Wait, I need to find the audio line "This whole time he's back there drinking whiskey." This is likely during the scene where two people are at the bench with the laptop. Let me look at the timestamps around 60-130 seconds. At 60-70s: man in blue shirt at bench with laptop, bottle on left side of bench. At 120-130s: close up of laptop showing a 3D model of a table, with a hand typing. The line about drinking whiskey probably occurs during the conversation at the bench. The bottle is on the bench. Looking at the frame at 60-70s, the bottle is to the left of the laptop (viewer's left). The laptop is on the right side of the bench, the bottle and mug are on the left side. So from the viewer's perspective, the whiskey bottle is to the left of the laptop. Thus the answer is B. Let me double check the orientation. The question asks "to the left or right of the laptop on Craig's bench?" In the image at 60-70s, the laptop is on the right portion of the bench, the bottle is on the left portion. So the bottle is to the left of the laptop. Therefore answer B. I'm fairly confident. The line "This whole time he's back there drinking whiskey" matches the scene where one person is at the laptop and another is "back there" drinking. The bottle visible on the bench is to the left of the laptop. Thus B.

Todas las pruebas de referencia

VGI-Bench

Última ejecución de la evaluación comparativa 2 nov 2026, 23:30 UTC

Conjunto de datos GitHub

Clasificación

Clasificación de VGI-Bench: precisión del modelo, costo, tiempo y tokens de entrada y salida por pregunta, por proveedor
#	Modelo		Desv. estándar
1	ByteDance Seed: Seed 1.6 Pareto	66,2 %	±1,0pp	0,039 US$	64s	141k	2,03k
2	Qwen: Qwen3.8 Omni Flash Alibaba	65,5 %	--	0,046 US$	4,6m	412k	11,5k
3	ByteDance Seed: Seed-2.0-Lite Seed	63,7 %	±4,8pp	0,073 US$	2,5m	241k	6,5k
4	Qwen: Qwen3.8 Max (0902) Alibaba	63,7 %	--	0,55 US$	8,6m	613k	20,1k
5	Meta: Muse Wonder Meta	63,6 %	--	1,03 US$	3,1m	233k	8,62k
6	Google: Gemini 2.5 Pro Google AI Studio	61,4 %	±0,7pp	0,061 US$	1,8m	341	6,04k
7	Meta: Muse Spark 1.3 Meta	61,1 %	--	0,22 US$	4,2m	227k	14,3k
8	Qwen: Qwen3.8 Max (0803) Alibaba	58,0 %	--	0,33 US$	8,2m	579k	13,6k
9	Qwen: Qwen3.8 Flash Alibaba	56,8 %	--	0,11 US$	6,2m	1,52M	24,1k
10	Google: Gemini 3 Flash Preview Google AI Studio	54,8 %	±0,5pp	0,14 US$	4,7m	111k	40,2k
11	Qwen: Qwen3.7 Flash Alibaba	54,8 %	±0,5pp	0,27 US$	5,6m	1,48M	10,9k
12	Meta: Muse Spark 1.1 Meta	54,2 %	±0,5pp	0,24 US$	2,6m	151k	21,8k
13	Meta: Muse Spark Open	52,8 %	±2,3pp	0,16 US$	3,7m	98,6k	14,1k
14	Google: Gemma 4 31B Pareto	51,3 %	--	0,008 US$	6,0m	7,53k	13,7k
15	Meta: Muse Spark 1.2 Meta	51,0 %	±0,6pp	0,16 US$	2,0m	150k	15,3k
16	Qwen: Qwen3.6 Plus Alibaba	50,6 %	±0,4pp	0,21 US$	7,1m	532k	20,9k
17	Google: Gemini 2.5 Flash Google AI Studio	50,0 %	±0,3pp	0,024 US$	1,9m	341	9,42k
18	Google: Gemini 2.5 Flash Lite Google AI Studio	48,0 %	--	0,012 US$	2,4m	340	29,7k
19	Qwen: Qwen3.8 27B	47,6 %	±1,9pp	0,026 US$	2,3m	36,7k	7,15k
20	Xiaomi: MiMo-V2.5 Xiaomi	46,5 %	±2,9pp	0,018 US$	6,4m	272k	13,2k
21	Perceptron: Perceptron Mk1 Perceptron	46,2 %	±0,1pp	0,008 US$	2,7m	46,4k	817
22	Qwen: Qwen3.5-Flash Alibaba	46,2 %	±1,2pp	0,10 US$	4,9m	1,49M	20,2k
23	Xiaomi: MiMo-X-Pro Preview Xiaomi	45,6 %	--	0,027 US$	4,6m	77,4k	14,7k
24	Qwen: Qwen3.5 397B A17B	45,5 %	±1,0pp	0,95 US$	8,6m	1,45M	21,4k
25	Qwen: Qwen3.5 Plus 2026-02-15 Alibaba	45,5 %	±0,7pp	0,17 US$	7,5m	532k	21,3k
26	Xiaomi: MiMo-X-Flash Preview Xiaomi	45,4 %	--	0,034 US$	5,2m	337k	11,9k
27	Qwen: Qwen3.6 Flash Alibaba	45,2 %	±0,8pp	1,14 US$	6,7m	1,49M	19,4k
28	Qwen: Qwen3.5 Plus 2026-04-20 Alibaba	45,1 %	±0,6pp	0,17 US$	4,9m	440k	18,6k
29	Xiaomi: MiMo-V2.6-Pro	44,9 %	±0,8pp	0,035 US$	6,9m	77,3k	18,5k
30	ByteDance Seed: Seed-2.0-Mini Seed	43,4 %	±2,9pp	0,027 US$	1,9m	232k	9,34k
31	Xiaomi: MiMo-V2.6-Pro-UltraSpeed Xiaomi	43,4 %	--	0,34 US$	3,2m	77k	21,1k
32	Xiaomi: MiMo-V2.6-Flash	35,5 %	±3,4pp	0,016 US$	5,2m	150k	12k
33	Z.ai: GLM 5.3 Flash	34,6 %	±2,7pp	0,028 US$	8,3m	58,2k	43,9k
34	MiniMax: MiniMax M3	30,1 %	±2,6pp	0,081 US$	9,8m	53,4k	75,3k
35	Perceptron: Perceptron Mk1.5 Perceptron	28,9 %	--	0,019 US$	1,6m	49k	7,48k
36	NVIDIA: Nemotron 3.5 Super VL	28,5 %	±0,8pp	0,016 US$	1,9m	14,6k	30,3k
37	Google: Gemma 4 26B A4B Pareto	24,7 %	±7,3pp	0,004 US$	2,8m	4,59k	9,91k
38	MiniMax: MiniMax M3.1 Flash	22,2 %	--	0,006 US$	44s	130k	3,99k
39	Reka Edge Pareto Reka	21,4 %	±0,2pp	0,00015 US$	31s	1,49k	30,5
40	inclusionAI: Ling 3.0 Flash VL	19,2 %	--	0,001 US$	1,8m	5,71k	9,46k
41	Google: Gemini 4 Argon	15,5 %	--	0,050 US$	44s	1,58k	4,7k
42	Google: Gemini 4 Carbon (EAP) Google AI Studio	14,7 %	--	0,32 US$	3,0m	1,63k	15,5k
43	Google: Gemini 3.8 Flash	14,4 %	--	0,039 US$	76s	1,42k	10,3k
44	Elorian: Glimpse Together	13,8 %	--	0,022 US$	47s	6,28k	6,46k
45	Qwen: Qwen3.5-122B-A10B Alibaba	12,8 %	±0,4pp	0,023 US$	3,9m	38k	6,22k
46	Google: Gemini 3.7 Flash Google	12,4 %	--	0,013 US$	24s	1,19k	3,29k
47	Qwen: Qwen3.5-35B-A3B	12,4 %	±0,4pp	0,015 US$	56s	38,3k	6,56k
48	Z.ai: GLM 5V Turbo Z.AI	12,3 %	±0,5pp	0,13 US$	6,9m	124k	2,42k
49	Qwen: Qwen3.6 27B	11,8 %	±0,4pp	0,031 US$	3,9m	32,7k	5,87k
50	Google: Gemini 3.6 Flash Google AI Studio	11,5 %	--	0,016 US$	24s	1,39k	3,97k
51	Google: Gemini 3.1 Pro Preview Google AI Studio	10,9 %	--	0,098 US$	59s	1,39k	7,96k
52	Qwen: Qwen3.6 35B A3B	10,8 %	±0,3pp	0,005 US$	44s	4,57k	5,08k
53	Google: Gemini 3.1 Pro Preview Custom Tools Google AI Studio	10,6 %	--	0,098 US$	60s	1,39k	8,02k
54	Google: Gemini 3.5 Flash Google AI Studio	10,1 %	--	0,088 US$	39s	1,38k	9,59k
55	Google: Gemini 3.5 Flash Lite Google AI Studio	8,4 %	--	0,006 US$	13s	1,39k	2,08k
56	Google: Gemini 3.1 Flash Lite Google AI Studio	8,2 %	--	0,038 US$	58s	1,39k	25,1k
57	Google: Gemini 3.1 Flash Lite Preview Google AI Studio	8,2 %	--	0,038 US$	58s	1,38k	25,1k
58	MoonshotAI: Kimi K3	6,3 %	±5,7pp	0,025 US$	36s	5,46k	1,69k
59	Z.ai: GLM 4.6V Z.AI	5,6 %	±4,3pp	0,017 US$	1,9m	69,2k	804
60	Qwen: Qwen3.5-9B	2,7 %	±1,2pp	0,003 US$	8,8m	612	23,6k

Trayectorias

correcto

La ventana sobre la que permanece el puntero durante más tiempo

Escenario ideal: El modelo localiza el momento y lo interpreta correctamente.

Pregunta 1187 global-graph/interaction_partner Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

¿Sobre qué opción se sitúa el puntero del ratón con mayor frecuencia?

A)Windhawk application windowclave, modelo
B)Install button
C)Adobe Premiere Pro window
D)Windows taskbar

respondió A ✓clave A

incorrecto

Objeto presente junto a una caseta de jardín

Modo de fallo: Objeto destacado sobre la llave

Pregunta 1862 global-graph/co_presence Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

¿Qué opción aparece repetidamente al mismo tiempo que la caseta de jardín de madera durante el video?

A)presenter with short curly hairclave
B)metal shed hinge
C)wagon wheelmodelo
D)glass doors

respondió C ✗clave A

incorrecto

Una pregunta con una premisa falsa sobre una cuchara medidora

Modo de fallo: Narra un momento que nunca ocurre

Pregunta 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando la hablante dice que usó una cucharada entera de sal, ¿dónde está situada la cuchara medidora roja con respecto a la cuajada de queso?

A)This does not happen in the video.clave
B)It is resting beside the bowl of cheese curds.
C)It is positioned just in front of the cheese curds.modelo
D)It is laid across the top of the cheese curds.

respondió C ✗clave A

incorrecto

El sonido de un disipador M.2 al encajar

Modo de fallo: Responde a una pregunta de audio a partir de conocimientos generales

Pregunta 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando las dos ranuras M.2 se resaltan en morado, ¿qué clic se oye al encajar de nuevo el disipador superior en su sitio?

A)This does not happen in the videoclave
B)A sharp metallic snap
C)A firm double-click
D)A soft plastic clickmodelo

respondió D ✗clave A

incorrecto

Fondo detrás de un cable de fuente de alimentación que se está conectando

Modo de fallo: Localiza un momento casi idéntico

Pregunta 1539 near-duplicate-moments Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando la mano inserta un cable de alimentación negro en la fuente de alimentación Seasonic situada en la parte trasera de la carcasa negra del PC, ¿qué superficie hay detrás?

A)A dark, textured surfaceclave
B)A gray carpeted surface
C)A metal mesh surface
D)A plain white surfacemodelo

respondió D ✗clave A

incorrecto

Dónde está una botella de whisky cuando se pronuncia una frase

Modo de fallo: Nunca localiza la señal hablada

Pregunta 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B

El video completo que se envió al modelo, servido desde la réplica de OpenRouter utilizada por el harness.

Cuando dice «Todo este tiempo está ahí atrás bebiendo whisky», ¿está la botella de whisky a la izquierda o a la derecha del portátil en el banco de trabajo de Craig?

A)This does not happen in the video.clave
B)To the left of the laptop.modelo
C)To the right of the laptop.
D)Directly behind the laptop.

respondió B ✗clave A

VGI-Bench

Comparación de modelos

Eficiencia de costes

Clasificación

Trayectorias

La ventana sobre la que permanece el puntero durante más tiempo

Objeto presente junto a una caseta de jardín

Una pregunta con una premisa falsa sobre una cuchara medidora

El sonido de un disipador M.2 al encajar

Fondo detrás de un cable de fuente de alimentación que se está conectando

Dónde está una botella de whisky cuando se pronuncia una frase

VGI-Bench

Comparación de modelos

Eficiencia de costes

Clasificación

Trayectorias

La ventana sobre la que permanece el puntero durante más tiempo

Objeto presente junto a una caseta de jardín

Una pregunta con una premisa falsa sobre una cuchara medidora

El sonido de un disipador M.2 al encajar

Fondo detrás de un cable de fuente de alimentación que se está conectando

Dónde está una botella de whisky cuando se pronuncia una frase

VGI-Bench

Comparación de modelos

Eficiencia de costes

Clasificación

Trayectorias

La ventana sobre la que permanece el puntero durante más tiempo

Percepción (traza de razonamiento)

Respuesta

Objeto presente junto a una caseta de jardín

Percepción (traza de razonamiento)

Respuesta

Una pregunta con una premisa falsa sobre una cuchara medidora

Percepción (traza de razonamiento)

Respuesta

El sonido de un disipador M.2 al encajar

Percepción (traza de razonamiento)

Respuesta

Fondo detrás de un cable de fuente de alimentación que se está conectando

Percepción (traza de razonamiento)

Respuesta

Dónde está una botella de whisky cuando se pronuncia una frase

Percepción (traza de razonamiento)

Respuesta

VGI-Bench

Comparación de modelos

Eficiencia de costes

Clasificación

Trayectorias

La ventana sobre la que permanece el puntero durante más tiempo

Percepción (traza de razonamiento)

Respuesta

Objeto presente junto a una caseta de jardín

Percepción (traza de razonamiento)

Respuesta

Una pregunta con una premisa falsa sobre una cuchara medidora

Percepción (traza de razonamiento)

Respuesta

El sonido de un disipador M.2 al encajar

Percepción (traza de razonamiento)

Respuesta

Fondo detrás de un cable de fuente de alimentación que se está conectando

Percepción (traza de razonamiento)

Respuesta

Dónde está una botella de whisky cuando se pronuncia una frase

Percepción (traza de razonamiento)

Respuesta