VGI-Bench (Video General Intelligence Bench, par Seldon) pose des questions à choix multiples sur des vidéos longues : ce qui est apparu en premier, ce qui était à l’écran en même temps qu’un autre élément, ce qu’un narrateur a dit pendant un plan précis, ainsi que des questions dont la prémisse ne se réalise jamais. Chaque exemple ci-dessous est une exécution réelle via OpenRouter. Le modèle a reçu la vidéo complète et la question en un seul tour à une température de 0, et la réponse évaluée est la lettre figurant sur sa dernière ligne Answer: .
Dernière exécution de l’évaluation comparative
Le plus précis
66,2 %
Meilleur rapport qualité-prix
0,039 $US/question
Le plus rapide
Exactitude sur le sous-ensemble public (439 questions, les exécutions doivent comporter au moins 395 réponses pour être affichées), avec le coût, le temps et les jetons d’entrée et de sortie par question pour chaque point de terminaison de fournisseur sur lequel le modèle a été exécuté. Les scores agrègent les exécutions réussies des 90 derniers jours.
| # | Modèle | Écart-type | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66,2 % | ±1,0points de pourcentage | 0,039 $US | 64s | 141k | 2,03k | |
| 2 | Alibaba | 65,5 % | -- | 0,046 $US | 4,6m | 412k | 11,5k |
| 3 | 63,7 % | ±4,8points de pourcentage | 0,073 $US | 2,5m | 241k | 6,5k | |
| 4 | Alibaba | 63,7 % | -- | 0,55 $US | 8,6m | 613k | 20,1k |
| 5 | 63,6 % | -- | 1,03 $US | 3,1m | 233k | 8,62k | |
| 6 | Google AI Studio | 61,4 % | ±0,7points de pourcentage | 0,061 $US | 1,8m | 341 | 6,04k |
| 7 | 61,1 % | -- | 0,22 $US | 4,2m | 227k | 14,3k | |
| 8 | Alibaba | 58,0 % | -- | 0,33 $US | 8,2m | 579k | 13,6k |
| 9 | Alibaba | 56,8 % | -- | 0,11 $US | 6,2m | 1,52M | 24,1k |
| 10 | Google AI Studio | 54,8 % | ±0,5points de pourcentage | 0,14 $US | 4,7m | 111k | 40,2k |
| 11 | Alibaba | 54,8 % | ±0,5points de pourcentage | 0,27 $US | 5,6m | 1,48M | 10,9k |
| 12 | 54,2 % | ±0,5points de pourcentage | 0,24 $US | 2,6m | 151k | 21,8k | |
| 13 | 52,8 % | ±2,3points de pourcentage | 0,16 $US | 3,7m | 98,6k | 14,1k | |
| 14 | 51,3 % | -- | 0,008 $US | 6,0m | 7,53k | 13,7k | |
| 15 | 51,0 % | ±0,6points de pourcentage | 0,16 $US | 2,0m | 150k | 15,3k | |
| 16 | Alibaba | 50,6 % | ±0,4points de pourcentage | 0,21 $US | 7,1m | 532k | 20,9k |
| 17 | Google AI Studio | 50,0 % | ±0,3points de pourcentage | 0,024 $US | 1,9m | 341 | 9,42k |
| 18 | Google AI Studio | 48,0 % | -- | 0,012 $US | 2,4m | 340 | 29,7k |
| 19 | 47,6 % | ±1,9points de pourcentage | 0,026 $US | 2,3m | 36,7k | 7,15k | |
| 20 | Xiaomi | 46,5 % | ±2,9points de pourcentage | 0,018 $US | 6,4m | 272k | 13,2k |
| 21 | Perceptron | 46,2 % | ±0,1points de pourcentage | 0,008 $US | 2,7m | 46,4k | 817 |
| 22 | Alibaba | 46,2 % | ±1,2points de pourcentage | 0,10 $US | 4,9m | 1,49M | 20,2k |
| 23 | 45,6 % | -- | 0,027 $US | 4,6m | 77,4k | 14,7k | |
| 24 | 45,5 % | ±1,0points de pourcentage | 0,95 $US | 8,6m | 1,45M | 21,4k | |
| 25 | 45,5 % | ±0,7points de pourcentage | 0,17 $US | 7,5m | 532k | 21,3k | |
| 26 | 45,4 % | -- | 0,034 $US | 5,2m | 337k | 11,9k | |
| 27 | Alibaba | 45,2 % | ±0,8points de pourcentage | 1,14 $US | 6,7m | 1,49M | 19,4k |
| 28 | 45,1 % | ±0,6points de pourcentage | 0,17 $US | 4,9m | 440k | 18,6k | |
| 29 | 44,9 % | ±0,8points de pourcentage | 0,035 $US | 6,9m | 77,3k | 18,5k | |
| 30 | 43,4 % | ±2,9points de pourcentage | 0,027 $US | 1,9m | 232k | 9,34k | |
| 31 | 43,4 % | -- | 0,34 $US | 3,2m | 77k | 21,1k | |
| 32 | 35,5 % | ±3,4points de pourcentage | 0,016 $US | 5,2m | 150k | 12k | |
| 33 | 34,6 % | ±2,7points de pourcentage | 0,028 $US | 8,3m | 58,2k | 43,9k | |
| 34 | 30,1 % | ±2,6points de pourcentage | 0,081 $US | 9,8m | 53,4k | 75,3k | |
| 35 | Perceptron | 28,9 % | -- | 0,019 $US | 1,6m | 49k | 7,48k |
| 36 | 28,5 % | ±0,8points de pourcentage | 0,016 $US | 1,9m | 14,6k | 30,3k | |
| 37 | 24,7 % | ±7,3points de pourcentage | 0,004 $US | 2,8m | 4,59k | 9,91k | |
| 38 | 22,2 % | -- | 0,006 $US | 44s | 130k | 3,99k | |
| 39 | Reka | 21,4 % | ±0,2points de pourcentage | 0,00015 $US | 31s | 1,49k | 30,5 |
| 40 | 19,2 % | -- | 0,001 $US | 1,8m | 5,71k | 9,46k | |
| 41 | 15,5 % | -- | 0,050 $US | 44s | 1,58k | 4,7k | |
| 42 | Google AI Studio | 14,7 % | -- | 0,32 $US | 3,0m | 1,63k | 15,5k |
| 43 | 14,4 % | -- | 0,039 $US | 76s | 1,42k | 10,3k | |
| 44 | Together | 13,8 % | -- | 0,022 $US | 47s | 6,28k | 6,46k |
| 45 | Alibaba | 12,8 % | ±0,4points de pourcentage | 0,023 $US | 3,9m | 38k | 6,22k |
| 46 | Google | 12,4 % | -- | 0,013 $US | 24s | 1,19k | 3,29k |
| 47 | 12,4 % | ±0,4points de pourcentage | 0,015 $US | 56s | 38,3k | 6,56k | |
| 48 | 12,3 % | ±0,5points de pourcentage | 0,13 $US | 6,9m | 124k | 2,42k | |
| 49 | 11,8 % | ±0,4points de pourcentage | 0,031 $US | 3,9m | 32,7k | 5,87k | |
| 50 | Google AI Studio | 11,5 % | -- | 0,016 $US | 24s | 1,39k | 3,97k |
| 51 | Google AI Studio | 10,9 % | -- | 0,098 $US | 59s | 1,39k | 7,96k |
| 52 | 10,8 % | ±0,3points de pourcentage | 0,005 $US | 44s | 4,57k | 5,08k | |
| 53 | Google AI Studio | 10,6 % | -- | 0,098 $US | 60s | 1,39k | 8,02k |
| 54 | Google AI Studio | 10,1 % | -- | 0,088 $US | 39s | 1,38k | 9,59k |
| 55 | Google AI Studio | 8,4 % | -- | 0,006 $US | 13s | 1,39k | 2,08k |
| 56 | Google AI Studio | 8,2 % | -- | 0,038 $US | 58s | 1,39k | 25,1k |
| 57 | Google AI Studio | 8,2 % | -- | 0,038 $US | 58s | 1,38k | 25,1k |
| 58 | 6,3 % | ±5,7points de pourcentage | 0,025 $US | 36s | 5,46k | 1,69k | |
| 59 | Z.AI | 5,6 % | ±4,3points de pourcentage | 0,017 $US | 1,9m | 69,2k | 804 |
| 60 | 2,7 % | ±1,2points de pourcentage | 0,003 $US | 8,8m | 612 | 23,6k |
La trace de raisonnement reflète la perception du modèle : les moments qu’il dit avoir vus et les horodatages qu’il leur associe. La comparer à la vidéo montre comment la réponse a été obtenue et, lors des exécutions ayant échoué, où la description s’écarte des images.
Scénario nominal: Le modèle repère le moment et l’interprète correctement.
Question 1187 global-graph/interaction_partner Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Quelle option le pointeur de la souris survole-t-il le plus souvent ?
La trace suit le pointeur sur l’ensemble de l’enregistrement plutôt que sur une seule image, identifie la brève apparition de Premiere Pro vers la fin comme un élément distracteur et retient la fenêtre qui domine la session.
Mode de défaillance: Objet saillant au-dessus de la clé
Question 1862 global-graph/co_presence Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Quelle option est visible à plusieurs reprises en même temps que l’abri de jardin en bois pendant la vidéo ?
La trace cite huit horodatages pour une roue de chariot appuyée contre la remise et considère le présentateur comme accessoire. La réponse de référence validée par un humain est le présentateur. Le modèle a choisi l’objet le plus distinctif de l’image plutôt que celui sur lequel portait l’évaluation de la question.
Mode de défaillance: Raconte un moment qui ne se produit jamais
Question 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsque l’intervenante dit qu’elle a utilisé une cuillère à soupe entière de sel, où se trouve la cuillère doseuse rouge par rapport au fromage en grains ?
Le corrigé indique que ce moment ne se produit pas. La trace décrit une séquence de 2:38 à 2:44 où la cuillère est posée devant le caillé, rejette catégoriquement l’option « ne se produit pas » et fournit une réponse détaillée que le corrigé n’étaye pas.
Mode de défaillance: Répond à une question audio à partir de connaissances générales
Question 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsque les deux emplacements M.2 sont surlignés en violet, quel clic entend-on lorsque le dissipateur thermique supérieur se verrouille à nouveau en place ?
La trace indique « Je dois me remémorer l’audio », puis raisonne à partir de ce à quoi ressemblent « typiquement » les sons des vidéos de montage de PC, jamais à partir de celle-ci. L’élément clé est « ne se produit pas ». La réponse finale présente le clic supposé comme un son entendu dans la vidéo.
Mode de défaillance: Localise un moment quasi identique
Question 1539 near-duplicate-moments Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsque la main insère un câble d’alimentation noir dans le bloc d’alimentation Seasonic à l’arrière du boîtier de PC noir, quelle surface se trouve derrière ?
La question cible un moment qui se répète avec de légères différences. La trace retient une vue de dos entre 15:30 et 15:40 avec un mur blanc en arrière-plan. L’élément clé est une surface sombre texturée, le modèle a donc associé l’action à un plan similaire et en a déduit l’arrière-plan à partir de celui-ci.
Mode de défaillance: Ne repère jamais l’indice oral
Question 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
La vidéo complète envoyée au modèle, diffusée depuis le miroir OpenRouter utilisé par le harness.
Lorsqu’il dit « Pendant tout ce temps, il est là-derrière à boire du whisky », la bouteille de whisky se trouve-t-elle à gauche ou à droite de l’ordinateur portable sur l’établi de Craig ?
L’indice est une réplique prononcée à voix haute. La trace ne la trouve jamais, indique qu’elle « se produit probablement pendant la conversation sur le banc » et répond à partir d’une image située entre 60 et 70 secondes. La clé est « ne se produit pas ». Sans le point d’ancrage fourni par la transcription, le modèle a substitué la scène la plus proche.