VGI-Bench (Video General Intelligence Bench, von Seldon) stellt Multiple-Choice-Fragen zu langen Videos: was zuerst erschien, was gleichzeitig mit etwas anderem auf dem Bildschirm zu sehen war, was ein Erzähler sagte, während eine bestimmte Einstellung zu sehen war, sowie Fragen, deren Prämisse nie eintritt. Jedes Beispiel unten ist ein tatsächlicher Durchlauf über OpenRouter. Das Modell erhielt das vollständige Video und die Frage in einem einzigen Turn bei einer Temperatur von 0, und die bewertete Antwort ist der Buchstabe auf seiner letzten mit Answer: beginnenden Zeile.
Letzter Vergleichstestlauf
Am genauesten
66,2 %
Bestes Preis-Leistungs-Verhältnis
0,039 $/Frage
Am schnellsten
Genauigkeit auf dem öffentlichen Teildatensatz (439 Fragen, für eine Auflistung müssen in einem Durchlauf mindestens 395 beantwortet werden), mit Kosten, Zeit sowie Eingabe- und Ausgabe-Token pro Frage für jeden Anbieter-Endpunkt, auf dem das Modell ausgeführt wurde. Die Bewertungen fassen erfolgreiche Durchläufe der letzten 90 Tage zusammen.
| # | Modell | Standardabw. | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66,2 % | ±1,0Prozentpunkte | 0,039 $ | 64s | 141k | 2,03k | |
| 2 | Alibaba | 65,5 % | -- | 0,046 $ | 4,6m | 412k | 11,5k |
| 3 | 63,7 % | ±4,8Prozentpunkte | 0,073 $ | 2,5m | 241k | 6,5k | |
| 4 | Alibaba | 63,7 % | -- | 0,55 $ | 8,6m | 613k | 20,1k |
| 5 | 63,6 % | -- | 1,03 $ | 3,1m | 233k | 8,62k | |
| 6 | Google AI Studio | 61,4 % | ±0,7Prozentpunkte | 0,061 $ | 1,8m | 341 | 6,04k |
| 7 | 61,1 % | -- | 0,22 $ | 4,2m | 227k | 14,3k | |
| 8 | Alibaba | 58,0 % | -- | 0,33 $ | 8,2m | 579k | 13,6k |
| 9 | Alibaba | 56,8 % | -- | 0,11 $ | 6,2m | 1,52M | 24,1k |
| 10 | Google AI Studio | 54,8 % | ±0,5Prozentpunkte | 0,14 $ | 4,7m | 111k | 40,2k |
| 11 | Alibaba | 54,8 % | ±0,5Prozentpunkte | 0,27 $ | 5,6m | 1,48M | 10,9k |
| 12 | 54,2 % | ±0,5Prozentpunkte | 0,24 $ | 2,6m | 151k | 21,8k | |
| 13 | 52,8 % | ±2,3Prozentpunkte | 0,16 $ | 3,7m | 98,6k | 14,1k | |
| 14 | 51,3 % | -- | 0,008 $ | 6,0m | 7,53k | 13,7k | |
| 15 | 51,0 % | ±0,6Prozentpunkte | 0,16 $ | 2,0m | 150k | 15,3k | |
| 16 | Alibaba | 50,6 % | ±0,4Prozentpunkte | 0,21 $ | 7,1m | 532k | 20,9k |
| 17 | Google AI Studio | 50,0 % | ±0,3Prozentpunkte | 0,024 $ | 1,9m | 341 | 9,42k |
| 18 | Google AI Studio | 48,0 % | -- | 0,012 $ | 2,4m | 340 | 29,7k |
| 19 | 47,6 % | ±1,9Prozentpunkte | 0,026 $ | 2,3m | 36,7k | 7,15k | |
| 20 | Xiaomi | 46,5 % | ±2,9Prozentpunkte | 0,018 $ | 6,4m | 272k | 13,2k |
| 21 | Perceptron | 46,2 % | ±0,1Prozentpunkte | 0,008 $ | 2,7m | 46,4k | 817 |
| 22 | Alibaba | 46,2 % | ±1,2Prozentpunkte | 0,10 $ | 4,9m | 1,49M | 20,2k |
| 23 | 45,6 % | -- | 0,027 $ | 4,6m | 77,4k | 14,7k | |
| 24 | 45,5 % | ±1,0Prozentpunkte | 0,95 $ | 8,6m | 1,45M | 21,4k | |
| 25 | 45,5 % | ±0,7Prozentpunkte | 0,17 $ | 7,5m | 532k | 21,3k | |
| 26 | 45,4 % | -- | 0,034 $ | 5,2m | 337k | 11,9k | |
| 27 | Alibaba | 45,2 % | ±0,8Prozentpunkte | 1,14 $ | 6,7m | 1,49M | 19,4k |
| 28 | 45,1 % | ±0,6Prozentpunkte | 0,17 $ | 4,9m | 440k | 18,6k | |
| 29 | 44,9 % | ±0,8Prozentpunkte | 0,035 $ | 6,9m | 77,3k | 18,5k | |
| 30 | 43,4 % | ±2,9Prozentpunkte | 0,027 $ | 1,9m | 232k | 9,34k | |
| 31 | 43,4 % | -- | 0,34 $ | 3,2m | 77k | 21,1k | |
| 32 | 35,5 % | ±3,4Prozentpunkte | 0,016 $ | 5,2m | 150k | 12k | |
| 33 | 34,6 % | ±2,7Prozentpunkte | 0,028 $ | 8,3m | 58,2k | 43,9k | |
| 34 | 30,1 % | ±2,6Prozentpunkte | 0,081 $ | 9,8m | 53,4k | 75,3k | |
| 35 | Perceptron | 28,9 % | -- | 0,019 $ | 1,6m | 49k | 7,48k |
| 36 | 28,5 % | ±0,8Prozentpunkte | 0,016 $ | 1,9m | 14,6k | 30,3k | |
| 37 | 24,7 % | ±7,3Prozentpunkte | 0,004 $ | 2,8m | 4,59k | 9,91k | |
| 38 | 22,2 % | -- | 0,006 $ | 44s | 130k | 3,99k | |
| 39 | Reka | 21,4 % | ±0,2Prozentpunkte | 0,00015 $ | 31s | 1,49k | 30,5 |
| 40 | 19,2 % | -- | 0,001 $ | 1,8m | 5,71k | 9,46k | |
| 41 | 15,5 % | -- | 0,050 $ | 44s | 1,58k | 4,7k | |
| 42 | Google AI Studio | 14,7 % | -- | 0,32 $ | 3,0m | 1,63k | 15,5k |
| 43 | 14,4 % | -- | 0,039 $ | 76s | 1,42k | 10,3k | |
| 44 | Together | 13,8 % | -- | 0,022 $ | 47s | 6,28k | 6,46k |
| 45 | Alibaba | 12,8 % | ±0,4Prozentpunkte | 0,023 $ | 3,9m | 38k | 6,22k |
| 46 | Google | 12,4 % | -- | 0,013 $ | 24s | 1,19k | 3,29k |
| 47 | 12,4 % | ±0,4Prozentpunkte | 0,015 $ | 56s | 38,3k | 6,56k | |
| 48 | 12,3 % | ±0,5Prozentpunkte | 0,13 $ | 6,9m | 124k | 2,42k | |
| 49 | 11,8 % | ±0,4Prozentpunkte | 0,031 $ | 3,9m | 32,7k | 5,87k | |
| 50 | Google AI Studio | 11,5 % | -- | 0,016 $ | 24s | 1,39k | 3,97k |
| 51 | Google AI Studio | 10,9 % | -- | 0,098 $ | 59s | 1,39k | 7,96k |
| 52 | 10,8 % | ±0,3Prozentpunkte | 0,005 $ | 44s | 4,57k | 5,08k | |
| 53 | Google AI Studio | 10,6 % | -- | 0,098 $ | 60s | 1,39k | 8,02k |
| 54 | Google AI Studio | 10,1 % | -- | 0,088 $ | 39s | 1,38k | 9,59k |
| 55 | Google AI Studio | 8,4 % | -- | 0,006 $ | 13s | 1,39k | 2,08k |
| 56 | Google AI Studio | 8,2 % | -- | 0,038 $ | 58s | 1,39k | 25,1k |
| 57 | Google AI Studio | 8,2 % | -- | 0,038 $ | 58s | 1,38k | 25,1k |
| 58 | 6,3 % | ±5,7Prozentpunkte | 0,025 $ | 36s | 5,46k | 1,69k | |
| 59 | Z.AI | 5,6 % | ±4,3Prozentpunkte | 0,017 $ | 1,9m | 69,2k | 804 |
| 60 | 2,7 % | ±1,2Prozentpunkte | 0,003 $ | 8,8m | 612 | 23,6k |
Das Denkprotokoll zeigt die Wahrnehmung des Modells: die Momente, die es nach eigener Aussage gesehen hat, und die Zeitstempel, die es ihnen zuordnet. Der Abgleich mit dem Video zeigt, wie die Antwort zustande kam und bei fehlgeschlagenen Durchläufen, wo die Beschreibung vom Videomaterial abweicht.
Idealfall: Das Modell findet den Moment und interpretiert ihn korrekt.
Frage 1187 global-graph/interaction_partner Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Über welcher Option befindet sich der Mauszeiger am häufigsten?
Der Trace verfolgt den Mauszeiger über die gesamte Aufnahme statt nur über ein einzelnes Bild, benennt den kurzen Auftritt von Premiere Pro gegen Ende als Ablenkung und identifiziert schließlich das Fenster, das die Sitzung dominiert.
Fehlermodus: Auffälliges Objekt über dem Schlüssel
Frage 1862 global-graph/co_presence Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Welche Option ist während des Videos wiederholt gleichzeitig mit dem hölzernen Gartenhaus sichtbar?
Der Trace nennt acht Zeitstempel für ein Wagenrad, das an einem Schuppen lehnt, und stuft den Moderator als nebensächlich ein. Die von Menschen validierte richtige Antwort ist der Moderator. Das Modell wählte das auffälligste Objekt im Bild statt des Objekts, auf das sich die Bewertung der Frage bezog.
Fehlermodus: Schildert einen Moment, der nie stattfindet
Frage 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Wo befindet sich der rote Messlöffel im Verhältnis zum Käsebruch, als die Sprecherin sagt, dass sie einen ganzen Esslöffel Salz verwendet hat?
Laut Lösungsschlüssel kommt dieser Moment nicht vor. Der Trace beschreibt eine Sequenz von 2:38 bis 2:44, in der der Löffel vor dem Käsebruch abgelegt wird, lehnt die Option „kommt nicht vor“ kategorisch ab und antwortet mit Details, die der Lösungsschlüssel nicht belegt.
Fehlermodus: Beantwortet eine Audiofrage anhand von Weltwissen
Frage 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Welches Klicken ist zu hören, wenn der obere Kühlkörper wieder einrastet, während die beiden M.2-Steckplätze violett hervorgehoben sind?
Im Trace steht „Ich muss mich an den Ton erinnern“, und anschließend wird auf Grundlage dessen argumentiert, wie Videos zum PC-Zusammenbau „typischerweise“ klingen, nie auf Grundlage dieses konkreten Videos. Entscheidend ist „passiert nicht“. Die endgültige Antwort stellt das vermutete Klicken als etwas dar, das im Video zu hören war.
Fehlermodus: Lokalisiert einen nahezu identischen Moment
Frage 1539 near-duplicate-moments Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Wenn die Hand ein schwarzes Stromkabel in das Seasonic-Netzteil an der Rückseite des schwarzen PC-Gehäuses steckt, welche Oberfläche befindet sich dahinter?
Die Frage bezieht sich auf einen Moment, der mit kleinen Unterschieden wiederkehrt. Der Trace legt sich auf eine Rückansicht von 15:30 bis 15:40 mit einer weißen Wand im Hintergrund fest. Entscheidend ist eine dunkle, strukturierte Oberfläche, daher hat das Modell die Handlung einer ähnlichen Einstellung zugeordnet und den Hintergrund aus dieser abgeleitet.
Fehlermodus: Findet den gesprochenen Hinweis nie
Frage 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
Das vollständige Video, das dem Modell gesendet wurde, bereitgestellt über den vom Harness verwendeten OpenRouter-Mirror.
Wenn er sagt: „Die ganze Zeit sitzt er da hinten und trinkt Whiskey“, steht die Whiskeyflasche links oder rechts vom Laptop auf Craigs Werkbank?
Der Hinweis ist eine gesprochene Zeile. Der Trace findet sie nie, sagt, sie komme „wahrscheinlich während des Gesprächs auf der Bank vor“, und antwortet anhand eines Einzelbilds bei 60 bis 70 Sekunden. Entscheidend ist „passiert nicht“. Ohne den Anker im Transkript ersetzte das Modell sie durch die nächstgelegene passende Szene.