VGI-Bench(Video General Intelligence Bench, Seldon 제작)는 장편 동영상에 관한 객관식 질문을 제시합니다. 무엇이 먼저 등장했는지, 다른 무언가와 동시에 화면에 무엇이 있었는지, 특정 장면이 재생되는 동안 내레이터가 무엇을 말했는지, 그리고 전제가 실제로 발생하지 않는 경우에 관한 질문 등이 포함됩니다. 아래의 각 샘플은 OpenRouter를 통한 실제 실행입니다. 모델에는 전체 동영상과 질문이 한 번에 제공되었고 temperature는 0으로 설정되었으며, 채점된 답은 모델의 마지막 Answer: 줄에 있는 문자입니다.
마지막 벤치마크 실행
Accuracy over the public split (439 questions, runs need at least 395 answered to be listed), with cost, time, and input and output tokens per question for each provider endpoint the model was run on. Scores aggregate successful runs from the newest 90 days.
| # | 모델 | 표준편차 | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66.2% | ±1.0pp | US$0.039 | 64s | 141k | 2.03k | |
| 2 | Alibaba | 65.5% | -- | US$0.046 | 4.6m | 412k | 11.5k |
| 3 | 63.7% | ±4.8pp | US$0.073 | 2.5m | 241k | 6.5k | |
| 4 | Alibaba | 63.7% | -- | US$0.55 | 8.6m | 613k | 20.1k |
| 5 | 63.6% | -- | US$1.03 | 3.1m | 233k | 8.62k | |
| 6 | Google AI Studio | 61.4% | ±0.7pp | US$0.061 | 1.8m | 341 | 6.04k |
| 7 | 61.1% | -- | US$0.22 | 4.2m | 227k | 14.3k | |
| 8 | Alibaba | 58.0% | -- | US$0.33 | 8.2m | 579k | 13.6k |
| 9 | Alibaba | 56.8% | -- | US$0.11 | 6.2m | 1.52M | 24.1k |
| 10 | Google AI Studio | 54.8% | ±0.5pp | US$0.14 | 4.7m | 111k | 40.2k |
| 11 | Alibaba | 54.8% | ±0.5pp | US$0.27 | 5.6m | 1.48M | 10.9k |
| 12 | 54.2% | ±0.5pp | US$0.24 | 2.6m | 151k | 21.8k | |
| 13 | 51.4% | ±1.3pp | US$0.033 | 3.2m | 7.48k | 27.5k | |
| 14 | 51.0% | ±0.6pp | US$0.16 | 2.0m | 150k | 15.3k | |
| 15 | Alibaba | 50.6% | ±0.4pp | US$0.21 | 7.1m | 532k | 20.9k |
| 16 | Google AI Studio | 50.0% | ±0.3pp | US$0.024 | 1.9m | 341 | 9.42k |
| 17 | 48.3% | ±1.5pp | US$0.029 | 2.4m | 37.4k | 7.18k | |
| 18 | Google AI Studio | 48.0% | -- | US$0.012 | 2.4m | 340 | 29.7k |
| 19 | Xiaomi | 47.9% | ±1.9pp | US$0.020 | 5.9m | 251k | 13.4k |
| 20 | Perceptron | 46.2% | ±0.1pp | US$0.008 | 2.7m | 46.4k | 817 |
| 21 | Alibaba | 46.2% | ±1.2pp | US$0.10 | 4.9m | 1.49M | 20.2k |
| 22 | 46.0% | ±0.9pp | US$0.95 | 9.2m | 1.45M | 22.4k | |
| 23 | 45.6% | -- | US$0.027 | 4.6m | 77.4k | 14.7k | |
| 24 | 45.5% | ±0.7pp | US$0.17 | 7.5m | 532k | 21.3k | |
| 25 | 45.4% | -- | US$0.034 | 5.2m | 337k | 11.9k | |
| 26 | Alibaba | 45.2% | ±0.8pp | US$1.14 | 6.7m | 1.49M | 19.4k |
| 27 | 45.1% | ±0.6pp | US$0.17 | 4.9m | 440k | 18.6k | |
| 28 | 44.0% | -- | US$0.031 | 7.1m | 76.8k | 17.7k | |
| 29 | 43.4% | ±2.9pp | US$0.027 | 1.9m | 232k | 9.34k | |
| 30 | 43.4% | -- | US$0.34 | 3.2m | 77k | 21.1k | |
| 31 | 34.6% | ±2.7pp | US$0.028 | 8.3m | 58.2k | 43.9k | |
| 32 | 34.0% | ±0.7pp | US$0.005 | 4.4m | 4.74k | 10k | |
| 33 | 32.2% | -- | US$0.008 | 4.3m | 64.1k | 11.9k | |
| 34 | Perceptron | 28.9% | -- | US$0.019 | 1.6m | 49k | 7.48k |
| 35 | 28.3% | ±0.8pp | US$0.10 | 13.4m | 52.4k | 97.3k | |
| 36 | Reka | 21.4% | ±0.2pp | US$0.00015 | 31s | 1.49k | 30.5 |
| 37 | 19.2% | -- | US$0.001 | 1.8m | 5.71k | 9.46k | |
| 38 | 14.4% | -- | US$0.039 | 76s | 1.42k | 10.3k | |
| 39 | 13.8% | -- | US$0.025 | 14.9m | 11k | 25.1k | |
| 40 | Google | 12.4% | -- | US$0.013 | 24s | 1.19k | 3.29k |
| 41 | 12.3% | ±0.5pp | US$0.13 | 6.9m | 124k | 2.42k | |
| 42 | 12.1% | ±0.2pp | US$0.014 | 53s | 37.9k | 6.3k | |
| 43 | 11.7% | ±0.4pp | US$0.030 | 3.9m | 31.8k | 5.78k | |
| 44 | Google AI Studio | 11.5% | -- | US$0.016 | 24s | 1.39k | 3.97k |
| 45 | Google AI Studio | 10.9% | -- | US$0.098 | 59s | 1.39k | 7.96k |
| 46 | Google AI Studio | 10.6% | -- | US$0.098 | 60s | 1.39k | 8.02k |
| 47 | Google AI Studio | 10.1% | -- | US$0.088 | 39s | 1.38k | 9.59k |
| 48 | Google AI Studio | 8.4% | -- | US$0.006 | 13s | 1.39k | 2.08k |
| 49 | Google AI Studio | 8.2% | -- | US$0.038 | 58s | 1.39k | 25.1k |
| 50 | Google AI Studio | 8.2% | -- | US$0.038 | 58s | 1.38k | 25.1k |
| 51 | Z.AI | 5.6% | ±4.3pp | US$0.017 | 1.9m | 69.2k | 804 |
| 52 | 4.7% | ±5.2pp | US$0.024 | 29s | 3.62k | 1.27k | |
| 53 | Darkbloom | 1.8% | ±0.3pp | US$0.003 | 11.0m | 612 | 27.7k |
추론 추적은 모델의 인식입니다. 모델이 보았다고 말한 순간과 그 순간에 연결한 타임스탬프를 보여 줍니다. 이를 동영상과 비교해 읽으면 답변에 도달한 과정과 실패한 실행에서 설명이 영상 내용과 어긋난 지점을 확인할 수 있습니다.
정상 경로: 모델이 해당 순간을 찾아 올바르게 판독합니다.
질문 1187 global-graph/interaction_partner Qwen3.8 27B
하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.
마우스 포인터가 가장 자주 머문 옵션은 무엇인가요?
이 트레이스는 한 프레임이 아니라 전체 녹화에서 포인터를 추적하고, 끝부분에 등장하는 Premiere Pro 장면을 주의를 분산시키는 요소로 지목하며, 세션을 지배하는 창에 도달합니다.
실패 모드: 핵심 위에 있는 두드러진 객체
질문 1862 global-graph/co_presence Qwen3.8 27B
하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.
동영상에서 목재 정원 창고와 반복적으로 동시에 보이는 옵션은 무엇입니까?
추적 결과는 창고에 기대어 있는 수레바퀴를 여덟 개의 타임스탬프로 언급하고 발표자는 부수적인 존재로 처리합니다. 사람이 검증한 정답은 발표자입니다. 모델은 채점 대상이었던 물체가 아니라 프레임에서 가장 눈에 띄는 물체를 선택했습니다.
실패 모드: 일어나지 않은 순간을 설명함
질문 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.
화자가 소금을 큰술 하나 가득 사용했다고 말할 때, 빨간 계량스푼은 치즈 커드에 비해 어디에 놓여 있나요?
정답에는 이 순간이 일어나지 않는다고 되어 있습니다. 추적 결과는 2:38부터 2:44까지 커드 앞에 스푼이 놓이는 장면을 설명하고, '일어나지 않음' 선택지를 단호하게 배제한 뒤 정답이 뒷받침하지 않는 세부 사항으로 답합니다.
실패 모드: 세계 지식으로 오디오 질문에 답함
질문 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.
두 M.2 슬롯이 보라색으로 강조 표시될 때, 상단 방열판이 제자리로 다시 잠기면서 어떤 클릭 소리가 들리나요?
추적 결과는 '오디오를 떠올려야 한다'고 말한 뒤, 이 동영상이 아니라 PC 조립 영상에서 '일반적으로' 어떤 소리가 나는지를 바탕으로 추론합니다. 정답은 '일어나지 않음'입니다. 최종 응답은 추측한 클릭 소리를 동영상에서 실제로 들은 소리인 것처럼 제시합니다.
실패 모드: 거의 중복되는 순간을 찾음
질문 1539 near-duplicate-moments Qwen3.8 27B
하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.
손이 검은색 PC 케이스 뒤쪽의 Seasonic 파워 서플라이에 검은색 전원 케이블을 꽂을 때, 그 뒤에 있는 표면은 무엇인가요?
이 질문은 약간씩 다르게 반복되는 한 순간을 특정합니다. 트레이스는 뒤에 흰 벽이 있는 15:30~15:40의 후면 모습으로 범위를 좁힙니다. 핵심은 어두운 질감의 표면이므로, 모델은 동작을 비슷한 장면에 맞추고 그 장면에서 배경을 파악했습니다.
실패 모드: 말로 언급된 단서를 전혀 찾지 못함
질문 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.
그가 “이 내내 저기서 위스키를 마시고 있네”라고 말할 때, 위스키 병은 Craig의 작업대에 있는 노트북의 왼쪽에 있나요, 오른쪽에 있나요?
단서는 말로 전달된 대사입니다. 추적 결과는 해당 대사를 전혀 찾지 못하고 '아마 작업대에서 대화하는 동안 나왔을 것'이라고 말한 뒤 60초에서 70초 사이의 프레임을 근거로 답합니다. 정답은 '일어나지 않음'입니다. 전사 내용이라는 기준점이 없자 모델은 가장 비슷한 장면으로 대체했습니다.