VGI-Bench(Seldon의 Video General Intelligence Bench)는 긴 동영상에 대해 무엇이 먼저 등장했는지, 다른 대상과 동시에 화면에 무엇이 나왔는지, 특정 장면이 나오는 동안 내레이터가 무엇을 말했는지, 그리고 전제 자체가 발생하지 않는 경우를 묻는 객관식 질문을 제시합니다. 아래의 각 샘플은 OpenRouter를 통한 실제 실행 결과입니다. 모델은 temperature 0에서 전체 동영상과 질문을 한 턴에 받았으며, 채점 대상 답변은 마지막 Answer: 줄에 있는 문자입니다.
최근 벤치마크 실행
공개 분할 데이터셋의 정확도(439개 질문, 실행 결과가 목록에 표시되려면 최소 395개에 답변해야 함)와 모델이 실행된 각 제공업체 엔드포인트의 질문당 비용, 시간, 입력 및 출력 토큰을 보여주며, 점수는 최근 90 일 동안 성공한 실행 결과를 집계합니다.
| # | 모델 | 표준 편차 | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66.2% | ±1.0퍼센트포인트 | US$0.039 | 64s | 141k | 2.03k | |
| 2 | Alibaba | 65.5% | -- | US$0.046 | 4.6m | 412k | 11.5k |
| 3 | 63.7% | ±4.8퍼센트포인트 | US$0.073 | 2.5m | 241k | 6.5k | |
| 4 | Alibaba | 63.7% | -- | US$0.55 | 8.6m | 613k | 20.1k |
| 5 | 63.6% | -- | US$1.03 | 3.1m | 233k | 8.62k | |
| 6 | Google AI Studio | 61.4% | ±0.7퍼센트포인트 | US$0.061 | 1.8m | 341 | 6.04k |
| 7 | 61.1% | -- | US$0.22 | 4.2m | 227k | 14.3k | |
| 8 | Alibaba | 58.0% | -- | US$0.33 | 8.2m | 579k | 13.6k |
| 9 | Alibaba | 56.8% | -- | US$0.11 | 6.2m | 1.52M | 24.1k |
| 10 | Google AI Studio | 54.8% | ±0.5퍼센트포인트 | US$0.14 | 4.7m | 111k | 40.2k |
| 11 | Alibaba | 54.8% | ±0.5퍼센트포인트 | US$0.27 | 5.6m | 1.48M | 10.9k |
| 12 | 54.2% | ±0.5퍼센트포인트 | US$0.24 | 2.6m | 151k | 21.8k | |
| 13 | 52.8% | ±2.3퍼센트포인트 | US$0.16 | 3.7m | 98.6k | 14.1k | |
| 14 | 51.3% | -- | US$0.008 | 6.0m | 7.53k | 13.7k | |
| 15 | 51.0% | ±0.6퍼센트포인트 | US$0.16 | 2.0m | 150k | 15.3k | |
| 16 | Alibaba | 50.6% | ±0.4퍼센트포인트 | US$0.21 | 7.1m | 532k | 20.9k |
| 17 | Google AI Studio | 50.0% | ±0.3퍼센트포인트 | US$0.024 | 1.9m | 341 | 9.42k |
| 18 | Google AI Studio | 48.0% | -- | US$0.012 | 2.4m | 340 | 29.7k |
| 19 | 47.6% | ±1.9퍼센트포인트 | US$0.026 | 2.3m | 36.7k | 7.15k | |
| 20 | Xiaomi | 46.5% | ±2.9퍼센트포인트 | US$0.018 | 6.4m | 272k | 13.2k |
| 21 | Perceptron | 46.2% | ±0.1퍼센트포인트 | US$0.008 | 2.7m | 46.4k | 817 |
| 22 | Alibaba | 46.2% | ±1.2퍼센트포인트 | US$0.10 | 4.9m | 1.49M | 20.2k |
| 23 | 45.6% | -- | US$0.027 | 4.6m | 77.4k | 14.7k | |
| 24 | 45.5% | ±1.0퍼센트포인트 | US$0.95 | 8.6m | 1.45M | 21.4k | |
| 25 | 45.5% | ±0.7퍼센트포인트 | US$0.17 | 7.5m | 532k | 21.3k | |
| 26 | 45.4% | -- | US$0.034 | 5.2m | 337k | 11.9k | |
| 27 | Alibaba | 45.2% | ±0.8퍼센트포인트 | US$1.14 | 6.7m | 1.49M | 19.4k |
| 28 | 45.1% | ±0.6퍼센트포인트 | US$0.17 | 4.9m | 440k | 18.6k | |
| 29 | 44.9% | ±0.8퍼센트포인트 | US$0.035 | 6.9m | 77.3k | 18.5k | |
| 30 | 43.4% | ±2.9퍼센트포인트 | US$0.027 | 1.9m | 232k | 9.34k | |
| 31 | 43.4% | -- | US$0.34 | 3.2m | 77k | 21.1k | |
| 32 | 35.5% | ±3.4퍼센트포인트 | US$0.016 | 5.2m | 150k | 12k | |
| 33 | 34.6% | ±2.7퍼센트포인트 | US$0.028 | 8.3m | 58.2k | 43.9k | |
| 34 | 30.1% | ±2.6퍼센트포인트 | US$0.081 | 9.8m | 53.4k | 75.3k | |
| 35 | Perceptron | 28.9% | -- | US$0.019 | 1.6m | 49k | 7.48k |
| 36 | 28.5% | ±0.8퍼센트포인트 | US$0.016 | 1.9m | 14.6k | 30.3k | |
| 37 | 24.7% | ±7.3퍼센트포인트 | US$0.004 | 2.8m | 4.59k | 9.91k | |
| 38 | 22.2% | -- | US$0.006 | 44s | 130k | 3.99k | |
| 39 | Reka | 21.4% | ±0.2퍼센트포인트 | US$0.00015 | 31s | 1.49k | 30.5 |
| 40 | 19.2% | -- | US$0.001 | 1.8m | 5.71k | 9.46k | |
| 41 | 15.5% | -- | US$0.050 | 44s | 1.58k | 4.7k | |
| 42 | Google AI Studio | 14.7% | -- | US$0.32 | 3.0m | 1.63k | 15.5k |
| 43 | 14.4% | -- | US$0.039 | 76s | 1.42k | 10.3k | |
| 44 | Together | 13.8% | -- | US$0.022 | 47s | 6.28k | 6.46k |
| 45 | Alibaba | 12.8% | ±0.4퍼센트포인트 | US$0.023 | 3.9m | 38k | 6.22k |
| 46 | Google | 12.4% | -- | US$0.013 | 24s | 1.19k | 3.29k |
| 47 | 12.4% | ±0.4퍼센트포인트 | US$0.015 | 56s | 38.3k | 6.56k | |
| 48 | 12.3% | ±0.5퍼센트포인트 | US$0.13 | 6.9m | 124k | 2.42k | |
| 49 | 11.8% | ±0.4퍼센트포인트 | US$0.031 | 3.9m | 32.7k | 5.87k | |
| 50 | Google AI Studio | 11.5% | -- | US$0.016 | 24s | 1.39k | 3.97k |
| 51 | Google AI Studio | 10.9% | -- | US$0.098 | 59s | 1.39k | 7.96k |
| 52 | 10.8% | ±0.3퍼센트포인트 | US$0.005 | 44s | 4.57k | 5.08k | |
| 53 | Google AI Studio | 10.6% | -- | US$0.098 | 60s | 1.39k | 8.02k |
| 54 | Google AI Studio | 10.1% | -- | US$0.088 | 39s | 1.38k | 9.59k |
| 55 | Google AI Studio | 8.4% | -- | US$0.006 | 13s | 1.39k | 2.08k |
| 56 | Google AI Studio | 8.2% | -- | US$0.038 | 58s | 1.39k | 25.1k |
| 57 | Google AI Studio | 8.2% | -- | US$0.038 | 58s | 1.38k | 25.1k |
| 58 | 6.3% | ±5.7퍼센트포인트 | US$0.025 | 36s | 5.46k | 1.69k | |
| 59 | Z.AI | 5.6% | ±4.3퍼센트포인트 | US$0.017 | 1.9m | 69.2k | 804 |
| 60 | 2.7% | ±1.2퍼센트포인트 | US$0.003 | 8.8m | 612 | 23.6k |
추론 트레이스는 모델의 인식, 즉 모델이 보았다고 말하는 순간과 각 순간에 부여한 타임스탬프를 담고 있습니다. 이를 영상과 대조해 읽으면 답변이 도출된 과정과 실패한 실행에서 설명이 실제 영상과 어긋나는 지점을 확인할 수 있습니다.
정상 경로: 모델이 해당 순간을 찾아 정확하게 읽어냅니다.
질문 1187 global-graph/interaction_partner Qwen3.8 27B
모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.
마우스 포인터가 가장 자주 머무르는 옵션은 무엇입니까?
이 추적은 한 프레임이 아닌 녹화 전체에서 포인터를 따라가며, 끝부분에 잠깐 등장하는 Premiere Pro를 혼동 요소로 지목하고, 세션의 대부분을 차지하는 창을 최종적으로 선택합니다.
실패 유형: 키 위의 두드러진 객체
질문 1862 global-graph/co_presence Qwen3.8 27B
모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.
동영상에서 목조 정원 창고와 동시에 반복해서 보이는 선택지는 무엇입니까?
추론 기록은 헛간에 기대어 있는 수레바퀴에 대해 여덟 개의 타임스탬프를 인용하고 발표자는 부수적인 요소로 치부합니다. 사람이 검증한 정답은 발표자입니다. 모델은 질문의 채점 대상 대신 화면에서 가장 눈에 띄는 물체를 선택했습니다.
실패 유형: 실제로 일어나지 않는 순간을 서술합니다
질문 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.
화자가 소금을 한 큰술 가득 사용했다고 말할 때, 빨간 계량스푼은 치즈 커드를 기준으로 어디에 놓여 있습니까?
정답표에 따르면 이 장면은 발생하지 않습니다. 추적 내용은 2:38부터 2:44까지 숟가락을 응유 앞에 내려놓는 과정을 서술하고, '발생하지 않음' 옵션을 단호히 배제하며, 정답표가 뒷받침하지 않는 세부 내용으로 답변합니다.
실패 유형: 세계 지식을 바탕으로 오디오 질문에 답합니다
질문 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.
두 M.2 슬롯이 보라색으로 강조 표시될 때 상단 방열판이 제자리에 다시 고정되면서 어떤 딸깍 소리가 들립니까?
추론 과정에서는 '오디오를 떠올려야 한다'고 말한 뒤, 이 영상의 소리가 아니라 PC 조립 영상에서 '일반적으로' 들리는 소리를 바탕으로 추론합니다. 정답의 핵심은 '발생하지 않는다'입니다. 최종 응답은 추측한 클릭 소리를 영상에서 실제로 들은 것처럼 제시합니다.
실패 유형: 거의 동일한 장면 찾기
질문 1539 near-duplicate-moments Qwen3.8 27B
모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.
손이 검은색 PC 케이스 후면의 Seasonic 전원 공급 장치에 검은색 전원 케이블을 꽂을 때, 그 뒤에는 어떤 표면이 있습니까?
질문은 작은 차이를 두고 반복되는 특정 순간을 지목합니다. 추론 과정에서는 15:30에서 15:40 사이에 흰 벽을 배경으로 한 뒷모습을 선택합니다. 정답의 핵심은 어둡고 질감이 있는 표면이므로, 모델은 동작을 유사한 장면에 대응시키고 그 장면의 배경을 읽어 낸 것입니다.
실패 유형: 음성 단서의 위치를 전혀 찾지 못함
질문 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
모델에 전달된 전체 동영상으로, 하네스가 사용하는 OpenRouter 미러에서 제공됩니다.
그가 “이 시간 내내 그는 저 뒤에서 위스키를 마시고 있네요”라고 말할 때, 위스키 병은 Craig의 작업대에 있는 노트북의 왼쪽에 있습니까, 오른쪽에 있습니까?
단서는 발화된 대사입니다. 추적 과정에서는 이를 끝내 찾지 못하고, '아마도 벤치에서 대화하는 중에 나올 것'이라고 말하며, 60~70초 구간의 프레임을 바탕으로 답합니다. 핵심은 '발생하지 않음'입니다. 대본상의 기준점이 없자 모델은 가장 비슷한 장면으로 대체했습니다.