VGI-Bench(Video General Intelligence Bench,由 Seldon 开发)针对长视频提出单项选择题:什么最先出现、什么与其他事物同时出现在屏幕上、某个特定镜头出现时旁白说了什么,以及前提从未发生过的问题。下方每个样例都是通过 OpenRouter 进行的一次真实运行。模型在采样温度为 0 的情况下,在一轮中接收完整视频和问题,评分所依据的答案是其最后一个 Answer: 行中的字母。
上次基准测试运行
最准确
最佳性价比
US$0.039/问题
在公开测试集上的准确率(共 439 道题,运行至少需回答 395 道题才会列出),以及模型在各提供商端点上运行时每道题的成本、耗时、输入和输出 token 数。分数汇总了最近 90 天内的成功运行结果。
| # | 模型 | 标准差 | |||||
|---|---|---|---|---|---|---|---|
| 1 | 66.2% | ±1.0个百分点 | US$0.039 | 64s | 141k | 2.03k | |
| 2 | Alibaba | 65.5% | -- | US$0.046 | 4.6m | 412k | 11.5k |
| 3 | 63.7% | ±4.8个百分点 | US$0.073 | 2.5m | 241k | 6.5k | |
| 4 | Alibaba | 63.7% | -- | US$0.55 | 8.6m | 613k | 20.1k |
| 5 | 63.6% | -- | US$1.03 | 3.1m | 233k | 8.62k | |
| 6 | Google AI Studio | 61.4% | ±0.7个百分点 | US$0.061 | 1.8m | 341 | 6.04k |
| 7 | 61.1% | -- | US$0.22 | 4.2m | 227k | 14.3k | |
| 8 | Alibaba | 58.0% | -- | US$0.33 | 8.2m | 579k | 13.6k |
| 9 | Alibaba | 56.8% | -- | US$0.11 | 6.2m | 1.52M | 24.1k |
| 10 | Google AI Studio | 54.8% | ±0.5个百分点 | US$0.14 | 4.7m | 111k | 40.2k |
| 11 | Alibaba | 54.8% | ±0.5个百分点 | US$0.27 | 5.6m | 1.48M | 10.9k |
| 12 | 54.2% | ±0.5个百分点 | US$0.24 | 2.6m | 151k | 21.8k | |
| 13 | 52.8% | ±2.3个百分点 | US$0.16 | 3.7m | 98.6k | 14.1k | |
| 14 | 51.3% | -- | US$0.008 | 6.0m | 7.53k | 13.7k | |
| 15 | 51.0% | ±0.6个百分点 | US$0.16 | 2.0m | 150k | 15.3k | |
| 16 | Alibaba | 50.6% | ±0.4个百分点 | US$0.21 | 7.1m | 532k | 20.9k |
| 17 | Google AI Studio | 50.0% | ±0.3个百分点 | US$0.024 | 1.9m | 341 | 9.42k |
| 18 | Google AI Studio | 48.0% | -- | US$0.012 | 2.4m | 340 | 29.7k |
| 19 | 47.6% | ±1.9个百分点 | US$0.026 | 2.3m | 36.7k | 7.15k | |
| 20 | Xiaomi | 46.5% | ±2.9个百分点 | US$0.018 | 6.4m | 272k | 13.2k |
| 21 | Perceptron | 46.2% | ±0.1个百分点 | US$0.008 | 2.7m | 46.4k | 817 |
| 22 | Alibaba | 46.2% | ±1.2个百分点 | US$0.10 | 4.9m | 1.49M | 20.2k |
| 23 | 45.6% | -- | US$0.027 | 4.6m | 77.4k | 14.7k | |
| 24 | 45.5% | ±1.0个百分点 | US$0.95 | 8.6m | 1.45M | 21.4k | |
| 25 | 45.5% | ±0.7个百分点 | US$0.17 | 7.5m | 532k | 21.3k | |
| 26 | 45.4% | -- | US$0.034 | 5.2m | 337k | 11.9k | |
| 27 | Alibaba | 45.2% | ±0.8个百分点 | US$1.14 | 6.7m | 1.49M | 19.4k |
| 28 | 45.1% | ±0.6个百分点 | US$0.17 | 4.9m | 440k | 18.6k | |
| 29 | 44.9% | ±0.8个百分点 | US$0.035 | 6.9m | 77.3k | 18.5k | |
| 30 | 43.4% | ±2.9个百分点 | US$0.027 | 1.9m | 232k | 9.34k | |
| 31 | 43.4% | -- | US$0.34 | 3.2m | 77k | 21.1k | |
| 32 | 35.5% | ±3.4个百分点 | US$0.016 | 5.2m | 150k | 12k | |
| 33 | 34.6% | ±2.7个百分点 | US$0.028 | 8.3m | 58.2k | 43.9k | |
| 34 | 30.1% | ±2.6个百分点 | US$0.081 | 9.8m | 53.4k | 75.3k | |
| 35 | Perceptron | 28.9% | -- | US$0.019 | 1.6m | 49k | 7.48k |
| 36 | 28.5% | ±0.8个百分点 | US$0.016 | 1.9m | 14.6k | 30.3k | |
| 37 | 24.7% | ±7.3个百分点 | US$0.004 | 2.8m | 4.59k | 9.91k | |
| 38 | 22.2% | -- | US$0.006 | 44s | 130k | 3.99k | |
| 39 | Reka | 21.4% | ±0.2个百分点 | US$0.00015 | 31s | 1.49k | 30.5 |
| 40 | 19.2% | -- | US$0.001 | 1.8m | 5.71k | 9.46k | |
| 41 | 15.5% | -- | US$0.050 | 44s | 1.58k | 4.7k | |
| 42 | Google AI Studio | 14.7% | -- | US$0.32 | 3.0m | 1.63k | 15.5k |
| 43 | 14.4% | -- | US$0.039 | 76s | 1.42k | 10.3k | |
| 44 | Together | 13.8% | -- | US$0.022 | 47s | 6.28k | 6.46k |
| 45 | Alibaba | 12.8% | ±0.4个百分点 | US$0.023 | 3.9m | 38k | 6.22k |
| 46 | Google | 12.4% | -- | US$0.013 | 24s | 1.19k | 3.29k |
| 47 | 12.4% | ±0.4个百分点 | US$0.015 | 56s | 38.3k | 6.56k | |
| 48 | 12.3% | ±0.5个百分点 | US$0.13 | 6.9m | 124k | 2.42k | |
| 49 | 11.8% | ±0.4个百分点 | US$0.031 | 3.9m | 32.7k | 5.87k | |
| 50 | Google AI Studio | 11.5% | -- | US$0.016 | 24s | 1.39k | 3.97k |
| 51 | Google AI Studio | 10.9% | -- | US$0.098 | 59s | 1.39k | 7.96k |
| 52 | 10.8% | ±0.3个百分点 | US$0.005 | 44s | 4.57k | 5.08k | |
| 53 | Google AI Studio | 10.6% | -- | US$0.098 | 60s | 1.39k | 8.02k |
| 54 | Google AI Studio | 10.1% | -- | US$0.088 | 39s | 1.38k | 9.59k |
| 55 | Google AI Studio | 8.4% | -- | US$0.006 | 13s | 1.39k | 2.08k |
| 56 | Google AI Studio | 8.2% | -- | US$0.038 | 58s | 1.39k | 25.1k |
| 57 | Google AI Studio | 8.2% | -- | US$0.038 | 58s | 1.38k | 25.1k |
| 58 | 6.3% | ±5.7个百分点 | US$0.025 | 36s | 5.46k | 1.69k | |
| 59 | Z.AI | 5.6% | ±4.3个百分点 | US$0.017 | 1.9m | 69.2k | 804 |
| 60 | 2.7% | ±1.2个百分点 | US$0.003 | 8.8m | 612 | 23.6k |
推理轨迹体现了模型的感知:它声称看到的片段,以及为这些片段标注的时间戳。将推理轨迹与视频对照阅读,可以了解答案是如何得出的,以及在失败的运行中,描述在何处偏离了视频画面。
正常流程: 模型定位到了该时刻,并正确解读了它。
问题 1187 global-graph/interaction_partner Qwen3.8 27B
发送给模型的完整视频,由智能体运行框架所使用的 OpenRouter 镜像提供。
鼠标指针最常悬停在哪个选项上?
该追踪会在整个录制过程中跟踪指针,而不是只看一帧,将接近结尾时短暂出现的 Premiere Pro 标为干扰项,并最终确定在整个会话中占据主导地位的窗口。
失败模式: 按键上方的显著物体
问题 1862 global-graph/co_presence Qwen3.8 27B
发送给模型的完整视频,由智能体运行框架所使用的 OpenRouter 镜像提供。
视频中,哪个选项反复与木制花园棚屋同时出现?
该轨迹引用了八个时间戳,指向靠在棚屋旁的马车车轮,并将出镜讲解者视为无关紧要。人工验证的标准答案是出镜讲解者。模型选择了画面中最显眼的物体,而非题目评分所依据的对象。
失败模式: 叙述从未发生的瞬间
问题 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B
发送给模型的完整视频,由智能体运行框架所使用的 OpenRouter 镜像提供。
当说话者说她用了一满汤匙盐时,红色量勺位于奶酪凝块的什么位置?
标准答案指出,这一时刻并未出现。轨迹描述了从 2:38 到 2:44 的一段过程,其中勺子被放在凝乳前方,直接否定了“未发生”选项,并给出了标准答案不支持的细节。
失败模式: 根据世界知识回答音频问题
问题 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B
发送给模型的完整视频,由智能体运行框架所使用的 OpenRouter 镜像提供。
当两个 M.2 插槽以紫色高亮显示时,顶部散热片锁回原位时会发出什么咔嗒声?
追踪中写道“我需要回忆音频”,随后根据电脑装机视频“通常”听起来是什么样来推理,而完全没有依据这段视频。关键在于“没有发生”。最终回复将猜测的咔嗒声描述为在视频中听到的声音。
失败模式: 定位近乎重复的片段
问题 1539 near-duplicate-moments Qwen3.8 27B
发送给模型的完整视频,由智能体运行框架所使用的 OpenRouter 镜像提供。
当手将黑色电源线插入黑色 PC 机箱后部的 Seasonic 电源时,其后方是什么表面?
问题锁定的是一个反复出现但略有差异的瞬间。轨迹最终选定了 15:30 至 15:40 的背面视角,其后方是一面白墙。关键是一处深色纹理表面,因此模型将该动作匹配到了一个相似镜头,并从那个镜头中读取了背景。
失败模式: 始终未能定位到口头提示
问题 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B
发送给模型的完整视频,由智能体运行框架所使用的 OpenRouter 镜像提供。
当他说“这段时间他一直在后面喝威士忌”时,威士忌酒瓶位于 Craig 工作台上的笔记本电脑左侧还是右侧?
线索是一句台词。追踪始终未找到这句台词,称其“可能出现在长椅旁的对话中”,并根据 60 到 70 秒处的画面作答。关键在于“并未发生”。缺少转录文本中的定位依据,模型便用最接近的场景代替。