コンテンツへスキップ
アルファ版
  • モデル
  • ランキング
  • Ori
営業担当に相談

フッター

OpenRouterOpenRouter
© 2026 OpenRouter, Inc

製品

  • チャット
  • ランキング
  • ベンチマーク
  • アプリ
  • 見つける
  • モデル
  • Ori
  • コレクション
  • プロバイダー
  • ツール
  • 料金
  • Business
  • Enterprise
  • ラボ

会社情報

  • 概要
  • ブログ
  • お客様
  • 採用情報
    採用情報
  • プライバシー
  • 利用規約
  • トラストセンター
  • サポート
  • OR 対応
  • データ
  • ブランド

開発者

  • ドキュメント
  • API リファレンス
  • 開発者プラットフォーム
  • ステータス
  • AI サイトマップ

接続

  • Discord
  • GitHub
  • LinkedIn
  • X
  • YouTube
すべてのベンチマーク

VGI-Bench

VGI-Bench(Seldon による Video General Intelligence Bench)は、長尺動画について、何が最初に登場したか、別のものと同時に画面に何が映っていたか、特定のショットの間にナレーターが何を言ったか、そして前提となる出来事が起こらない質問など、多肢選択式の質問を出します。以下の各サンプルは、OpenRouter を通じた実際の実行結果です。モデルは温度 0 で動画全体と質問を同じターンで受け取り、採点対象の回答は最後の Answer: 行にある文字です。

ベンチマークの最終実行 2026/11/02 23:30 UTC

データセットGitHub
モデル比較コスト効率リーダーボード軌跡

モデル比較

最高精度

bytedance-seed のファビコン
ByteDance Seed: Seed 1.6

66.2%

最高のコストパフォーマンス

bytedance-seed のファビコン
ByteDance Seed: Seed 1.6

$0.039/質問

最速

bytedance-seed のファビコン
ByteDance Seed: Seed 1.6

64s

正確性
代表的な実行の正解率を、高い順に表示します。
質問あたりのコスト
質問あたりの平均コストを安い順に表示します。
質問あたりの時間
質問ごとの平均実経過時間を、速い順に表示しています。

コスト効率

精度とコスト(パレートフロンティア)
各モデルを点で示し、利用可能な場合はデフォルトのルーティング(プロバイダーに固定しない方式)を使用しています。線はパレートフロンティアを示し、精度とコストの両方でこれらを上回るモデルはありません。

リーダーボード

公開分割データでの正解率(439 問、掲載には少なくとも 395 問への回答が必要です)と、モデルを実行した各プロバイダーのエンドポイントにおける質問あたりのコスト、時間、入力および出力トークン数を示します。スコアは直近 90 日間の成功した実行結果を集計しています。

VGI-Bench リーダーボード:プロバイダー別のモデル精度、コスト、時間、および質問あたりの入力・出力トークン数
#モデル標準偏差
1
bytedance-seed のファビコン
ByteDance Seed: Seed 1.6
パレート
66.2%±1.0パーセントポイント$0.03964s141k2.03k
2
qwen のファビコン
Qwen: Qwen3.8 Omni Flash
Alibaba
65.5%--$0.0464.6m412k11.5k
3
bytedance-seed のファビコン
ByteDance Seed: Seed-2.0-Lite
Seed
63.7%±4.8パーセントポイント$0.0732.5m241k6.5k
4
qwen のファビコン
Qwen: Qwen3.8 Max (0902)
Alibaba
63.7%--$0.558.6m613k20.1k
5
meta のファビコン
Meta: Muse Wonder
Meta
63.6%--$1.033.1m233k8.62k
6
google のファビコン
Google: Gemini 2.5 Pro
Google AI Studio
61.4%±0.7パーセントポイント$0.0611.8m3416.04k
7
meta のファビコン
Meta: Muse Spark 1.3
Meta
61.1%--$0.224.2m227k14.3k
8
qwen のファビコン
Qwen: Qwen3.8 Max (0803)
Alibaba
58.0%--$0.338.2m579k13.6k
9
qwen のファビコン
Qwen: Qwen3.8 Flash
Alibaba
56.8%--$0.116.2m1.52M24.1k
10
google のファビコン
Google: Gemini 3 Flash Preview
Google AI Studio
54.8%±0.5パーセントポイント$0.144.7m111k40.2k
11
qwen のファビコン
Qwen: Qwen3.7 Flash
Alibaba
54.8%±0.5パーセントポイント$0.275.6m1.48M10.9k
12
meta のファビコン
Meta: Muse Spark 1.1
Meta
54.2%±0.5パーセントポイント$0.242.6m151k21.8k
13
meta のファビコン
Meta: Muse Spark Open
52.8%±2.3パーセントポイント$0.163.7m98.6k14.1k
14
google のファビコン
Google: Gemma 4 31B
パレート
51.3%--$0.0086.0m7.53k13.7k
15
meta のファビコン
Meta: Muse Spark 1.2
Meta
51.0%±0.6パーセントポイント$0.162.0m150k15.3k
16
qwen のファビコン
Qwen: Qwen3.6 Plus
Alibaba
50.6%±0.4パーセントポイント$0.217.1m532k20.9k
17
google のファビコン
Google: Gemini 2.5 Flash
Google AI Studio
50.0%±0.3パーセントポイント$0.0241.9m3419.42k
18
google のファビコン
Google: Gemini 2.5 Flash Lite
Google AI Studio
48.0%--$0.0122.4m34029.7k
19
qwen のファビコン
Qwen: Qwen3.8 27B
47.6%±1.9パーセントポイント$0.0262.3m36.7k7.15k
20
xiaomi のファビコン
Xiaomi: MiMo-V2.5
Xiaomi
46.5%±2.9パーセントポイント$0.0186.4m272k13.2k
21
perceptron のファビコン
Perceptron: Perceptron Mk1
Perceptron
46.2%±0.1パーセントポイント$0.0082.7m46.4k817
22
qwen のファビコン
Qwen: Qwen3.5-Flash
Alibaba
46.2%±1.2パーセントポイント$0.104.9m1.49M20.2k
23
xiaomi のファビコン
Xiaomi: MiMo-X-Pro Preview
Xiaomi
45.6%--$0.0274.6m77.4k14.7k
24
qwen のファビコン
Qwen: Qwen3.5 397B A17B
45.5%±1.0パーセントポイント$0.958.6m1.45M21.4k
25
qwen のファビコン
Qwen: Qwen3.5 Plus 2026-02-15
Alibaba
45.5%±0.7パーセントポイント$0.177.5m532k21.3k
26
xiaomi のファビコン
Xiaomi: MiMo-X-Flash Preview
Xiaomi
45.4%--$0.0345.2m337k11.9k
27
qwen のファビコン
Qwen: Qwen3.6 Flash
Alibaba
45.2%±0.8パーセントポイント$1.146.7m1.49M19.4k
28
qwen のファビコン
Qwen: Qwen3.5 Plus 2026-04-20
Alibaba
45.1%±0.6パーセントポイント$0.174.9m440k18.6k
29
xiaomi のファビコン
Xiaomi: MiMo-V2.6-Pro
44.9%±0.8パーセントポイント$0.0356.9m77.3k18.5k
30
bytedance-seed のファビコン
ByteDance Seed: Seed-2.0-Mini
Seed
43.4%±2.9パーセントポイント$0.0271.9m232k9.34k
31
xiaomi のファビコン
Xiaomi: MiMo-V2.6-Pro-UltraSpeed
Xiaomi
43.4%--$0.343.2m77k21.1k
32
xiaomi のファビコン
Xiaomi: MiMo-V2.6-Flash
35.5%±3.4パーセントポイント$0.0165.2m150k12k
33
z-ai のファビコン
Z.ai: GLM 5.3 Flash
34.6%±2.7パーセントポイント$0.0288.3m58.2k43.9k
34
minimax のファビコン
MiniMax: MiniMax M3
30.1%±2.6パーセントポイント$0.0819.8m53.4k75.3k
35
perceptron のファビコン
Perceptron: Perceptron Mk1.5
Perceptron
28.9%--$0.0191.6m49k7.48k
36
nvidia のファビコン
NVIDIA: Nemotron 3.5 Super VL
28.5%±0.8パーセントポイント$0.0161.9m14.6k30.3k
37
google のファビコン
Google: Gemma 4 26B A4B
パレート
24.7%±7.3パーセントポイント$0.0042.8m4.59k9.91k
38
minimax のファビコン
MiniMax: MiniMax M3.1 Flash
22.2%--$0.00644s130k3.99k
39
rekaai のファビコン
Reka Edge
パレート
Reka
21.4%±0.2パーセントポイント$0.0001531s1.49k30.5
40
inclusionai のファビコン
inclusionAI: Ling 3.0 Flash VL
19.2%--$0.0011.8m5.71k9.46k
41
google のファビコン
Google: Gemini 4 Argon
15.5%--$0.05044s1.58k4.7k
42
google のファビコン
Google: Gemini 4 Carbon (EAP)
Google AI Studio
14.7%--$0.323.0m1.63k15.5k
43
google のファビコン
Google: Gemini 3.8 Flash
14.4%--$0.03976s1.42k10.3k
44
elorian のファビコンelorian のファビコン
Elorian: Glimpse
Together
13.8%--$0.02247s6.28k6.46k
45
qwen のファビコン
Qwen: Qwen3.5-122B-A10B
Alibaba
12.8%±0.4パーセントポイント$0.0233.9m38k6.22k
46
google のファビコン
Google: Gemini 3.7 Flash
Google
12.4%--$0.01324s1.19k3.29k
47
qwen のファビコン
Qwen: Qwen3.5-35B-A3B
12.4%±0.4パーセントポイント$0.01556s38.3k6.56k
48
z-ai のファビコン
Z.ai: GLM 5V Turbo
Z.AI
12.3%±0.5パーセントポイント$0.136.9m124k2.42k
49
qwen のファビコン
Qwen: Qwen3.6 27B
11.8%±0.4パーセントポイント$0.0313.9m32.7k5.87k
50
google のファビコン
Google: Gemini 3.6 Flash
Google AI Studio
11.5%--$0.01624s1.39k3.97k
51
google のファビコン
Google: Gemini 3.1 Pro Preview
Google AI Studio
10.9%--$0.09859s1.39k7.96k
52
qwen のファビコン
Qwen: Qwen3.6 35B A3B
10.8%±0.3パーセントポイント$0.00544s4.57k5.08k
53
google のファビコン
Google: Gemini 3.1 Pro Preview Custom Tools
Google AI Studio
10.6%--$0.09860s1.39k8.02k
54
google のファビコン
Google: Gemini 3.5 Flash
Google AI Studio
10.1%--$0.08839s1.38k9.59k
55
google のファビコン
Google: Gemini 3.5 Flash Lite
Google AI Studio
8.4%--$0.00613s1.39k2.08k
56
google のファビコン
Google: Gemini 3.1 Flash Lite
Google AI Studio
8.2%--$0.03858s1.39k25.1k
57
google のファビコン
Google: Gemini 3.1 Flash Lite Preview
Google AI Studio
8.2%--$0.03858s1.38k25.1k
58
moonshotai のファビコン
MoonshotAI: Kimi K3
6.3%±5.7パーセントポイント$0.02536s5.46k1.69k
59
z-ai のファビコン
Z.ai: GLM 4.6V
Z.AI
5.6%±4.3パーセントポイント$0.0171.9m69.2k804
60
qwen のファビコン
Qwen: Qwen3.5-9B
2.7%±1.2パーセントポイント$0.0038.8m61223.6k

軌跡

推論トレースはモデルの認識を表すもので、モデルが見たと述べる場面と、それらに付けたタイムスタンプです。動画と照らし合わせて読むことで、回答に至った過程や、失敗した実行で説明が映像から逸脱した箇所がわかります。

正解

ポインターが最も長く重なっているウィンドウ

正常系: モデルは該当する瞬間を見つけ、正しく読み取ります。

質問 1187 global-graph/interaction_partner Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

マウスポインターが最も頻繁に重なるのはどの選択肢ですか?

  1. A)Windhawk application windowキー、モデル
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
回答:A ✓キー A

このトレースは単一のフレームではなく録画全体にわたってポインターを追跡し、終盤に少しだけ登場する Premiere Pro を判断を惑わせる要素として挙げ、セッションの大部分を占めるウィンドウを特定します。

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.

不正解

庭の物置と一緒に存在する物体

失敗モード: キーの上の目立つオブジェクト

質問 1862 global-graph/co_presence Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

動画の中で、木製の庭の物置と繰り返し同時に映っているのはどの選択肢ですか?

  1. A)presenter with short curly hairキー
  2. B)metal shed hinge
  3. C)wagon wheelモデル
  4. D)glass doors
回答:C ✗キー A

トレースでは、小屋に立てかけられた荷車の車輪について八つのタイムスタンプを挙げ、プレゼンターを付随的なものとして扱っています。人手で検証された正解はプレゼンターです。モデルは、設問の採点対象ではなく、フレーム内で最も特徴的な物体を選びました。

The question asks which option is repeatedly visible at the same time as the wooden garden shed during the video. Let me look at the frames where a wooden garden shed appears. At around 3:57-4:00, there's a wooden garden shed with a wagon wheel leaning against it, and the presenter is sitting in front of it. At 4:57-5:15, the same wooden shed with the wagon wheel is visible while the presenter talks about the slab base. So the wooden garden shed appears together with the wagon wheel in multiple segments. Let me check the other options: - A) presenter with short curly hair - the presenter is visible in many places, but the question is about what's visible at the same time as the wooden shed. The presenter is there too, but the wagon wheel is a distinctive object attached to the shed scene. - B) metal shed hinge - not particularly visible. - C) wagon wheel - yes, clearly visible leaning against the wooden shed in multiple frames (3:57, 4:00, 4:57, 5:00, 5:03, 5:07, 5:11, 5:15). - D) glass doors - those are on a different building (the dark shed with white doors). The wagon wheel is repeatedly visible alongside the wooden garden shed. The answer is C. Let me double check the frames. At 3:57 the presenter sits against a wooden shed with a large wagon wheel on the right. At 4:57-5:15 same scene. So wagon wheel is repeatedly visible with the wooden shed. Thus answer C.

不正解

計量スプーンに関する誤った前提の質問

失敗モード: 実際には起こらない瞬間を描写します

質問 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

話者が塩を大さじ一杯使ったと言っているとき、赤い計量スプーンはチーズカードに対してどの位置にありますか?

  1. A)This does not happen in the video.キー
  2. B)It is resting beside the bowl of cheese curds.
  3. C)It is positioned just in front of the cheese curds.モデル
  4. D)It is laid across the top of the cheese curds.
回答:C ✗キー A

正解では、この場面は起こらないとされています。トレースは 2:38 から 2:44 までの流れを説明し、その中でスプーンがカードの手前に置かれ、「起こらない」という選択肢を完全に否定し、正解では裏付けられていない詳細を含めて回答しています。

The user wants me to look at the video and determine the position of the red measuring spoon relative to the cheese curds when the speaker mentions using a full tablespoon of salt. Let me trace through the video. Around 2:38-2:42, the speaker is adding salt to the cheese curds in a cloth-lined pot. She holds a red measuring spoon with salt in it. At 2:42, she sets the red spoon down. Let me look at where it ends up. At 2:42-2:44, after adding the salt, she places the red spoon down in front of the bowl/curds. Looking at the frame at 2:44, the red spoon is lying on the counter just in front of the cheese curds (the cloth-lined pot). Then she picks up the wooden spoon to stir. Let me check the options: A) Does not happen - but it does happen, she uses a tablespoon of salt. B) Resting beside the bowl - "beside" could be left/right. C) Positioned just in front of the cheese curds. D) Laid across the top. Looking at the frame at 2:44, the red spoon is at the bottom of the frame, in front of the curds. So "just in front of the cheese curds" matches C. Let me double check the timestamp. At 2:38 she holds the red spoon with salt. At 2:42 she tips it in. At 2:44 the red spoon is resting on the counter at the front edge, in front of the curds. Yes. Thus answer C. I need to provide reasoning then final answer format.

不正解

M.2 ヒートシンクが固定される音

失敗モード: 一般知識に基づいて音声の質問に回答します

質問 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

2 つの M.2 スロットが紫色で強調表示されているとき、上部のヒートシンクが元の位置に固定される際に、どのようなクリック音が聞こえますか?

  1. A)This does not happen in the videoキー
  2. B)A sharp metallic snap
  3. C)A firm double-click
  4. D)A soft plastic clickモデル
回答:D ✗キー A

トレースには「音声を思い出す必要があります」と記され、その後はこの動画の音ではなく、PC 組み立て動画で「一般的に」聞こえる音から推論しています。正解の鍵は「起こらない」です。最終回答では、推測したクリック音を動画で実際に聞いた音として提示しています。

The user is asking about a specific audio detail in the video. Let me look at the relevant section. Around 02:20-02:30, the video shows the M.2 slots being highlighted in purple (the diagram at 02:20 shows the M.2 slots). Then the person is working with the heatsink. Let me think about the sequence. At 02:20 there's a diagram showing M.2 slots highlighted. Then at 02:30 the person is holding a black heatsink piece. At 02:40-02:50 they're working on the motherboard with the M.2 area. The question asks: when the two M.2 slots are highlighted in purple, what click is heard as the top heatsink locks back into place? I need to recall the audio. In these PC build videos, when you press down on the M.2 heatsink, there's typically a plastic click as it locks. The options are: sharp metallic snap, firm double-click, soft plastic click, or doesn't happen. Given the context of an M.2 heatsink locking into place, the typical sound is a soft plastic click. The heatsink is plastic/metal but the locking mechanism is usually a plastic clip. Let me consider the diagram at 02:20 - it shows the M.2 slots with purple/magenta highlighting. Then the person installs the SSD and the heatsink. The click when the heatsink locks would be a soft plastic click. I'll go with D, soft plastic click. Let me double check by reasoning about the video flow. The diagram with purple highlights appears at 02:20. Then at 02:30-02:50 the person is handling the heatsink and the M.2 area. The locking click of an M.2 heatsink is generally a soft plastic click. Thus answer D.

不正解

PSU ケーブルを差し込んでいる場面の背景

失敗モード: ほぼ同一の場面を特定します

質問 1539 near-duplicate-moments Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

手が黒い PC ケース背面の Seasonic 電源ユニットに黒い電源ケーブルを差し込むとき、その背後にはどのような面がありますか?

  1. A)A dark, textured surfaceキー
  2. B)A gray carpeted surface
  3. C)A metal mesh surface
  4. D)A plain white surfaceモデル
回答:D ✗キー A

質問は、少しずつ異なる形で繰り返される場面を指定しています。トレースでは、15:30 から 15:40 の、背後に白い壁がある後ろ姿の映像に絞り込んでいます。正解は暗い凹凸のある表面なので、モデルは動作を似たショットに対応付け、そのショットから背景を読み取ったことになります。

The user wants me to identify the surface behind the action of plugging a black power cable into the Seasonic PSU at the rear of the case. Let me look at the relevant timestamps. Around 15:30-15:40, the video shows the rear of the case with the Seasonic PSU installed, and a hand plugging in a black power cable (the IEC power cord) into the PSU. Looking at the frames around 15:30-15:40, the background behind the case appears to be a plain white wall/surface. There's a white wall with some light switches visible in earlier frames (around 7:50-8:00), and at the rear view (15:30-15:40) the background is a plain white surface. Let me verify by examining the frames. At 15:30, the case is shown from the rear with the Seasonic logo, and the background is white. At 15:40, the hand plugs the cable in, and the background is a plain white surface. So the answer is D) A plain white surface. Let me double check the other options: A) dark textured surface - that's the table surface where components were laid out earlier. B) gray carpeted surface - similar to the table. C) metal mesh surface - that's part of the case itself. The background behind the case at the rear view is white. Thus D.

不正解

セリフが発せられたときのウイスキーのボトルの位置

失敗モード: 音声の手がかりをまったく特定できません

質問 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B

モデルに送信された動画の全編で、ハーネスが使用する OpenRouter ミラーから配信されます。

彼が「あいつはこの間ずっと奥でウイスキーを飲んでいる」と言うとき、Craig の作業台にあるウイスキーのボトルは、ノートパソコンの左側と右側のどちらにありますか?

  1. A)This does not happen in the video.キー
  2. B)To the left of the laptop.モデル
  3. C)To the right of the laptop.
  4. D)Directly behind the laptop.
回答:B ✗キー A

手がかりは発話されたセリフです。トレースではそれを発見できず、「おそらくベンチでの会話中に登場する」と述べ、60 ~ 70 秒のフレームに基づいて回答しています。鍵となるのは「起こらない」という点です。文字起こしの該当箇所を特定できなかったため、モデルは最も近いシーンで代用しました。

The user is asking about a specific moment in the video where someone says "This whole time he's back there drinking whiskey." I need to find this moment and look at the position of the whiskey bottle relative to the laptop on Craig's bench. Let me look at the early part of the video. Around 60-70 seconds, there's a scene with a man sitting at a bench with a laptop, and there's a bottle on the bench. Let me look carefully. At around 60-70 seconds, there's a man in a light blue shirt sitting in a chair at a bench with a laptop. On the bench, to the left of the laptop (from the viewer's perspective), there's a bottle (looks like a whiskey bottle) and a mug. Wait, I need to find the audio line "This whole time he's back there drinking whiskey." This is likely during the scene where two people are at the bench with the laptop. Let me look at the timestamps around 60-130 seconds. At 60-70s: man in blue shirt at bench with laptop, bottle on left side of bench. At 120-130s: close up of laptop showing a 3D model of a table, with a hand typing. The line about drinking whiskey probably occurs during the conversation at the bench. The bottle is on the bench. Looking at the frame at 60-70s, the bottle is to the left of the laptop (viewer's left). The laptop is on the right side of the bench, the bottle and mug are on the left side. So from the viewer's perspective, the whiskey bottle is to the left of the laptop. Thus the answer is B. Let me double check the orientation. The question asks "to the left or right of the laptop on Craig's bench?" In the image at 60-70s, the laptop is on the right portion of the bench, the bottle is on the left portion. So the bottle is to the left of the laptop. Therefore answer B. I'm fairly confident. The line "This whole time he's back there drinking whiskey" matches the scene where one person is at the laptop and another is "back there" drinking. The bottle visible on the bench is to the left of the laptop. Thus B.