콘텐츠로 건너뛰기
  • 모델
  • 순위
  • Ori
ElevenLabs launch offer: every ElevenLabs model is 50% off through October 19, 2026. See ElevenLabs models

Footer

OpenRouterOpenRouter
© 2026 OpenRouter, Inc

제품

  • 채팅
  • 순위
  • 벤치마크
  • 앱
  • 찾아보기
  • 모델
  • Ori
  • 컬렉션
  • 제공업체
  • 도구
  • 가격
  • Business
  • Enterprise
  • 랩

회사

  • 정보
  • 블로그
  • 채용
    채용
  • 개인정보 보호
  • 서비스 약관
  • 신뢰 센터
  • 지원
  • OR과 호환
  • 데이터
  • 브랜드

개발자

  • 문서
  • API 참조
  • 개발자 플랫폼
  • 상태
  • AI 사이트맵

연결

  • Discord
  • GitHub
  • LinkedIn
  • X
  • YouTube
모든 벤치마크

VGI-Bench

VGI-Bench(Video General Intelligence Bench, Seldon 제작)는 장편 동영상에 관한 객관식 질문을 제시합니다. 무엇이 먼저 등장했는지, 다른 무언가와 동시에 화면에 무엇이 있었는지, 특정 장면이 재생되는 동안 내레이터가 무엇을 말했는지, 그리고 전제가 실제로 발생하지 않는 경우에 관한 질문 등이 포함됩니다. 아래의 각 샘플은 OpenRouter를 통한 실제 실행입니다. 모델에는 전체 동영상과 질문이 한 번에 제공되었고 temperature는 0으로 설정되었으며, 채점된 답은 모델의 마지막 Answer: 줄에 있는 문자입니다.

마지막 벤치마크 실행 2026. 10. 12. 오후 6:00 UTC

데이터셋GitHub
모델 비교비용 효율성리더보드궤적

모델 비교

최고 정확도

bytedance-seed의 파비콘
ByteDance Seed: Seed 1.6

66.2%

최고의 가치

bytedance-seed의 파비콘
ByteDance Seed: Seed 1.6

US$0.039/질문

가장 빠름

bytedance-seed의 파비콘
ByteDance Seed: Seed 1.6

64s

정확도
대표 실행 정확도, 높은 순.
문항당 비용
문항당 평균 비용, 낮은 순.
문항당 시간
문항당 평균 실제 경과 시간, 빠른 순.

비용 효율성

정확도 대비 비용(파레토 프런티어)
모델별로 점 1개를 표시하며, 가능한 경우 특정 제공업체로 고정하지 않고 기본 라우팅을 사용합니다. 선은 파레토 프런티어를 나타냅니다. 정확도와 비용 모두에서 이 모델들을 능가하는 모델은 없습니다.

리더보드

Accuracy over the public split (439 questions, runs need at least 395 answered to be listed), with cost, time, and input and output tokens per question for each provider endpoint the model was run on. Scores aggregate successful runs from the newest 90 days.

VGI-Bench 리더보드: 제공업체별 질문당 모델 정확도, 비용, 시간, 입력 및 출력 토큰
#모델표준편차
1
bytedance-seed의 파비콘
ByteDance Seed: Seed 1.6
파레토
66.2%±1.0ppUS$0.03964s141k2.03k
2
qwen의 파비콘
Qwen: Qwen3.8 Omni Flash
Alibaba
65.5%--US$0.0464.6m412k11.5k
3
bytedance-seed의 파비콘
ByteDance Seed: Seed-2.0-Lite
Seed
63.7%±4.8ppUS$0.0732.5m241k6.5k
4
qwen의 파비콘
Qwen: Qwen3.8 Max (0902)
Alibaba
63.7%--US$0.558.6m613k20.1k
5
meta의 파비콘
Meta: Muse Wonder
Meta
63.6%--US$1.033.1m233k8.62k
6
google의 파비콘
Google: Gemini 2.5 Pro
Google AI Studio
61.4%±0.7ppUS$0.0611.8m3416.04k
7
meta의 파비콘
Meta: Muse Spark 1.3
Meta
61.1%--US$0.224.2m227k14.3k
8
qwen의 파비콘
Qwen: Qwen3.8 Max (0803)
Alibaba
58.0%--US$0.338.2m579k13.6k
9
qwen의 파비콘
Qwen: Qwen3.8 Flash
Alibaba
56.8%--US$0.116.2m1.52M24.1k
10
google의 파비콘
Google: Gemini 3 Flash Preview
Google AI Studio
54.8%±0.5ppUS$0.144.7m111k40.2k
11
qwen의 파비콘
Qwen: Qwen3.7 Flash
Alibaba
54.8%±0.5ppUS$0.275.6m1.48M10.9k
12
meta의 파비콘
Meta: Muse Spark 1.1
Meta
54.2%±0.5ppUS$0.242.6m151k21.8k
13
google의 파비콘
Google: Gemma 4 31B
파레토
51.4%±1.3ppUS$0.0333.2m7.48k27.5k
14
meta의 파비콘
Meta: Muse Spark 1.2
Meta
51.0%±0.6ppUS$0.162.0m150k15.3k
15
qwen의 파비콘
Qwen: Qwen3.6 Plus
Alibaba
50.6%±0.4ppUS$0.217.1m532k20.9k
16
google의 파비콘
Google: Gemini 2.5 Flash
파레토
Google AI Studio
50.0%±0.3ppUS$0.0241.9m3419.42k
17
qwen의 파비콘
Qwen: Qwen3.8 27B
48.3%±1.5ppUS$0.0292.4m37.4k7.18k
18
google의 파비콘
Google: Gemini 2.5 Flash Lite
파레토
Google AI Studio
48.0%--US$0.0122.4m34029.7k
19
xiaomi의 파비콘
Xiaomi: MiMo-V2.5
Xiaomi
47.9%±1.9ppUS$0.0205.9m251k13.4k
20
perceptron의 파비콘
Perceptron: Perceptron Mk1
파레토
Perceptron
46.2%±0.1ppUS$0.0082.7m46.4k817
21
qwen의 파비콘
Qwen: Qwen3.5-Flash
Alibaba
46.2%±1.2ppUS$0.104.9m1.49M20.2k
22
qwen의 파비콘
Qwen: Qwen3.5 397B A17B
46.0%±0.9ppUS$0.959.2m1.45M22.4k
23
xiaomi의 파비콘
Xiaomi: MiMo-X-Pro Preview
Xiaomi
45.6%--US$0.0274.6m77.4k14.7k
24
qwen의 파비콘
Qwen: Qwen3.5 Plus 2026-02-15
Alibaba
45.5%±0.7ppUS$0.177.5m532k21.3k
25
xiaomi의 파비콘
Xiaomi: MiMo-X-Flash Preview
Xiaomi
45.4%--US$0.0345.2m337k11.9k
26
qwen의 파비콘
Qwen: Qwen3.6 Flash
Alibaba
45.2%±0.8ppUS$1.146.7m1.49M19.4k
27
qwen의 파비콘
Qwen: Qwen3.5 Plus 2026-04-20
Alibaba
45.1%±0.6ppUS$0.174.9m440k18.6k
28
xiaomi의 파비콘
Xiaomi: MiMo-V2.6-Pro
44.0%--US$0.0317.1m76.8k17.7k
29
bytedance-seed의 파비콘
ByteDance Seed: Seed-2.0-Mini
Seed
43.4%±2.9ppUS$0.0271.9m232k9.34k
30
xiaomi의 파비콘
Xiaomi: MiMo-V2.6-Pro-UltraSpeed
Xiaomi
43.4%--US$0.343.2m77k21.1k
31
z-ai의 파비콘
Z.ai: GLM 5.3 Flash
34.6%±2.7ppUS$0.0288.3m58.2k43.9k
32
google의 파비콘
Google: Gemma 4 26B A4B
파레토
34.0%±0.7ppUS$0.0054.4m4.74k10k
33
xiaomi의 파비콘
Xiaomi: MiMo-V2.6-Flash
32.2%--US$0.0084.3m64.1k11.9k
34
perceptron의 파비콘
Perceptron: Perceptron Mk1.5
Perceptron
28.9%--US$0.0191.6m49k7.48k
35
minimax의 파비콘
MiniMax: MiniMax M3
28.3%±0.8ppUS$0.1013.4m52.4k97.3k
36
rekaai의 파비콘
Reka Edge
파레토
Reka
21.4%±0.2ppUS$0.0001531s1.49k30.5
37
inclusionai의 파비콘
inclusionAI: Ling 3.0 Flash VL
19.2%--US$0.0011.8m5.71k9.46k
38
google의 파비콘
Google: Gemini 3.8 Flash
14.4%--US$0.03976s1.42k10.3k
39
qwen의 파비콘
Qwen: Qwen3.6 35B A3B
13.8%--US$0.02514.9m11k25.1k
40
google의 파비콘
Google: Gemini 3.7 Flash
Google
12.4%--US$0.01324s1.19k3.29k
41
z-ai의 파비콘
Z.ai: GLM 5V Turbo
Z.AI
12.3%±0.5ppUS$0.136.9m124k2.42k
42
qwen의 파비콘
Qwen: Qwen3.5-35B-A3B
12.1%±0.2ppUS$0.01453s37.9k6.3k
43
qwen의 파비콘
Qwen: Qwen3.6 27B
11.7%±0.4ppUS$0.0303.9m31.8k5.78k
44
google의 파비콘
Google: Gemini 3.6 Flash
Google AI Studio
11.5%--US$0.01624s1.39k3.97k
45
google의 파비콘
Google: Gemini 3.1 Pro Preview
Google AI Studio
10.9%--US$0.09859s1.39k7.96k
46
google의 파비콘
Google: Gemini 3.1 Pro Preview Custom Tools
Google AI Studio
10.6%--US$0.09860s1.39k8.02k
47
google의 파비콘
Google: Gemini 3.5 Flash
Google AI Studio
10.1%--US$0.08839s1.38k9.59k
48
google의 파비콘
Google: Gemini 3.5 Flash Lite
Google AI Studio
8.4%--US$0.00613s1.39k2.08k
49
google의 파비콘
Google: Gemini 3.1 Flash Lite
Google AI Studio
8.2%--US$0.03858s1.39k25.1k
50
google의 파비콘
Google: Gemini 3.1 Flash Lite Preview
Google AI Studio
8.2%--US$0.03858s1.38k25.1k
51
z-ai의 파비콘
Z.ai: GLM 4.6V
Z.AI
5.6%±4.3ppUS$0.0171.9m69.2k804
52
moonshotai의 파비콘
MoonshotAI: Kimi K3
4.7%±5.2ppUS$0.02429s3.62k1.27k
53
qwen의 파비콘
Qwen: Qwen3.5-9B
Darkbloom
1.8%±0.3ppUS$0.00311.0m61227.7k

궤적

추론 추적은 모델의 인식입니다. 모델이 보았다고 말한 순간과 그 순간에 연결한 타임스탬프를 보여 줍니다. 이를 동영상과 비교해 읽으면 답변에 도달한 과정과 실패한 실행에서 설명이 영상 내용과 어긋난 지점을 확인할 수 있습니다.

정답

포인터가 가장 오래 머문 창

정상 경로: 모델이 해당 순간을 찾아 올바르게 판독합니다.

질문 1187 global-graph/interaction_partner Qwen3.8 27B

하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.

마우스 포인터가 가장 자주 머문 옵션은 무엇인가요?

  1. A)Windhawk application window키, 모델
  2. B)Install button
  3. C)Adobe Premiere Pro window
  4. D)Windows taskbar
답변 A ✓키 A

이 트레이스는 한 프레임이 아니라 전체 녹화에서 포인터를 추적하고, 끝부분에 등장하는 Premiere Pro 장면을 주의를 분산시키는 요소로 지목하며, 세션을 지배하는 창에 도달합니다.

The question asks which option the mouse pointer hovers over most often. Let me think about the video content. The video is a tutorial about Windhawk, a customization tool for Windows. Throughout the video, the user is constantly interacting with the Windhawk application window - browsing mods, installing them, configuring settings, etc. Let me consider each option: - A) Windhawk application window - This is the main focus of the video. The user opens Windhawk, browses mods, clicks on details, settings, installs mods, etc. The mouse is frequently over this window. - B) Install button - The install button is clicked a few times but not hovered over most often. - C) Adobe Premiere Pro window - This appears only briefly near the end (around 13:20-13:40) as a joke about the title bar color. - D) Windows taskbar - The taskbar is shown but the mouse isn't constantly hovering over it. The dominant interaction is with the Windhawk application window. The mouse pointer is over it for the majority of the video as the user navigates through mods, settings, etc. So the answer is A. Let me double check by reviewing timestamps. From 1:20 onwards, the Windhawk window is open and the mouse moves around it constantly - clicking Mods, Explore, scrolling, clicking Details, Settings, etc. This continues through most of the video. The taskbar is shown at times but the mouse hovers over the Windhawk window more. Thus A is correct.

오답

정원 창고와 동시에 보이는 물체

실패 모드: 핵심 위에 있는 두드러진 객체

질문 1862 global-graph/co_presence Qwen3.8 27B

하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.

동영상에서 목재 정원 창고와 반복적으로 동시에 보이는 옵션은 무엇입니까?

  1. A)presenter with short curly hair키
  2. B)metal shed hinge
  3. C)wagon wheel모델
  4. D)glass doors
답변 C ✗키 A

추적 결과는 창고에 기대어 있는 수레바퀴를 여덟 개의 타임스탬프로 언급하고 발표자는 부수적인 존재로 처리합니다. 사람이 검증한 정답은 발표자입니다. 모델은 채점 대상이었던 물체가 아니라 프레임에서 가장 눈에 띄는 물체를 선택했습니다.

The question asks which option is repeatedly visible at the same time as the wooden garden shed during the video. Let me look at the frames where a wooden garden shed appears. At around 3:57-4:00, there's a wooden garden shed with a wagon wheel leaning against it, and the presenter is sitting in front of it. At 4:57-5:15, the same wooden shed with the wagon wheel is visible while the presenter talks about the slab base. So the wooden garden shed appears together with the wagon wheel in multiple segments. Let me check the other options: - A) presenter with short curly hair - the presenter is visible in many places, but the question is about what's visible at the same time as the wooden shed. The presenter is there too, but the wagon wheel is a distinctive object attached to the shed scene. - B) metal shed hinge - not particularly visible. - C) wagon wheel - yes, clearly visible leaning against the wooden shed in multiple frames (3:57, 4:00, 4:57, 5:00, 5:03, 5:07, 5:11, 5:15). - D) glass doors - those are on a different building (the dark shed with white doors). The wagon wheel is repeatedly visible alongside the wooden garden shed. The answer is C. Let me double check the frames. At 3:57 the presenter sits against a wooden shed with a large wagon wheel on the right. At 4:57-5:15 same scene. So wagon wheel is repeatedly visible with the wooden shed. Thus answer C.

오답

계량스푼에 관한 잘못된 전제를 담은 질문

실패 모드: 일어나지 않은 순간을 설명함

질문 1096 contrastive-hard-negative/false-premise-visual-attribute Qwen3.8 27B

하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.

화자가 소금을 큰술 하나 가득 사용했다고 말할 때, 빨간 계량스푼은 치즈 커드에 비해 어디에 놓여 있나요?

  1. A)This does not happen in the video.키
  2. B)It is resting beside the bowl of cheese curds.
  3. C)It is positioned just in front of the cheese curds.모델
  4. D)It is laid across the top of the cheese curds.
답변 C ✗키 A

정답에는 이 순간이 일어나지 않는다고 되어 있습니다. 추적 결과는 2:38부터 2:44까지 커드 앞에 스푼이 놓이는 장면을 설명하고, '일어나지 않음' 선택지를 단호하게 배제한 뒤 정답이 뒷받침하지 않는 세부 사항으로 답합니다.

The user wants me to look at the video and determine the position of the red measuring spoon relative to the cheese curds when the speaker mentions using a full tablespoon of salt. Let me trace through the video. Around 2:38-2:42, the speaker is adding salt to the cheese curds in a cloth-lined pot. She holds a red measuring spoon with salt in it. At 2:42, she sets the red spoon down. Let me look at where it ends up. At 2:42-2:44, after adding the salt, she places the red spoon down in front of the bowl/curds. Looking at the frame at 2:44, the red spoon is lying on the counter just in front of the cheese curds (the cloth-lined pot). Then she picks up the wooden spoon to stir. Let me check the options: A) Does not happen - but it does happen, she uses a tablespoon of salt. B) Resting beside the bowl - "beside" could be left/right. C) Positioned just in front of the cheese curds. D) Laid across the top. Looking at the frame at 2:44, the red spoon is at the bottom of the frame, in front of the curds. So "just in front of the cheese curds" matches C. Let me double check the timestamp. At 2:38 she holds the red spoon with salt. At 2:42 she tips it in. At 2:44 the red spoon is resting on the counter at the front edge, in front of the curds. Yes. Thus answer C. I need to provide reasoning then final answer format.

오답

M.2 방열판이 잠길 때 나는 소리

실패 모드: 세계 지식으로 오디오 질문에 답함

질문 2852 contrastive-hard-negative/visual_audio Qwen3.8 27B

하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.

두 M.2 슬롯이 보라색으로 강조 표시될 때, 상단 방열판이 제자리로 다시 잠기면서 어떤 클릭 소리가 들리나요?

  1. A)This does not happen in the video키
  2. B)A sharp metallic snap
  3. C)A firm double-click
  4. D)A soft plastic click모델
답변 D ✗키 A

추적 결과는 '오디오를 떠올려야 한다'고 말한 뒤, 이 동영상이 아니라 PC 조립 영상에서 '일반적으로' 어떤 소리가 나는지를 바탕으로 추론합니다. 정답은 '일어나지 않음'입니다. 최종 응답은 추측한 클릭 소리를 동영상에서 실제로 들은 소리인 것처럼 제시합니다.

The user is asking about a specific audio detail in the video. Let me look at the relevant section. Around 02:20-02:30, the video shows the M.2 slots being highlighted in purple (the diagram at 02:20 shows the M.2 slots). Then the person is working with the heatsink. Let me think about the sequence. At 02:20 there's a diagram showing M.2 slots highlighted. Then at 02:30 the person is holding a black heatsink piece. At 02:40-02:50 they're working on the motherboard with the M.2 area. The question asks: when the two M.2 slots are highlighted in purple, what click is heard as the top heatsink locks back into place? I need to recall the audio. In these PC build videos, when you press down on the M.2 heatsink, there's typically a plastic click as it locks. The options are: sharp metallic snap, firm double-click, soft plastic click, or doesn't happen. Given the context of an M.2 heatsink locking into place, the typical sound is a soft plastic click. The heatsink is plastic/metal but the locking mechanism is usually a plastic clip. Let me consider the diagram at 02:20 - it shows the M.2 slots with purple/magenta highlighting. Then the person installs the SSD and the heatsink. The click when the heatsink locks would be a soft plastic click. I'll go with D, soft plastic click. Let me double check by reasoning about the video flow. The diagram with purple highlights appears at 02:20. Then at 02:30-02:50 the person is handling the heatsink and the M.2 area. The locking click of an M.2 heatsink is generally a soft plastic click. Thus answer D.

오답

PSU 케이블을 꽂을 때 뒤에 있는 배경

실패 모드: 거의 중복되는 순간을 찾음

질문 1539 near-duplicate-moments Qwen3.8 27B

하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.

손이 검은색 PC 케이스 뒤쪽의 Seasonic 파워 서플라이에 검은색 전원 케이블을 꽂을 때, 그 뒤에 있는 표면은 무엇인가요?

  1. A)A dark, textured surface키
  2. B)A gray carpeted surface
  3. C)A metal mesh surface
  4. D)A plain white surface모델
답변 D ✗키 A

이 질문은 약간씩 다르게 반복되는 한 순간을 특정합니다. 트레이스는 뒤에 흰 벽이 있는 15:30~15:40의 후면 모습으로 범위를 좁힙니다. 핵심은 어두운 질감의 표면이므로, 모델은 동작을 비슷한 장면에 맞추고 그 장면에서 배경을 파악했습니다.

The user wants me to identify the surface behind the action of plugging a black power cable into the Seasonic PSU at the rear of the case. Let me look at the relevant timestamps. Around 15:30-15:40, the video shows the rear of the case with the Seasonic PSU installed, and a hand plugging in a black power cable (the IEC power cord) into the PSU. Looking at the frames around 15:30-15:40, the background behind the case appears to be a plain white wall/surface. There's a white wall with some light switches visible in earlier frames (around 7:50-8:00), and at the rear view (15:30-15:40) the background is a plain white surface. Let me verify by examining the frames. At 15:30, the case is shown from the rear with the Seasonic logo, and the background is white. At 15:40, the hand plugs the cable in, and the background is a plain white surface. So the answer is D) A plain white surface. Let me double check the other options: A) dark textured surface - that's the table surface where components were laid out earlier. B) gray carpeted surface - similar to the table. C) metal mesh surface - that's part of the case itself. The background behind the case at the rear view is white. Thus D.

오답

대사가 나올 때 위스키 병이 놓인 위치

실패 모드: 말로 언급된 단서를 전혀 찾지 못함

질문 2894 contrastive-hard-negative/transcript_visual Qwen3.8 27B

하네스에서 사용하는 OpenRouter 미러를 통해 제공되는, 모델에 전송된 전체 동영상입니다.

그가 “이 내내 저기서 위스키를 마시고 있네”라고 말할 때, 위스키 병은 Craig의 작업대에 있는 노트북의 왼쪽에 있나요, 오른쪽에 있나요?

  1. A)This does not happen in the video.키
  2. B)To the left of the laptop.모델
  3. C)To the right of the laptop.
  4. D)Directly behind the laptop.
답변 B ✗키 A

단서는 말로 전달된 대사입니다. 추적 결과는 해당 대사를 전혀 찾지 못하고 '아마 작업대에서 대화하는 동안 나왔을 것'이라고 말한 뒤 60초에서 70초 사이의 프레임을 근거로 답합니다. 정답은 '일어나지 않음'입니다. 전사 내용이라는 기준점이 없자 모델은 가장 비슷한 장면으로 대체했습니다.

The user is asking about a specific moment in the video where someone says "This whole time he's back there drinking whiskey." I need to find this moment and look at the position of the whiskey bottle relative to the laptop on Craig's bench. Let me look at the early part of the video. Around 60-70 seconds, there's a scene with a man sitting at a bench with a laptop, and there's a bottle on the bench. Let me look carefully. At around 60-70 seconds, there's a man in a light blue shirt sitting in a chair at a bench with a laptop. On the bench, to the left of the laptop (from the viewer's perspective), there's a bottle (looks like a whiskey bottle) and a mug. Wait, I need to find the audio line "This whole time he's back there drinking whiskey." This is likely during the scene where two people are at the bench with the laptop. Let me look at the timestamps around 60-130 seconds. At 60-70s: man in blue shirt at bench with laptop, bottle on left side of bench. At 120-130s: close up of laptop showing a 3D model of a table, with a hand typing. The line about drinking whiskey probably occurs during the conversation at the bench. The bottle is on the bench. Looking at the frame at 60-70s, the bottle is to the left of the laptop (viewer's left). The laptop is on the right side of the bench, the bottle and mug are on the left side. So from the viewer's perspective, the whiskey bottle is to the left of the laptop. Thus the answer is B. Let me double check the orientation. The question asks "to the left or right of the laptop on Craig's bench?" In the image at 60-70s, the laptop is on the right portion of the bench, the bottle is on the left portion. So the bottle is to the left of the laptop. Therefore answer B. I'm fairly confident. The line "This whole time he's back there drinking whiskey" matches the scene where one person is at the laptop and another is "back there" drinking. The bottle visible on the bench is to the left of the laptop. Thus B.