τ²-Bench Airline은 무엇을 측정합니까?

모델이 항공사 고객 지원 에이전트의 업무를 수행할 수 있는지 테스트합니다. 정책 매뉴얼을 따르고, 시뮬레이션된 고객과 대화하며, 항공편 검색, 예약 변경, 환불 처리를 위해 올바른 도구를 호출해야 합니다. 모델에는 도메인 지식이 필요하지 않으며, 여러 단계로 구성된 작업 과정에서 도구 호출을 얼마나 잘 실행하는지만으로 점수를 받습니다.

단일 작업은 어떻게 채점하나요?

작업은 통과 또는 실패로 채점됩니다. 에이전트는 단계 예산 내에서 대화를 완료하고, 참조 솔루션이 생성한 상태로 예약 시스템을 유지하며, 고객에게 수행한 작업을 알려야 합니다. 이 중 하나라도 빠지면 0점이며 부분 점수는 없습니다.

같은 모델을 제공하는 두 제공업체의 점수가 서로 다른 이유는 무엇인가요?

실행은 OpenRouter 트래픽을 처리하는 동일한 제공업체 엔드포인트를 대상으로 하므로, 점수에는 모델과 이를 실행하는 제공업체가 모두 반영됩니다. 이러한 정확도 점수는 Exacto 라우팅이 동종 엔드포인트보다 뒤처지는 엔드포인트에서 도구 호출 트래픽을 다른 곳으로 유도할 때 사용하는 신호 중 하나입니다.

이 점수가 공개된 τ²-Bench 수치와 일치하지 않는 이유는 무엇인가요?

모든 대화에서 고객 측 역할은 다른 모델이 수행하며, OpenRouter는 실행 간 에이전트 점수를 비교할 수 있도록 이 시뮬레이터를 고정합니다. 시뮬레이터 자체에도 실패 모드가 있으므로 시뮬레이터가 변경될 때마다 절대 점수가 달라집니다. 따라서 서로 다른 출처의 τ²-Bench 수치가 정확히 일치하는 경우는 드뭅니다.

점수는 몇 개의 작업을 기반으로 합니까?

점수는 동일한 작업 세트를 반복 실행한 결과를 집계하며, 각 실행에서 채점된 작업 수에 따라 가중치를 적용합니다. 모델의 대표 점수는 가장 성능이 좋은 제공업체의 결과가 아니라 하나의 대표적인 결과입니다.

이 점수를 프로그래밍 방식으로 가져올 수 있나요?

예. 공개 벤치마크 API는 API 키를 사용해 GET https://openrouter.ai/api/v1/benchmarks?source=openrouter에서 동일한 모델 수준 결과를 반환합니다. task_type=agentic으로 필터링하면 tau_bench_verified_airline에 도달할 수 있습니다.

모든 벤치마크

τ²-Bench: 항공사

τ²-Bench Airline은 모델이 항공사 지원 상담원의 업무를 수행할 수 있는지 테스트하며, 정책 매뉴얼을 따르고, 시뮬레이션된 고객과 대화하며, 항공편 검색, 예약 변경, 환불 처리에 적절한 도구를 호출해야 합니다. 모델에는 특정 도메인 지식이 필요하지 않으며, 여러 단계의 작업 과정에서 도구 호출을 얼마나 잘 실행하는지만으로 점수를 산정합니다. OpenRouter 트래픽을 처리하는 동일한 제공업체 엔드포인트를 대상으로 지속적으로 실행하므로, 점수에는 모델과 이를 실행하는 제공업체가 모두 반영됩니다. 이 벤치마크를 사용하는 이유는 하한선이 높아 모델의 역량이 아닌 제공업체 간 차이를 평가할 수 있기 때문입니다. 도구 호출 요청을 위한 라우팅 알고리즘은 동일한 신호를 사용해 성능이 가장 우수한 엔드포인트로 트래픽을 보냅니다.

마지막 벤치마크 실행 2026. 10. 12. 오후 7:41 UTC

논문 GitHub

τ²-Bench Airline 벤치마크에서 어떤 모델들이 선두를 차지합니까?

Anthropic: Claude Fable 5이(가) 2026. 10. 12. 오후 7:41 UTC 기준 80.0%점으로 τ²-Bench Airline 공동 1위입니다. Airline 작업, 정책, 시뮬레이터 및 고객 설정, 단계 예산과 채점은 프로덕션 제공업체 엔드포인트 전반에서 동일하게 유지되므로, 표시된 결과를 통해 동일한 평가 조건에서 모델과 해당 모델을 제공하는 제공업체를 비교할 수 있습니다.

Auto Exacto 적용 전 → 후 도구 호출 오류

3.9% → 1.9%

도구 호출 요청을 위한 OpenRouter의 자동 제공업체 최적화 기능인 Auto Exacto에 등록된 모델의 도구 호출 오류율입니다.

리더보드

최상위 행은 가능한 경우 기본 라우팅을 사용합니다. 행을 클릭하면 제공업체가 고정된 결과를 펼쳐 볼 수 있습니다.

τ²-Bench Airline 리더보드: 제공업체별 작업당 모델 정확도, 비용, 시간 및 출력 토큰
#	모델		표준편차
1	Anthropic: Claude Fable 5 파레토	80.0%	±2.7pp	US$0.92	2.1m	5.78k
2	Xiaomi: MiMo-V2.6-Flash 파레토	79.7%	±0.3pp	US$0.017	8.2m	23.6k
3	Anthropic: Claude Fable 5.1	79.2%	±1.3pp	US$0.72	1.9m	6.9k
4	Anthropic: Claude Opus 5	78.7%	±2.3pp	US$0.49	2.1m	7.14k
5	Google: Gemini 3.7 Flash	78.5%	±2.1pp	US$0.11	2.5m	14.4k
6	Amazon: Nova Micro 1.0	78.0%	±1.9pp	US$1.28	1.7m	5.69k
7	Anthropic: Claude Sonnet 5.5	78.0%	±3.3pp	US$0.16	82s	6.33k
8	Qwen: Qwen3.8 27B	77.6%	±2.5pp	US$0.076	4.8m	13.9k
9	DeepSeek: DeepSeek V4 Pro 0813	77.4%	±1.7pp	US$0.11	5.3m	20.7k
10	StepFun: Step 3.7 Flash	77.3%	--	US$0.020	3.8m	10.9k
11	Qwen: Qwen3.5 397B A17B	77.3%	±2.0pp	US$0.17	12.3m	28.9k
12	OpenAI: GPT-5.1	77.1%	±4.1pp	US$0.41	7.9m	36.5k
13	Anthropic: Claude Opus 4.5	77.0%	±2.1pp	US$0.54	2.9m	10.6k
14	Z.ai: GLM 5.3	76.9%	±2.7pp	US$0.062	2.2m	6.47k
15	Google: Gemini 3.5 Flash Lite	76.9%	±2.2pp	US$0.098	1.7m	23.9k
16	DeepSeek: DeepSeek V4.1 Flash	76.8%	±1.4pp	US$0.033	4.6m	39.9k
17	Google: Gemma 4 31B	76.8%	±4.0pp	US$0.027	8.1m	12.8k
18	Anthropic: Claude Opus 4.8	76.7%	±2.1pp	US$0.49	2.2m	8.16k
19	Qwen: Qwen3.5-122B-A10B	76.5%	±2.8pp	US$0.17	9.7m	36.6k
20	Anthropic: Claude Opus 4.7	76.4%	±2.4pp	US$0.42	1.6m	5.63k
21	DeepSeek: DeepSeek V4 Pro 0423	76.4%	±2.4pp	US$0.042	4.0m	12.1k
22	Z.ai: GLM 5	76.3%	±3.4pp	US$0.044	3.5m	9.46k
23	GLM 5.3 파레토 digitalocean	76.0%	--	US$0.016	42s	1.76k
24	Anthropic: Claude Sonnet 5	75.9%	±3.1pp	US$0.20	2.1m	7.9k
25	Qwen: Qwen3.8 2.4T A95B	75.8%	±1.4pp	US$0.19	5.3m	12.2k
26	Anthropic: Claude Opus 5.5	75.8%	±2.2pp	US$0.33	2.2m	7.17k
27	Google: Gemini 3.1 Pro Preview	75.8%	±1.7pp	US$0.36	2.8m	12.8k
28	Z.ai: GLM 5.3 Flash 파레토	75.7%	±2.0pp	US$0.006	2.3m	4.26k
29	SpaceXAI: Grok 4.6	75.3%	±0.7pp	US$0.33	4.0m	12k
30	OpenAI: GPT-5.4	75.3%	±0.5pp	US$0.29	2.9m	10.7k
31	Anthropic: Claude Haiku 5.5	75.3%	--	US$0.012	1.6m	11.2k
32	Google: Gemini 3 Flash Preview	75.3%	±3.3pp	US$0.12	2.5m	19.8k
33	OpenAI: GPT-5.3-Codex OpenAI	75.3%	--	US$0.30	3.0m	13.6k
34	OpenAI: GPT-5.5	75.1%	±2.2pp	US$0.49	2.4m	7.91k
35	Anthropic: Claude Opus 4.6	75.1%	±2.6pp	US$0.49	3.3m	10.1k
36	Z.ai: GLM 5.1	75.0%	±2.5pp	US$0.088	4.2m	9.77k
37	Anthropic: Claude Sonnet 4.6	74.9%	±2.2pp	US$0.32	3.3m	11.5k
38	Qwen: Qwen3.6 27B	74.8%	±4.8pp	US$0.13	14.6m	32.4k
39	DeepSeek: DeepSeek V4 Flash Vision Exp	74.8%	±2.0pp	US$0.030	3.3m	18.7k
40	Tencent: Hy4 preview	74.7%	±4.0pp	US$0.16	28.0m	38.2k
41	Google: Gemini 3.6 Flash	74.7%	±2.4pp	US$0.21	2.4m	22.8k
42	OpenAI: GPT-5.6 Sol	74.7%	±2.9pp	US$0.18	1.9m	5.12k
43	Meta: Muse Glimmer 30B	74.7%	±3.4pp	US$0.037	3.3m	13.6k
44	DeepSeek: DeepSeek V3.2	74.6%	±2.5pp	US$0.036	10.0m	15k
45	DeepSeek: DeepSeek V4 Flash 0423	74.3%	±2.0pp	US$0.011	3.6m	14.3k
46	MiniMax: MiniMax M3	74.2%	±2.8pp	US$0.024	2.8m	7.63k
47	Xiaomi: MiMo-V2.6-Pro	74.2%	±3.6pp	US$0.067	17.3m	42.5k
48	MoonshotAI: Kimi K2.6	74.1%	±2.1pp	US$0.071	5.6m	12.8k
49	Xiaomi: MiMo-V2.5-Pro	73.9%	±3.2pp	US$0.029	7.5m	14.7k
50	OpenAI: GPT-5.6 Sol Pro	73.7%	±3.0pp	US$1.29	5.2m	22.9k
51	MoonshotAI: Kimi K2.7 Code	73.4%	±2.6pp	US$0.076	3.1m	8.65k
52	DeepSeek: DeepSeek V4 Flash 0731	73.4%	±4.9pp	US$0.009	5.6m	15.5k
53	OpenAI: GPT-5.2	73.3%	--	US$0.24	3.5m	12.5k
54	OpenAI: GPT-5.6 Terra	73.1%	±1.1pp	US$0.11	89s	4.02k
55	Google: Gemini 3.5 Flash	73.1%	±2.3pp	US$0.40	2.9m	27.1k
56	Anthropic: Claude Sonnet 4.5	72.7%	±3.5pp	US$0.33	3.4m	10.3k
57	OpenAI: GPT-6 Astra Pro	72.7%	--	US$2.91	5.5m	12.4k
58	Z.ai: GLM 5.2	72.5%	±2.7pp	US$0.039	2.4m	8.57k
59	MoonshotAI: Kimi K3	72.5%	±3.0pp	US$0.30	6.3m	9.44k
60	DeepSeek: DeepSeek V3.2 Exp	72.4%	±0.9pp	US$0.082	17.4m	16k
61	Z.ai: GLM 4.6	72.3%	±1.8pp	US$0.051	6.4m	9.39k
62	Qwen: Qwen3.6 35B A3B	72.1%	±7.8pp	US$0.046	4.4m	26k
63	Z.ai: GLM 4.7	72.1%	±2.5pp	US$0.060	5.1m	9.65k
64	NVIDIA: Nemotron 3 Ultra	72.0%	--	US$0.15	1.8m	13.1k
65	Qwen: Qwen3.7 Max AtlasCloud	72.0%	--	US$0.40	3.3m	16.3k
66	Google: Gemini 3.1 Flash Lite	72.0%	±0.9pp	US$0.093	2.5m	49.3k
67	Xiaomi: MiMo-V2.5	71.8%	±3.1pp	US$0.010	5.8m	14.3k
68	Qwen: Qwen3.8 Flash Alibaba	71.3%	--	US$0.017	5.5m	17.2k
69	Google: Gemini 3.8 Flash	71.3%	--	US$0.21	4.4m	27.6k
70	OpenAI: GPT-5.6 Luna Pro	71.1%	±1.1pp	US$0.072	5.8m	33.9k
71	MoonshotAI: Kimi K2.5	71.0%	±3.1pp	US$0.043	6.2m	9.75k
72	MiniMax: MiniMax M2.7	70.9%	±1.3pp	US$0.026	3.6m	10.1k
73	inclusionAI: Ling 3.0 Flash Fin 파레토	70.7%	--	US$0.005	2.7m	17k
74	MoonshotAI: Kimi K2 Thinking	70.7%	±1.3pp	US$0.055	4.7m	8.89k
75	DeepSeek: DeepSeek V3.1 Terminus	70.4%	±2.9pp	US$0.059	8.9m	14.2k
76	Qwen: Qwen3.7 Plus Alibaba	70.3%	--	US$0.054	6.6m	20.7k
77	OpenAI: GPT-5.6 Luna	70.0%	±0.9pp	US$0.011	1.9m	5.35k
78	OpenAI: GPT-5 Mini	70.0%	±2.5pp	US$0.13	9.9m	57.5k
79	GLM 5.3 Flash digitalocean	70.0%	--	US$0.004	49s	1.57k
80	inclusionAI: Ling 3.0 Flash VL 파레토	70.0%	--	US$0.003	1.6m	17.1k
81	OpenAI: GPT-6.1 Sol	70.0%	--	US$0.10	2.4m	3.64k
82	Qwen: Qwen3.5-9B	70.0%	±5.5pp	US$0.032	17.0m	43.4k
83	OpenAI: GPT-6 Sol	69.3%	--	US$0.13	1.6m	4.98k
84	Google: Gemma 4 26B A4B	69.2%	±4.2pp	US$0.020	7.3m	20.8k
85	Z.ai: GLM 4.5 Air	69.0%	±0.3pp	US$0.017	5.0m	10.5k
86	OpenAI: GPT-5	68.9%	±3.2pp	US$0.66	13.0m	59.4k
87	inclusionAI: Ling 3.0 Flash 파레토	68.7%	--	US$0.002	78s	11.7k
88	Qwen: Qwen3.5-35B-A3B	68.2%	±10.2pp	US$0.074	13.7m	46.1k
89	Anthropic: Claude Sonnet 4	68.0%	±2.0pp	US$0.33	2.9m	8.95k
90	OpenAI: GPT-6 Astra	68.0%	--	US$0.58	2.4m	3.73k
91	Z.ai: GLM 4.7 Flash	67.6%	±1.9pp	US$0.009	4.2m	10.1k
92	OpenAI: GPT-5.2 Chat OpenAI	67.3%	--	US$0.11	80s	4.28k
93	OpenAI: GPT-6 Luna	67.3%	--	US$0.009	2.0m	8.9k
94	Thinking Machines: Inkling	67.2%	±2.8pp	US$0.080	81s	3.53k
95	Anthropic: Claude Haiku 4.5	66.8%	±3.4pp	US$0.12	2.1m	12.7k
96	OpenAI: GPT-6 Luna Pro	66.7%	--	US$0.039	5.2m	32k
97	MiniMax: MiniMax M2.5	66.0%	±2.5pp	US$0.023	5.2m	10.4k
98	OpenAI: GPT-5.4 Nano	65.3%	±2.4pp	US$0.032	2.4m	17.4k
99	NVIDIA: Nemotron 3.5 Lightning	65.0%	±2.0pp	US$0.017	5.5m	22.8k
100	OpenAI: gpt-oss-120b	64.2%	±2.9pp	US$0.018	5.5m	20.7k
101	OpenAI: GPT-5.4 Mini	63.8%	±4.2pp	US$0.089	2.0m	12.6k
102	MiniMax: MiniMax M2.1	63.1%	±1.4pp	US$0.025	2.8m	11.2k
103	Qwen: Qwen3 235B A22B Thinking 2507	61.7%	±1.1pp	US$0.11	11.2m	32.2k
104	Z.ai: GLM 4.6V	60.7%	--	US$0.032	5.6m	8.85k
105	Thinking Machines: Inkling Small	60.7%	±2.7pp	US$0.047	3.5m	3.67k
106	Google: Gemini 2.5 Pro	59.3%	±2.9pp	US$0.22	3.2m	14.1k
107	IBM: Granite 4.2 8B DeepInfra	58.3%	--	US$0.015	13.9m	38.6k
108	MoonshotAI: Kimi K2 0905 Novita	57.2%	±2.8pp	US$0.099	1.8m	3.66k
109	Google: Gemini 2.5 Flash	57.1%	±0.8pp	US$0.029	78s	8k
110	Qwen: Qwen3 Coder Next	54.8%	±10.0pp	US$0.040	1.6m	4.29k
111	DeepSeek: DeepSeek V3.1	54.6%	±7.7pp	US$0.053	7.8m	9.25k
112	OpenAI: gpt-oss-20b	53.8%	±1.7pp	US$0.022	23.9m	108k
113	NVIDIA: Nemotron 3 Nano 30B A3B	51.8%	±2.5pp	US$0.028	7.4m	58.3k
114	DeepSeek: R1 0528	51.1%	±4.0pp	US$0.16	31.3m	35.1k
115	Google: Gemini 2.5 Flash Lite	50.3%	±3.0pp	US$0.018	2.3m	31k
116	Google: Gemma 3 12B DeepInfra	48.0%	--	US$0.011	80s	3.76k
117	OpenAI: GPT-4.1	47.8%	±1.4pp	US$0.13	53s	2.71k
118	Qwen: Qwen3 Next 80B A3B Instruct	47.3%	±2.6pp	US$0.025	2.1m	3.79k
119	Qwen: Qwen3 32B	47.0%	±2.0pp	US$0.022	11.3m	21.5k
120	Qwen: Qwen3 Coder 480B A35B	46.8%	±3.3pp	US$0.097	1.7m	2.75k
121	OpenAI: GPT-5 Nano	46.6%	±3.9pp	US$0.042	11.9m	98.8k
122	OpenAI: GPT-5.3 Chat OpenAI	46.0%	--	US$0.099	65s	2.75k
123	OpenAI: GPT-4o	43.8%	±3.9pp	US$0.19	51s	2.05k
124	OpenAI: GPT-4.1 Mini	43.8%	±1.1pp	US$0.026	66s	2.41k
125	OpenAI: GPT-4o (2024-08-06) OpenAI	43.8%	±1.7pp	US$0.21	47s	2.22k
126	Mistral: Mistral Small 4 Mistral	43.7%	±2.3pp	US$0.014	1.6m	10.2k
127	Meta: Llama 4 Maverick	43.6%	±2.0pp	US$0.046	2.3m	2.09k
128	DeepSeek: DeepSeek V3 0324	43.5%	±2.1pp	US$0.074	13.0m	20.3k
129	Qwen: Qwen3 Coder 30B A3B Instruct	43.1%	±0.6pp	US$0.024	3.6m	3.15k
130	Qwen: Qwen3 14B	43.1%	±1.4pp	US$0.030	10.5m	18.8k
131	Qwen: Qwen3 30B A3B	42.7%	±4.0pp	US$0.031	7.8m	22.6k
132	Qwen: Qwen3 235B A22B Instruct 2507	40.5%	±12.2pp	US$0.024	3.1m	3.35k
133	Qwen: Qwen3 VL 235B A22B Instruct	40.3%	±3.5pp	US$0.059	5.3m	7.83k
134	OpenAI: GPT-4o (2024-05-13)	40.0%	--	US$1.13	72s	3.25k
135	DeepSeek: DeepSeek V3	39.4%	±1.6pp	US$0.074	5.0m	7.95k
136	Qwen: Qwen3 30B A3B Instruct 2507	38.9%	±2.4pp	US$0.025	3.8m	4.5k
137	Qwen: Qwen3 VL 30B A3B Instruct	35.7%	±2.5pp	US$0.080	3.5m	7.34k
138	Qwen: Qwen3 VL 8B Instruct	35.7%	±1.7pp	US$0.043	1.9m	4.51k
139	Meta: Llama 3.3 70B Instruct	33.4%	±5.0pp	US$0.030	1.6m	1.21k
140	OpenAI: GPT-4o-mini OpenAI	28.4%	±3.2pp	US$0.021	62s	3.8k
141	Mistral: Mistral Nemo Mistral	26.0%	--	US$0.027	6.6m	4.48k
142	Qwen2.5 72B Instruct	24.2%	±2.7pp	US$0.076	9.6m	5.26k
143	Meta: Llama 3.1 8B Instruct	19.7%	±2.4pp	US$0.004	16s	1.58k
144	Qwen: Qwen2.5 7B Instruct Phala	16.7%	--	US$0.017	58s	2.49k
145	OpenAI: GPT-4.1 Nano	10.9%	±0.8pp	US$0.007	61s	2.33k

이 벤치마크를 실행하는 이유

이는 속이기 어려운 도구 호출 벤치마크입니다. 평가는 외워 둔 답변이 아니라 실제 도구 호출 과정을 기반으로 하므로, 질의응답 방식의 평가보다 학습 데이터 유출에 강합니다. 비교적 낮은 실행당 비용으로 도구 호출의 모든 실패 유형(잘못된 인수, 정책 확인 누락, 포기, 환각된 확인 메시지)을 테스트합니다. 또한 상대 점수는 절대 점수보다 더 많은 정보를 제공합니다. 동일한 모델도 제공업체에 따라 다른 점수를 받을 수 있으며, 이러한 차이를 Exacto 라우팅에서 사용해 정확도가 더 높은 엔드포인트를 선택합니다.

각 작업은 스크립트로 작성된 사용자, 도구 모음(항공편 검색, 예약 변경, 환불, 로열티 정책), 정답 솔루션으로 구성된 시뮬레이션 항공사 지원 대화입니다. 최종 데이터베이스 상태와 사용자에게 보낸 메시지가 모두 참조 결과와 일치해야 작업이 통과되며, 부분 점수는 부여되지 않습니다.

점수가 알려 주는 것과 알려 주지 못하는 것

아직 개선의 여지는 있습니다. 최고 수준의 모델도 대략 5개 중 1개의 작업에서 실패하며, 항공사 도메인은 τ²-Bench에서 가장 어려운 분할입니다. 이 평가의 정확도 차이는 여러 단계의 정책을 따르는 모델과 단순히 대화를 잘하는 모델을 구분합니다.

하지만 하한선이 높습니다. 많은 작업은 아무것도 하지 않을 때 좋은 결과를 냅니다. 정답 행동 목록이 비어 있는 거부 작업은 아무것도 바꾸지 않는 모든 에이전트가 통과합니다. 약한 모델도 0을 훨씬 웃도는 점수를 얻으므로, 의미 있는 격차는 범위의 상위권에 있습니다.

이 벤치마크는 공개되어 있으므로 작업이 학습 코퍼스에 포함될 수 있습니다. 그래도 여기서는 유출된 작업도 실제 데이터베이스를 대상으로 단계별로 올바르게 실행해야 하므로, 질의응답 방식의 평가보다 오염으로 인한 점수 상승이 적습니다.

Scoring fidelity has limits. The checker verifies two things: the final database hash and exact substring matches in the agent's messages. Each task's natural-language assertions ("agent should refuse the cancellation") are metadata, and no judge model reads the transcript. So a savings calculation fails if the agent says "$23,552.50" when the checker greps for "23553".

사용자 시뮬레이터도 중요합니다. 에이전트 점수를 비교 가능하게 유지하기 위해 gemini-2.5-flash로 고정하지만, 시뮬레이터 자체도 고유한 실패 유형을 가진 LLM입니다. 에이전트가 작업을 끝내기 전에 대화를 중단하거나, 숨겨진 작업 지침을 유출하거나, 200단계 제한에 도달해 실행이 종료될 때까지 막힌 에이전트를 반복 작업에 빠뜨릴 수 있습니다. 시뮬레이터 모델을 바꾸면 절대 점수가 달라지므로, 논문 간 τ²-Bench 수치가 정확히 일치하는 경우는 드뭅니다.

작업 점수 산정 방식

모든 작업에는 도구 호출 목록, 에이전트가 말해야 하는 문자열, 자연어 어서션으로 구성된 정답 솔루션이 제공됩니다. 대화가 끝나면 검사기는 새 데이터베이스에서 정답 도구 호출을 재생하고, 에이전트의 최종 데이터베이스와 해시를 비교합니다. 그런 다음 에이전트 메시지에서 각 필수 문자열을 검색합니다. 보상은 이 두 검사의 곱입니다:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

아래 실행 결과는 모두 실제 실행에서 나온 것이며, 전체 과정에서 gemini-2.5-flash를 사용자 시뮬레이터로 사용했습니다.

보상 = 1

통과: 한 요청에서 세 가지 변경 사항이 모두 적용됨

작업 17 에이전트: openai/gpt-5.1

예약 FQ8APE에 대해 위탁 수하물 3개를 추가하고, 승객을 Omar Rossi로 변경하며, 베이직 이코노미를 이코노미로 업그레이드하고 기프트 카드로 결제하세요.

데이터베이스가 정답 상태와 일치해야 합니다. update_reservation_flights(이코노미 업그레이드), update_reservation_passengers 및 update_reservation_baggages를 정확한 인수와 함께 호출해야 합니다.
communicate_info가 비어 있으므로 문자열 검사가 적용되지 않습니다

db ✓

communicate ✓

USER_STOP

에이전트가 사용자를 조회하고, 여러 예약 중 올바른 예약을 찾아 변경 사항과 결제 수단을 확인한 다음 세 가지 쓰기 작업을 모두 수행했습니다. 승객 교체, 객실 업그레이드, 수하물 추가입니다. 최종 데이터베이스 해시가 기준 상태와 일치하고 실행이 USER_STOP에서 종료되므로 보상은 1입니다. 이것이 평가에서 측정하도록 설계된 내용입니다. 정책 제약 조건에 따라 여러 단계의 도구 사용을 올바르게 수행하는 능력입니다.

방법론

Scores aggregate successful runs from the newest 90 days, weighted by task count, with a minimum of 45 graded tasks per model-provider pair. A model's headline score uses its default routing (not pinned to a provider) when one exists; otherwise it falls back to the median provider. The standard deviation is measured across runs for that representative result. Cost, time, and token figures are per-task averages from the same runs. Best value is the cheapest Pareto-optimal model within 5 points of the top score.

이는 Exacto 라우팅을 구동하는 동일한 측정값입니다. 라우팅 방식은 문서 에서 확인하거나, 사용해 보려면 모든 모델 을 찾아보세요.

API 액세스

이 점수는 OpenRouter의 공개 벤치마크 API를 통해 제공되므로, 동일한 모델 수준의 결과를 프로그래밍 방식으로 가져올 수 있습니다.

GET https://openrouter.ai/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

매개변수 task_type=agentic 을 사용하면 tau_bench_verified_airline으로 필터링됩니다. 각 항목은 하나의 모델을 나타내며 accuracy, accuracy_stddev, avg_cost_per_task, total_tasks및 last_run_timestamp를 포함합니다. 벤치마크 API 문서를 참조하세요.

다운로드 및 인용

이 리더보드의 스냅샷은 benchmark-leaderboard 오픈 데이터셋에 게시되며( benchmark 열로 필터링), daily 주기로 재생성되고 API 키 없이 이용할 수 있습니다. 현재 스냅샷은 2026. 10. 12. 오전 1:46 UTC에 생성되었습니다. 이 데이터에는 다음 라이선스가 적용됩니다: CC BY 4.0. OpenRouter를 출처로 표시하면 재사용하고 재게시할 수 있습니다.

CSV 다운로드 (text/csv)
JSON 다운로드 (application/json)
스냅샷 매니페스트 (위 파일의 SHA-256 체크섬)
최신 매니페스트 (변경 가능한 별칭이며, 스냅샷이 게시될 때 업데이트됨)

열 정의, 방법론 및 마스킹 규칙은 데이터 세트 README에 있습니다.

이 리더보드 인용

OpenRouter(2026). τ²-Bench: OpenRouter의 항공사 결과, 2026-10-12 스냅샷. https://openrouter.ai/benchmarks/tau2-bench-airline. CC BY 4.0에 따라 라이선스가 부여됩니다.

자주 묻는 질문

모든 벤치마크

τ²-Bench: 항공사

마지막 벤치마크 실행 2026. 10. 12. 오후 7:41 UTC

논문 GitHub

τ²-Bench Airline 벤치마크에서 어떤 모델들이 선두를 차지합니까?

Auto Exacto 적용 전 → 후 도구 호출 오류

3.9% → 1.9%

도구 호출 요청을 위한 OpenRouter의 자동 제공업체 최적화 기능인 Auto Exacto에 등록된 모델의 도구 호출 오류율입니다.

리더보드

최상위 행은 가능한 경우 기본 라우팅을 사용합니다. 행을 클릭하면 제공업체가 고정된 결과를 펼쳐 볼 수 있습니다.

τ²-Bench Airline 리더보드: 제공업체별 작업당 모델 정확도, 비용, 시간 및 출력 토큰
#	모델		표준편차
1	Anthropic: Claude Fable 5 파레토	80.0%	±2.7pp	US$0.92	2.1m	5.78k
2	Xiaomi: MiMo-V2.6-Flash 파레토	79.7%	±0.3pp	US$0.017	8.2m	23.6k
3	Anthropic: Claude Fable 5.1	79.2%	±1.3pp	US$0.72	1.9m	6.9k
4	Anthropic: Claude Opus 5	78.7%	±2.3pp	US$0.49	2.1m	7.14k
5	Google: Gemini 3.7 Flash	78.5%	±2.1pp	US$0.11	2.5m	14.4k
6	Amazon: Nova Micro 1.0	78.0%	±1.9pp	US$1.28	1.7m	5.69k
7	Anthropic: Claude Sonnet 5.5	78.0%	±3.3pp	US$0.16	82s	6.33k
8	Qwen: Qwen3.8 27B	77.6%	±2.5pp	US$0.076	4.8m	13.9k
9	DeepSeek: DeepSeek V4 Pro 0813	77.4%	±1.7pp	US$0.11	5.3m	20.7k
10	StepFun: Step 3.7 Flash	77.3%	--	US$0.020	3.8m	10.9k
11	Qwen: Qwen3.5 397B A17B	77.3%	±2.0pp	US$0.17	12.3m	28.9k
12	OpenAI: GPT-5.1	77.1%	±4.1pp	US$0.41	7.9m	36.5k
13	Anthropic: Claude Opus 4.5	77.0%	±2.1pp	US$0.54	2.9m	10.6k
14	Z.ai: GLM 5.3	76.9%	±2.7pp	US$0.062	2.2m	6.47k
15	Google: Gemini 3.5 Flash Lite	76.9%	±2.2pp	US$0.098	1.7m	23.9k
16	DeepSeek: DeepSeek V4.1 Flash	76.8%	±1.4pp	US$0.033	4.6m	39.9k
17	Google: Gemma 4 31B	76.8%	±4.0pp	US$0.027	8.1m	12.8k
18	Anthropic: Claude Opus 4.8	76.7%	±2.1pp	US$0.49	2.2m	8.16k
19	Qwen: Qwen3.5-122B-A10B	76.5%	±2.8pp	US$0.17	9.7m	36.6k
20	Anthropic: Claude Opus 4.7	76.4%	±2.4pp	US$0.42	1.6m	5.63k
21	DeepSeek: DeepSeek V4 Pro 0423	76.4%	±2.4pp	US$0.042	4.0m	12.1k
22	Z.ai: GLM 5	76.3%	±3.4pp	US$0.044	3.5m	9.46k
23	GLM 5.3 파레토 digitalocean	76.0%	--	US$0.016	42s	1.76k
24	Anthropic: Claude Sonnet 5	75.9%	±3.1pp	US$0.20	2.1m	7.9k
25	Qwen: Qwen3.8 2.4T A95B	75.8%	±1.4pp	US$0.19	5.3m	12.2k
26	Anthropic: Claude Opus 5.5	75.8%	±2.2pp	US$0.33	2.2m	7.17k
27	Google: Gemini 3.1 Pro Preview	75.8%	±1.7pp	US$0.36	2.8m	12.8k
28	Z.ai: GLM 5.3 Flash 파레토	75.7%	±2.0pp	US$0.006	2.3m	4.26k
29	SpaceXAI: Grok 4.6	75.3%	±0.7pp	US$0.33	4.0m	12k
30	OpenAI: GPT-5.4	75.3%	±0.5pp	US$0.29	2.9m	10.7k
31	Anthropic: Claude Haiku 5.5	75.3%	--	US$0.012	1.6m	11.2k
32	Google: Gemini 3 Flash Preview	75.3%	±3.3pp	US$0.12	2.5m	19.8k
33	OpenAI: GPT-5.3-Codex OpenAI	75.3%	--	US$0.30	3.0m	13.6k
34	OpenAI: GPT-5.5	75.1%	±2.2pp	US$0.49	2.4m	7.91k
35	Anthropic: Claude Opus 4.6	75.1%	±2.6pp	US$0.49	3.3m	10.1k
36	Z.ai: GLM 5.1	75.0%	±2.5pp	US$0.088	4.2m	9.77k
37	Anthropic: Claude Sonnet 4.6	74.9%	±2.2pp	US$0.32	3.3m	11.5k
38	Qwen: Qwen3.6 27B	74.8%	±4.8pp	US$0.13	14.6m	32.4k
39	DeepSeek: DeepSeek V4 Flash Vision Exp	74.8%	±2.0pp	US$0.030	3.3m	18.7k
40	Tencent: Hy4 preview	74.7%	±4.0pp	US$0.16	28.0m	38.2k
41	Google: Gemini 3.6 Flash	74.7%	±2.4pp	US$0.21	2.4m	22.8k
42	OpenAI: GPT-5.6 Sol	74.7%	±2.9pp	US$0.18	1.9m	5.12k
43	Meta: Muse Glimmer 30B	74.7%	±3.4pp	US$0.037	3.3m	13.6k
44	DeepSeek: DeepSeek V3.2	74.6%	±2.5pp	US$0.036	10.0m	15k
45	DeepSeek: DeepSeek V4 Flash 0423	74.3%	±2.0pp	US$0.011	3.6m	14.3k
46	MiniMax: MiniMax M3	74.2%	±2.8pp	US$0.024	2.8m	7.63k
47	Xiaomi: MiMo-V2.6-Pro	74.2%	±3.6pp	US$0.067	17.3m	42.5k
48	MoonshotAI: Kimi K2.6	74.1%	±2.1pp	US$0.071	5.6m	12.8k
49	Xiaomi: MiMo-V2.5-Pro	73.9%	±3.2pp	US$0.029	7.5m	14.7k
50	OpenAI: GPT-5.6 Sol Pro	73.7%	±3.0pp	US$1.29	5.2m	22.9k
51	MoonshotAI: Kimi K2.7 Code	73.4%	±2.6pp	US$0.076	3.1m	8.65k
52	DeepSeek: DeepSeek V4 Flash 0731	73.4%	±4.9pp	US$0.009	5.6m	15.5k
53	OpenAI: GPT-5.2	73.3%	--	US$0.24	3.5m	12.5k
54	OpenAI: GPT-5.6 Terra	73.1%	±1.1pp	US$0.11	89s	4.02k
55	Google: Gemini 3.5 Flash	73.1%	±2.3pp	US$0.40	2.9m	27.1k
56	Anthropic: Claude Sonnet 4.5	72.7%	±3.5pp	US$0.33	3.4m	10.3k
57	OpenAI: GPT-6 Astra Pro	72.7%	--	US$2.91	5.5m	12.4k
58	Z.ai: GLM 5.2	72.5%	±2.7pp	US$0.039	2.4m	8.57k
59	MoonshotAI: Kimi K3	72.5%	±3.0pp	US$0.30	6.3m	9.44k
60	DeepSeek: DeepSeek V3.2 Exp	72.4%	±0.9pp	US$0.082	17.4m	16k
61	Z.ai: GLM 4.6	72.3%	±1.8pp	US$0.051	6.4m	9.39k
62	Qwen: Qwen3.6 35B A3B	72.1%	±7.8pp	US$0.046	4.4m	26k
63	Z.ai: GLM 4.7	72.1%	±2.5pp	US$0.060	5.1m	9.65k
64	NVIDIA: Nemotron 3 Ultra	72.0%	--	US$0.15	1.8m	13.1k
65	Qwen: Qwen3.7 Max AtlasCloud	72.0%	--	US$0.40	3.3m	16.3k
66	Google: Gemini 3.1 Flash Lite	72.0%	±0.9pp	US$0.093	2.5m	49.3k
67	Xiaomi: MiMo-V2.5	71.8%	±3.1pp	US$0.010	5.8m	14.3k
68	Qwen: Qwen3.8 Flash Alibaba	71.3%	--	US$0.017	5.5m	17.2k
69	Google: Gemini 3.8 Flash	71.3%	--	US$0.21	4.4m	27.6k
70	OpenAI: GPT-5.6 Luna Pro	71.1%	±1.1pp	US$0.072	5.8m	33.9k
71	MoonshotAI: Kimi K2.5	71.0%	±3.1pp	US$0.043	6.2m	9.75k
72	MiniMax: MiniMax M2.7	70.9%	±1.3pp	US$0.026	3.6m	10.1k
73	inclusionAI: Ling 3.0 Flash Fin 파레토	70.7%	--	US$0.005	2.7m	17k
74	MoonshotAI: Kimi K2 Thinking	70.7%	±1.3pp	US$0.055	4.7m	8.89k
75	DeepSeek: DeepSeek V3.1 Terminus	70.4%	±2.9pp	US$0.059	8.9m	14.2k
76	Qwen: Qwen3.7 Plus Alibaba	70.3%	--	US$0.054	6.6m	20.7k
77	OpenAI: GPT-5.6 Luna	70.0%	±0.9pp	US$0.011	1.9m	5.35k
78	OpenAI: GPT-5 Mini	70.0%	±2.5pp	US$0.13	9.9m	57.5k
79	GLM 5.3 Flash digitalocean	70.0%	--	US$0.004	49s	1.57k
80	inclusionAI: Ling 3.0 Flash VL 파레토	70.0%	--	US$0.003	1.6m	17.1k
81	OpenAI: GPT-6.1 Sol	70.0%	--	US$0.10	2.4m	3.64k
82	Qwen: Qwen3.5-9B	70.0%	±5.5pp	US$0.032	17.0m	43.4k
83	OpenAI: GPT-6 Sol	69.3%	--	US$0.13	1.6m	4.98k
84	Google: Gemma 4 26B A4B	69.2%	±4.2pp	US$0.020	7.3m	20.8k
85	Z.ai: GLM 4.5 Air	69.0%	±0.3pp	US$0.017	5.0m	10.5k
86	OpenAI: GPT-5	68.9%	±3.2pp	US$0.66	13.0m	59.4k
87	inclusionAI: Ling 3.0 Flash 파레토	68.7%	--	US$0.002	78s	11.7k
88	Qwen: Qwen3.5-35B-A3B	68.2%	±10.2pp	US$0.074	13.7m	46.1k
89	Anthropic: Claude Sonnet 4	68.0%	±2.0pp	US$0.33	2.9m	8.95k
90	OpenAI: GPT-6 Astra	68.0%	--	US$0.58	2.4m	3.73k
91	Z.ai: GLM 4.7 Flash	67.6%	±1.9pp	US$0.009	4.2m	10.1k
92	OpenAI: GPT-5.2 Chat OpenAI	67.3%	--	US$0.11	80s	4.28k
93	OpenAI: GPT-6 Luna	67.3%	--	US$0.009	2.0m	8.9k
94	Thinking Machines: Inkling	67.2%	±2.8pp	US$0.080	81s	3.53k
95	Anthropic: Claude Haiku 4.5	66.8%	±3.4pp	US$0.12	2.1m	12.7k
96	OpenAI: GPT-6 Luna Pro	66.7%	--	US$0.039	5.2m	32k
97	MiniMax: MiniMax M2.5	66.0%	±2.5pp	US$0.023	5.2m	10.4k
98	OpenAI: GPT-5.4 Nano	65.3%	±2.4pp	US$0.032	2.4m	17.4k
99	NVIDIA: Nemotron 3.5 Lightning	65.0%	±2.0pp	US$0.017	5.5m	22.8k
100	OpenAI: gpt-oss-120b	64.2%	±2.9pp	US$0.018	5.5m	20.7k
101	OpenAI: GPT-5.4 Mini	63.8%	±4.2pp	US$0.089	2.0m	12.6k
102	MiniMax: MiniMax M2.1	63.1%	±1.4pp	US$0.025	2.8m	11.2k
103	Qwen: Qwen3 235B A22B Thinking 2507	61.7%	±1.1pp	US$0.11	11.2m	32.2k
104	Z.ai: GLM 4.6V	60.7%	--	US$0.032	5.6m	8.85k
105	Thinking Machines: Inkling Small	60.7%	±2.7pp	US$0.047	3.5m	3.67k
106	Google: Gemini 2.5 Pro	59.3%	±2.9pp	US$0.22	3.2m	14.1k
107	IBM: Granite 4.2 8B DeepInfra	58.3%	--	US$0.015	13.9m	38.6k
108	MoonshotAI: Kimi K2 0905 Novita	57.2%	±2.8pp	US$0.099	1.8m	3.66k
109	Google: Gemini 2.5 Flash	57.1%	±0.8pp	US$0.029	78s	8k
110	Qwen: Qwen3 Coder Next	54.8%	±10.0pp	US$0.040	1.6m	4.29k
111	DeepSeek: DeepSeek V3.1	54.6%	±7.7pp	US$0.053	7.8m	9.25k
112	OpenAI: gpt-oss-20b	53.8%	±1.7pp	US$0.022	23.9m	108k
113	NVIDIA: Nemotron 3 Nano 30B A3B	51.8%	±2.5pp	US$0.028	7.4m	58.3k
114	DeepSeek: R1 0528	51.1%	±4.0pp	US$0.16	31.3m	35.1k
115	Google: Gemini 2.5 Flash Lite	50.3%	±3.0pp	US$0.018	2.3m	31k
116	Google: Gemma 3 12B DeepInfra	48.0%	--	US$0.011	80s	3.76k
117	OpenAI: GPT-4.1	47.8%	±1.4pp	US$0.13	53s	2.71k
118	Qwen: Qwen3 Next 80B A3B Instruct	47.3%	±2.6pp	US$0.025	2.1m	3.79k
119	Qwen: Qwen3 32B	47.0%	±2.0pp	US$0.022	11.3m	21.5k
120	Qwen: Qwen3 Coder 480B A35B	46.8%	±3.3pp	US$0.097	1.7m	2.75k
121	OpenAI: GPT-5 Nano	46.6%	±3.9pp	US$0.042	11.9m	98.8k
122	OpenAI: GPT-5.3 Chat OpenAI	46.0%	--	US$0.099	65s	2.75k
123	OpenAI: GPT-4o	43.8%	±3.9pp	US$0.19	51s	2.05k
124	OpenAI: GPT-4.1 Mini	43.8%	±1.1pp	US$0.026	66s	2.41k
125	OpenAI: GPT-4o (2024-08-06) OpenAI	43.8%	±1.7pp	US$0.21	47s	2.22k
126	Mistral: Mistral Small 4 Mistral	43.7%	±2.3pp	US$0.014	1.6m	10.2k
127	Meta: Llama 4 Maverick	43.6%	±2.0pp	US$0.046	2.3m	2.09k
128	DeepSeek: DeepSeek V3 0324	43.5%	±2.1pp	US$0.074	13.0m	20.3k
129	Qwen: Qwen3 Coder 30B A3B Instruct	43.1%	±0.6pp	US$0.024	3.6m	3.15k
130	Qwen: Qwen3 14B	43.1%	±1.4pp	US$0.030	10.5m	18.8k
131	Qwen: Qwen3 30B A3B	42.7%	±4.0pp	US$0.031	7.8m	22.6k
132	Qwen: Qwen3 235B A22B Instruct 2507	40.5%	±12.2pp	US$0.024	3.1m	3.35k
133	Qwen: Qwen3 VL 235B A22B Instruct	40.3%	±3.5pp	US$0.059	5.3m	7.83k
134	OpenAI: GPT-4o (2024-05-13)	40.0%	--	US$1.13	72s	3.25k
135	DeepSeek: DeepSeek V3	39.4%	±1.6pp	US$0.074	5.0m	7.95k
136	Qwen: Qwen3 30B A3B Instruct 2507	38.9%	±2.4pp	US$0.025	3.8m	4.5k
137	Qwen: Qwen3 VL 30B A3B Instruct	35.7%	±2.5pp	US$0.080	3.5m	7.34k
138	Qwen: Qwen3 VL 8B Instruct	35.7%	±1.7pp	US$0.043	1.9m	4.51k
139	Meta: Llama 3.3 70B Instruct	33.4%	±5.0pp	US$0.030	1.6m	1.21k
140	OpenAI: GPT-4o-mini OpenAI	28.4%	±3.2pp	US$0.021	62s	3.8k
141	Mistral: Mistral Nemo Mistral	26.0%	--	US$0.027	6.6m	4.48k
142	Qwen2.5 72B Instruct	24.2%	±2.7pp	US$0.076	9.6m	5.26k
143	Meta: Llama 3.1 8B Instruct	19.7%	±2.4pp	US$0.004	16s	1.58k
144	Qwen: Qwen2.5 7B Instruct Phala	16.7%	--	US$0.017	58s	2.49k
145	OpenAI: GPT-4.1 Nano	10.9%	±0.8pp	US$0.007	61s	2.33k

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

작업 점수 산정 방식

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

아래 실행 결과는 모두 실제 실행에서 나온 것이며, 전체 과정에서 gemini-2.5-flash를 사용자 시뮬레이터로 사용했습니다.

보상 = 1

통과: 한 요청에서 세 가지 변경 사항이 모두 적용됨

작업 17 에이전트: openai/gpt-5.1

예약 FQ8APE에 대해 위탁 수하물 3개를 추가하고, 승객을 Omar Rossi로 변경하며, 베이직 이코노미를 이코노미로 업그레이드하고 기프트 카드로 결제하세요.

데이터베이스가 정답 상태와 일치해야 합니다. update_reservation_flights(이코노미 업그레이드), update_reservation_passengers 및 update_reservation_baggages를 정확한 인수와 함께 호출해야 합니다.
communicate_info가 비어 있으므로 문자열 검사가 적용되지 않습니다

db ✓

communicate ✓

USER_STOP

방법론

이는 Exacto 라우팅을 구동하는 동일한 측정값입니다. 라우팅 방식은 문서 에서 확인하거나, 사용해 보려면 모든 모델 을 찾아보세요.

API 액세스

이 점수는 OpenRouter의 공개 벤치마크 API를 통해 제공되므로, 동일한 모델 수준의 결과를 프로그래밍 방식으로 가져올 수 있습니다.

GET https://openrouter.ai/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

다운로드 및 인용

CSV 다운로드 (text/csv)
JSON 다운로드 (application/json)
스냅샷 매니페스트 (위 파일의 SHA-256 체크섬)
최신 매니페스트 (변경 가능한 별칭이며, 스냅샷이 게시될 때 업데이트됨)

열 정의, 방법론 및 마스킹 규칙은 데이터 세트 README에 있습니다.

이 리더보드 인용

OpenRouter(2026). τ²-Bench: OpenRouter의 항공사 결과, 2026-10-12 스냅샷. https://openrouter.ai/benchmarks/tau2-bench-airline. CC BY 4.0에 따라 라이선스가 부여됩니다.

τ²-Bench: 항공사

τ²-Bench Airline 벤치마크에서 어떤 모델들이 선두를 차지합니까?

모델 비교

비용 효율성

도구 호출 안정성

리더보드

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

작업 점수 산정 방식

통과: 한 요청에서 세 가지 변경 사항이 모두 적용됨

실패: 정책상 금지된 예약을 취소함

실패: 올바른 데이터베이스, 사용자에게 잘못된 번호

실패: 도구 인수를 지어낸 다음, 거부된 동일한 호출을 반복합니다

실패: 실행이 종료될 때까지 동일한 잘못된 도구 호출을 반복합니다

아무것도 하지 않고 통과: 거부 작업에서는 아무것도 하지 않는 것이 보상됩니다

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

τ²-Bench: 항공사

τ²-Bench Airline 벤치마크에서 어떤 모델들이 선두를 차지합니까?

모델 비교

비용 효율성

도구 호출 안정성

리더보드

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

작업 점수 산정 방식

통과: 한 요청에서 세 가지 변경 사항이 모두 적용됨

실패: 정책상 금지된 예약을 취소함

실패: 올바른 데이터베이스, 사용자에게 잘못된 번호

실패: 도구 인수를 지어낸 다음, 거부된 동일한 호출을 반복합니다

실패: 실행이 종료될 때까지 동일한 잘못된 도구 호출을 반복합니다

아무것도 하지 않고 통과: 거부 작업에서는 아무것도 하지 않는 것이 보상됩니다

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

τ²-Bench: 항공사

τ²-Bench Airline 벤치마크에서 어떤 모델들이 선두를 차지합니까?

모델 비교

비용 효율성

도구 호출 안정성

리더보드

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

작업 점수 산정 방식

통과: 한 요청에서 세 가지 변경 사항이 모두 적용됨

트랜스크립트

실패: 정책상 금지된 예약을 취소함

트랜스크립트

실패: 올바른 데이터베이스, 사용자에게 잘못된 번호

트랜스크립트

실패: 도구 인수를 지어낸 다음, 거부된 동일한 호출을 반복합니다

트랜스크립트

실패: 실행이 종료될 때까지 동일한 잘못된 도구 호출을 반복합니다

트랜스크립트

아무것도 하지 않고 통과: 거부 작업에서는 아무것도 하지 않는 것이 보상됩니다

트랜스크립트

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

τ²-Bench Airline은 무엇을 측정합니까?

단일 작업은 어떻게 채점하나요?

같은 모델을 제공하는 두 제공업체의 점수가 서로 다른 이유는 무엇인가요?

이 점수가 공개된 τ²-Bench 수치와 일치하지 않는 이유는 무엇인가요?

점수는 몇 개의 작업을 기반으로 합니까?

이 점수를 프로그래밍 방식으로 가져올 수 있나요?

τ²-Bench: 항공사

τ²-Bench Airline 벤치마크에서 어떤 모델들이 선두를 차지합니까?

모델 비교

비용 효율성

도구 호출 안정성

리더보드

이 벤치마크를 실행하는 이유

점수가 알려 주는 것과 알려 주지 못하는 것

작업 점수 산정 방식

통과: 한 요청에서 세 가지 변경 사항이 모두 적용됨

트랜스크립트

실패: 정책상 금지된 예약을 취소함

트랜스크립트

실패: 올바른 데이터베이스, 사용자에게 잘못된 번호

트랜스크립트

실패: 도구 인수를 지어낸 다음, 거부된 동일한 호출을 반복합니다

트랜스크립트

실패: 실행이 종료될 때까지 동일한 잘못된 도구 호출을 반복합니다

트랜스크립트

아무것도 하지 않고 통과: 거부 작업에서는 아무것도 하지 않는 것이 보상됩니다

트랜스크립트

방법론

API 액세스

다운로드 및 인용

이 리더보드 인용

자주 묻는 질문

τ²-Bench Airline은 무엇을 측정합니까?

단일 작업은 어떻게 채점하나요?

같은 모델을 제공하는 두 제공업체의 점수가 서로 다른 이유는 무엇인가요?

이 점수가 공개된 τ²-Bench 수치와 일치하지 않는 이유는 무엇인가요?

점수는 몇 개의 작업을 기반으로 합니까?

이 점수를 프로그래밍 방식으로 가져올 수 있나요?