¿Cómo se puntúa una tarea individual?

Una tarea se califica como aprobada o suspensa. El agente debe terminar la conversación dentro de su presupuesto de pasos, dejar el sistema de reservas en el estado que produce la solución de referencia e informar al cliente de lo que hizo; incumplir cualquiera de estos requisitos da una puntuación de cero y no se conceden puntos parciales.

¿Por qué dos proveedores que ofrecen el mismo modelo obtienen puntuaciones diferentes?

Las ejecuciones utilizan los mismos endpoints de proveedores que atienden el tráfico de OpenRouter, por lo que una puntuación refleja tanto el modelo como el proveedor que lo ejecuta. Estas puntuaciones de precisión son una de las señales que utiliza el enrutamiento de Exacto para desviar el tráfico de llamadas a herramientas de los endpoints que se quedan atrás respecto a sus pares.

¿Por qué estas puntuaciones no coinciden con las cifras publicadas de τ²-Bench?

Otro modelo interpreta al cliente en cada conversación, y OpenRouter mantiene fijo ese simulador para que las puntuaciones de los agentes sigan siendo comparables entre ejecuciones. El simulador tiene sus propios modos de fallo, por lo que las puntuaciones absolutas varían cada vez que cambia, razón por la cual las cifras de τ²-Bench de distintas fuentes rara vez coinciden exactamente.

¿Cuántas tareas hay detrás de una puntuación?

Las puntuaciones agregan ejecuciones repetidas del mismo conjunto de tareas, ponderadas según la cantidad de tareas evaluadas en cada ejecución. La puntuación principal de un modelo es un único resultado representativo, no el de su proveedor con mejor rendimiento.

Todas las pruebas de referencia

τ²-Bench: Aerolíneas

τ²-Bench Airline evalúa si un modelo puede realizar el trabajo de un agente de atención al cliente de una aerolínea: seguir un manual de políticas, hablar con un cliente simulado y llamar a las herramientas adecuadas para buscar vuelos, cambiar reservas y emitir reembolsos. El modelo no necesita conocimientos del sector; su puntuación se basa íntegramente en lo bien que ejecuta las llamadas a herramientas a lo largo de secuencias de tareas de varios pasos. Lo ejecutamos continuamente en los mismos endpoints de proveedores que atienden el tráfico de OpenRouter, por lo que la puntuación refleja tanto el modelo como el proveedor que lo ejecuta. Utilizamos esta prueba de rendimiento porque tiene un nivel mínimo alto, lo que nos permite evaluar la variabilidad entre proveedores y no la capacidad del modelo. Nuestro algoritmo de enrutamiento para solicitudes de llamadas a herramientas utiliza estas mismas señales para enviar el tráfico a los endpoints con mejor rendimiento.

Última ejecución de la evaluación comparativa 2 nov 2026, 21:39 UTC

Artículo GitHub

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

OpenAI: GPT-5.1 lidera τ²-Bench Airline con 80,0 % a fecha de 2 nov 2026, 21:39 UTC. Las tareas de Airline, la política, la configuración del simulador y del cliente, el presupuesto de pasos y la evaluación se mantienen constantes en todos los endpoints de proveedores en producción, por lo que los resultados mostrados comparan los modelos y los proveedores que los sirven en las mismas condiciones de evaluación.

Errores en llamadas a herramientas antes → después de Auto Exacto

3,9 % → 1,6 %

Tasa de errores en llamadas a herramientas de los modelos inscritos en Auto Exacto, la optimización automática de proveedores de OpenRouter para solicitudes con llamadas a herramientas.

Clasificación

Las filas de nivel superior usan el enrutamiento predeterminado cuando está disponible; haga clic en una fila para desplegar los resultados con proveedor fijo.

Clasificación de τ²-Bench Airline: precisión del modelo, costo, tiempo y tokens de salida por tarea y proveedor
#	Modelo		Desv. estándar
1	OpenAI: GPT-5.1 Pareto	80,0 %	±0,0pp	0,39 US$	8,0m	34,1k
2	Anthropic: Claude Fable 5	79,5 %	±2,7pp	0,88 US$	2,0m	5,74k
3	inclusionAI: Ling 3.1 Flash Pareto	79,3 %	--	0,031 US$	10,6m	16,7k
4	Anthropic: Claude Fable 5.1	79,2 %	±1,3pp	0,72 US$	1,9m	6,9k
5	Anthropic: Claude Opus 5	78,8 %	±2,1pp	0,48 US$	2,0m	7,04k
6	Anthropic: Claude Sonnet 5.5	78,8 %	±2,2pp	0,16 US$	71s	6,25k
7	Google: Gemini 4 Argon Google	78,7 %	--	0,50 US$	5,8m	22k
8	Qwen: Qwen3.5 397B A17B	78,4 %	±2,3pp	0,20 US$	12,7m	31,2k
9	Google: Gemini 3.5 Flash Lite	78,3 %	±1,0pp	0,074 US$	1,6m	21,5k
10	Google: Gemini 3.7 Flash	78,3 %	±1,7pp	0,15 US$	3,1m	16,3k
11	Xiaomi: MiMo-V2.6-Flash Pareto	77,9 %	±1,5pp	0,015 US$	6,3m	21,7k
12	Qwen: Qwen3.8 27B	77,5 %	±2,6pp	0,066 US$	4,3m	14,2k
13	DeepSeek: DeepSeek V4 Pro 0813	77,5 %	±2,6pp	0,10 US$	4,9m	21,5k
14	Z.ai: GLM 5.3	77,3 %	±3,3pp	0,057 US$	1,9m	6,56k
15	Qwen: Qwen3.5-122B-A10B	77,2 %	±2,7pp	0,17 US$	9,4m	35,4k
16	Google: Gemini 3.1 Pro Preview	77,0 %	±0,3pp	0,35 US$	3,0m	12,7k
17	DeepSeek: DeepSeek V4 Pro 0423	76,8 %	±2,2pp	0,054 US$	3,7m	12,6k
18	Xiaomi: MiMo-V2.6-Pro	76,8 %	±4,3pp	0,068 US$	16,2m	44,2k
19	Anthropic: Claude Opus 4.7	76,7 %	±2,3pp	0,42 US$	1,5m	5,59k
20	Amazon: Nova Micro 1.0	76,7 %	±0,0pp	1,28 US$	1,6m	5,71k
21	Anthropic: Claude Opus 4.8	76,6 %	±2,0pp	0,49 US$	2,1m	8,04k
22	Anthropic: Claude Opus 4.5	76,5 %	±2,7pp	0,54 US$	2,9m	10,7k
23	Qwen: Qwen3.6 27B	76,4 %	±3,5pp	0,14 US$	13,9m	31,4k
24	Tencent: Hy4 preview	76,0 %	±3,1pp	0,11 US$	14,6m	24,2k
25	GLM 5.3 digitalocean	76,0 %	--	0,016 US$	42s	1,76k
26	Meta: Muse Spark Open	75,7 %	±1,0pp	0,088 US$	73s	8,72k
27	Z.ai: GLM 5.3 Flash Pareto	75,6 %	±1,9pp	0,009 US$	2,0m	5,38k
28	Google: Gemini 3.6 Flash	75,3 %	±2,7pp	0,17 US$	2,5m	22,9k
29	SpaceXAI: Grok 4.6	75,3 %	±0,7pp	0,33 US$	4,0m	12k
30	Anthropic: Claude Opus 5.5	75,3 %	±1,7pp	0,34 US$	1,9m	7,04k
31	OpenAI: GPT-5.3-Codex OpenAI	75,3 %	--	0,30 US$	3,0m	13,6k
32	Anthropic: Claude Sonnet 5	75,3 %	±3,0pp	0,20 US$	2,0m	7,77k
33	Google: Gemma 4 31B	75,3 %	±2,9pp	0,029 US$	7,6m	11,7k
34	DeepSeek: DeepSeek V4.1 Flash	75,1 %	±2,8pp	0,033 US$	3,7m	35,2k
35	Z.ai: GLM 5	75,1 %	±3,7pp	0,045 US$	3,0m	9,42k
36	OpenAI: GPT-5.4	75,0 %	±0,3pp	0,29 US$	2,9m	10,4k
37	Qwen: Qwen3.5-35B-A3B	74,9 %	±5,1pp	0,083 US$	13,1m	50,5k
38	MiniMax: MiniMax M3	74,8 %	±2,8pp	0,026 US$	2,5m	9,36k
39	Anthropic: Claude Opus 4.6	74,8 %	±2,8pp	0,50 US$	3,2m	10,1k
40	Qwen: Qwen3.8 2.4T A95B	74,8 %	±2,0pp	0,19 US$	4,8m	11,6k
41	DeepSeek: DeepSeek V4 Flash Vision Exp	74,8 %	±2,0pp	0,030 US$	3,3m	18,7k
42	Meta: Muse Glimmer 30B	74,7 %	±3,4pp	0,037 US$	3,3m	13,6k
43	DeepSeek: DeepSeek V3.2	74,4 %	±2,6pp	0,039 US$	9,8m	15,9k
44	Anthropic: Claude Sonnet 4.6	74,3 %	±2,7pp	0,33 US$	3,3m	11,5k
45	Xiaomi: MiMo-V2.5-Pro	74,3 %	±3,4pp	0,028 US$	7,3m	14,7k
46	DeepSeek: DeepSeek V4 Flash 0731	74,0 %	±4,8pp	0,010 US$	4,7m	15,6k
47	DeepSeek: DeepSeek V4 Flash 0423	73,9 %	±2,9pp	0,011 US$	3,7m	14k
48	MoonshotAI: Kimi K2.7 Code	73,7 %	±2,5pp	0,079 US$	2,6m	8,78k
49	OpenAI: GPT-5.5	73,7 %	±1,0pp	0,48 US$	2,1m	7,21k
50	MoonshotAI: Kimi K3	73,6 %	±2,7pp	0,29 US$	5,6m	10,8k
51	MoonshotAI: Kimi K2.6	73,6 %	±2,2pp	0,065 US$	4,1m	12,7k
52	OpenAI: GPT-5.6 Sol	73,3 %	±2,7pp	0,13 US$	1,8m	5,15k
53	Google: Gemini 3 Flash Preview	73,3 %	±2,0pp	0,12 US$	2,6m	19,7k
54	Anthropic: Claude Sonnet 4.5	72,9 %	±3,3pp	0,33 US$	3,5m	10,4k
55	NVIDIA: Nemotron 3.5 Super VL	72,9 %	±1,7pp	0,033 US$	2,2m	14,6k
56	Anthropic: Claude Haiku 5.5	72,8 %	±4,1pp	0,012 US$	86s	10,7k
57	OpenAI: GPT-6 Astra Pro	72,7 %	--	2,91 US$	5,5m	12,4k
58	Google: Gemini 3.5 Flash	72,7 %	±2,7pp	0,43 US$	3,3m	31,3k
59	Xiaomi: MiMo-V2.5	72,5 %	±3,9pp	0,010 US$	6,2m	14,2k
60	Qwen: Qwen3.6 35B A3B	72,5 %	±7,9pp	0,041 US$	4,6m	23,8k
61	OpenAI: GPT-5.6 Terra	72,3 %	±0,3pp	0,11 US$	83s	3,74k
62	DeepSeek: DeepSeek V4.1 Flash 1017	72,3 %	±1,0pp	0,029 US$	3,0m	35k
63	Z.ai: GLM 5.1	72,3 %	±3,6pp	0,095 US$	3,7m	10k
64	Qwen: Qwen3.5-9B	72,1 %	±4,8pp	0,032 US$	18,2m	51,6k
65	Z.ai: GLM 4.6	72,1 %	±1,3pp	0,052 US$	6,5m	9,29k
66	Qwen: Qwen3.7 Max AtlasCloud	72,0 %	--	0,40 US$	3,3m	16,3k
67	DeepSeek: DeepSeek V3.1 Terminus	71,8 %	±1,7pp	0,058 US$	8,5m	13,8k
68	OpenAI: GPT-5 Mini	71,7 %	±1,0pp	0,13 US$	8,9m	57k
69	Z.ai: GLM 4.7	71,6 %	±2,3pp	0,060 US$	5,3m	9,77k
70	Z.ai: GLM 5.2	71,3 %	±3,1pp	0,044 US$	1,9m	8,4k
71	Google: Gemini 3.1 Flash Lite	71,3 %	±0,0pp	0,080 US$	2,3m	42,7k
72	Qwen: Qwen3.8 Flash Alibaba	71,3 %	--	0,017 US$	5,5m	17,2k
73	Google: Gemini 3.8 Flash	71,3 %	--	0,21 US$	4,4m	27,6k
74	MiniMax: MiniMax M2.7	71,1 %	±1,3pp	0,028 US$	3,9m	10,4k
75	inclusionAI: Ling 3.0 Flash Fin Pareto	70,7 %	--	0,005 US$	2,7m	17k
76	OpenAI: GPT-5.6 Sol Pro	70,7 %	--	0,71 US$	4,8m	22,9k
77	OpenAI: GPT-5.6 Luna Pro	70,3 %	±0,3pp	0,085 US$	5,8m	32,9k
78	Qwen: Qwen3.7 Plus Alibaba	70,3 %	--	0,054 US$	6,6m	20,7k
79	Anthropic: Claude Sonnet 4	70,0 %	--	0,30 US$	2,1m	8,5k
80	GLM 5.3 Flash digitalocean	70,0 %	--	0,004 US$	49s	1,57k
81	inclusionAI: Ling 3.0 Flash VL Pareto	70,0 %	--	0,003 US$	1,6m	17,1k
82	OpenAI: GPT-6.1 Sol	70,0 %	--	0,10 US$	2,4m	3,64k
83	MoonshotAI: Kimi K2.5	69,7 %	±2,9pp	0,052 US$	6,1m	9,09k
84	OpenAI: GPT-5.6 Luna	69,7 %	±1,0pp	0,013 US$	1,9m	5,14k
85	OpenAI: GPT-6 Sol	69,3 %	--	0,13 US$	1,6m	4,98k
86	Reflection: Beam 1.0 501B A23B Io Net	69,3 %	--	0,028 US$	3,5m	14,9k
87	Google: Gemma 4 26B A4B	68,7 %	±4,2pp	0,016 US$	6,2m	19,9k
88	inclusionAI: Ling 3.0 Flash Pareto	68,7 %	--	0,002 US$	78s	11,7k
89	OpenAI: GPT-6.1 Terra	68,7 %	--	0,068 US$	79s	4,78k
90	OpenAI: GPT-6 Astra	68,0 %	--	0,58 US$	2,4m	3,73k
91	OpenAI: GPT-5	67,3 %	±2,7pp	0,63 US$	12,2m	54,9k
92	OpenAI: GPT-6 Luna	67,3 %	--	0,009 US$	2,0m	8,9k
93	Thinking Machines: Inkling	67,2 %	±2,8pp	0,080 US$	81s	3,53k
94	OpenAI: GPT-6 Luna Pro	66,7 %	--	0,039 US$	5,2m	32k
95	Z.ai: GLM 4.7 Flash	66,7 %	±1,7pp	0,009 US$	4,8m	9,62k
96	MiniMax: MiniMax M3.1 Flash	66,7 %	±0,7pp	0,013 US$	3,0m	13,3k
97	OpenAI: GPT-5.4 Mini	66,7 %	±1,3pp	0,089 US$	1,8m	12,9k
98	Anthropic: Claude Haiku 4.5	66,2 %	±2,9pp	0,12 US$	2,1m	12,6k
99	MiniMax: MiniMax M2.5	65,8 %	±2,8pp	0,023 US$	5,9m	10,2k
100	NVIDIA: Nemotron 3.5 Lightning	65,6 %	±1,9pp	0,017 US$	5,2m	22,8k
101	OpenAI: gpt-oss-120b	65,2 %	±3,2pp	0,013 US$	8,6m	18,1k
102	OpenAI: GPT-5.4 Nano	64,7 %	±2,7pp	0,030 US$	2,0m	16k
103	Qwen: Qwen3 235B A22B Thinking 2507	61,6 %	±1,1pp	0,12 US$	10,4m	27,7k
104	Z.ai: GLM 4.6V	60,7 %	--	0,032 US$	5,6m	8,85k
105	Thinking Machines: Inkling Small	60,7 %	±2,7pp	0,047 US$	3,5m	3,67k
106	Qwen: Qwen3 Coder Next	60,3 %	±2,4pp	0,045 US$	1,8m	4,78k
107	IBM: Granite 4.2 8B DeepInfra	58,3 %	--	0,015 US$	13,9m	38,6k
108	Google: Gemini 2.5 Pro	58,0 %	±2,7pp	0,21 US$	3,0m	12,1k
109	Google: Gemini 2.5 Flash	56,7 %	±0,7pp	0,029 US$	75s	7,7k
110	Google: Gemini 2.5 Flash Lite	53,4 %	--	0,012 US$	1,6m	16,6k
111	OpenAI: gpt-oss-20b	53,3 %	±1,8pp	0,017 US$	19,4m	76k
112	NVIDIA: Nemotron 3 Nano 30B A3B	51,8 %	±2,5pp	0,028 US$	7,4m	58,3k
113	DeepSeek: R1 0528	50,0 %	±3,5pp	0,16 US$	33,6m	38,5k
114	OpenAI: GPT-5 Nano	48,3 %	±3,7pp	0,041 US$	11,2m	93,9k
115	Google: Gemma 3 12B DeepInfra	48,0 %	--	0,011 US$	80s	3,76k
116	Qwen: Qwen3 Coder 480B A35B	48,0 %	±3,1pp	0,051 US$	1,5m	2,75k
117	OpenAI: GPT-4.1	47,7 %	±1,7pp	0,13 US$	53s	2,67k
118	Qwen: Qwen3 32B	47,5 %	±1,0pp	0,021 US$	11,3m	19,7k
119	DeepSeek: DeepSeek V3.1	47,2 %	±16,8pp	0,069 US$	9,4m	9,87k
120	Qwen: Qwen3 Next 80B A3B Instruct	47,1 %	±2,0pp	0,024 US$	2,3m	3,73k
121	Qwen: Qwen3 30B A3B DeepInfra	47,0 %	--	0,036 US$	7,3m	20,9k
122	Mistral: Mistral Small 4 Mistral	46,0 %	--	0,011 US$	87s	9,09k
123	OpenAI: GPT-4.1 Mini	44,3 %	±1,0pp	0,023 US$	59s	2,33k
124	Qwen: Qwen3 14B DeepInfra	44,0 %	±0,7pp	0,031 US$	11,3m	16,7k
125	DeepSeek: DeepSeek V3 0324	43,5 %	±2,1pp	0,074 US$	13,0m	20,3k
126	Qwen: Qwen3 Coder 30B A3B Instruct	42,7 %	±0,0pp	0,030 US$	4,6m	3,55k
127	Meta: Llama 4 Maverick	42,7 %	±1,4pp	0,050 US$	2,6m	2,23k
128	OpenAI: GPT-4o (2024-08-06) OpenAI	42,7 %	±0,7pp	0,21 US$	52s	2,19k
129	OpenAI: GPT-4o OpenAI	41,7 %	±3,0pp	0,20 US$	53s	2,09k
130	Qwen: Qwen3 VL 235B A22B Instruct	40,5 %	±1,8pp	0,067 US$	6,4m	10,1k
131	DeepSeek: DeepSeek V3	39,8 %	±1,8pp	0,069 US$	5,3m	7,31k
132	Qwen: Qwen3 235B A22B Instruct 2507	39,5 %	±12,0pp	0,022 US$	3,7m	3,34k
133	Qwen: Qwen3 30B A3B Instruct 2507	38,3 %	±1,1pp	0,026 US$	3,3m	4,3k
134	Qwen: Qwen3 VL 30B A3B Instruct	35,2 %	±2,2pp	0,079 US$	3,5m	7,35k
135	Meta: Llama 3.3 70B Instruct	32,8 %	±4,4pp	0,047 US$	87s	1,32k
136	Qwen: Qwen3 VL 8B Instruct PrimeIntellect	32,7 %	--	0,029 US$	2,2m	3,41k
137	OpenAI: GPT-4o-mini OpenAI	30,7 %	±0,7pp	0,018 US$	55s	3,41k
138	Qwen2.5 72B Instruct	24,0 %	±3,3pp	0,073 US$	11,0m	5,32k
139	Meta: Llama 3.1 8B Instruct	22,2 %	±6,0pp	0,004 US$	17s	1,55k
140	OpenAI: GPT-4.1 Nano	11,0 %	±1,0pp	0,007 US$	64s	2,31k

Por qué realizamos esta prueba de rendimiento

Es una prueba de rendimiento de llamadas a herramientas difícil de manipular. La puntuación depende de secuencias de llamadas a herramientas en vivo en lugar de respuestas memorizadas, por lo que resiste mejor la filtración de datos de entrenamiento que las evaluaciones de preguntas y respuestas. Pone a prueba todos los modos de fallo de las llamadas a herramientas (argumentos incorrectos, comprobaciones de políticas omitidas, abandono, confirmaciones alucinadas) con un coste relativamente bajo por ejecución. Las puntuaciones relativas también aportan más información que las absolutas. Un mismo modelo puede obtener puntuaciones distintas según el proveedor, y esas diferencias son las que el enrutamiento Exacto utiliza para elegir endpoints con mayor precisión.

Cada tarea es una conversación simulada de atención al cliente de una aerolínea con un usuario programado, un conjunto de herramientas (búsqueda de vuelos, cambios de reservas, reembolsos, políticas de fidelización) y una solución de referencia validada. Una tarea solo se supera si el estado final de la base de datos y los mensajes al usuario coinciden con la referencia; no se otorgan puntos parciales.

Lo que las puntuaciones pueden y no pueden indicar

Todavía hay margen de mejora. Los mejores modelos fallan aproximadamente en una de cada cinco tareas, y el dominio de las aerolíneas es la partición más difícil de τ²-Bench. Las diferencias de precisión aquí distinguen a los modelos que siguen políticas de varios pasos de los que simplemente conversan bien.

Sin embargo, el nivel mínimo es alto. Muchas tareas recompensan la inacción. Una tarea de rechazo con una lista vacía de acciones de referencia se considera superada por cualquier agente que no cambie nada. Incluso los modelos menos capaces obtienen puntuaciones muy superiores a cero, por lo que las diferencias significativas se concentran en la parte superior del rango.

La prueba de referencia es pública, por lo que las tareas pueden aparecer en los corpus de entrenamiento. Sin embargo, la contaminación infla menos las puntuaciones aquí que en las evaluaciones de preguntas y respuestas, ya que una tarea filtrada aún debe ejecutarse correctamente, paso a paso, sobre una base de datos activa.

La fidelidad de la puntuación tiene límites. El verificador comprueba dos cosas: el hash final de la base de datos y las coincidencias exactas de subcadenas en los mensajes del agente. Las afirmaciones en lenguaje natural de cada tarea («el agente debe rechazar la cancelación») son metadatos, y ningún modelo juez lee la transcripción. Por tanto, un cálculo de ahorro falla si el agente dice «$23,552.50» cuando el verificador busca «23553» con grep.

El simulador de usuario también importa. Lo fijamos en gemini-2.5-flash para que las puntuaciones de los agentes sigan siendo comparables, pero el simulador es en sí mismo un LLM con sus propios modos de fallo. Puede detener la conversación antes de que el agente termine, revelar las instrucciones ocultas de su tarea o mantener a un agente atascado en un bucle hasta que el límite de 200 pasos termine la ejecución. Cambiar el modelo del simulador altera las puntuaciones absolutas, por lo que las cifras de τ²-Bench de distintos artículos rara vez coinciden exactamente.

Cómo se puntúa una tarea

Cada tarea incluye una solución de referencia: una lista de llamadas a herramientas, cadenas que el agente debe decir y afirmaciones en lenguaje natural. Una vez finalizada la conversación, el verificador reproduce las llamadas a herramientas de referencia en una base de datos nueva y compara sus hashes con los de la base de datos final del agente. A continuación, busca cada cadena requerida en los mensajes del agente. La recompensa es el producto de esas dos comprobaciones:

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

Las trayectorias que se muestran a continuación proceden de ejecuciones reales, con gemini-2.5-flash como simulador de usuario en todas ellas.

recompensa = 1

Éxito: tres cambios en una solicitud, los tres se aplican

Tarea 17 agente: openai/gpt-5.1

Para la reserva FQ8APE: añada 3 maletas facturadas, cambie el pasajero a Omar Rossi y pase de clase económica básica a económica, pagando con una tarjeta regalo.

La base de datos debe coincidir con el estado de referencia: update_reservation_flights (mejora de categoría a clase económica), update_reservation_passengers y update_reservation_baggages con los argumentos exactos
communicate_info está vacío, por lo que no se aplica ninguna comprobación de cadenas

db ✓

communicate ✓

USER_STOP

El agente buscó al usuario, encontró la reserva correcta entre varias, confirmó los cambios y el método de pago y, después, realizó las tres operaciones de escritura: cambio de pasajero, mejora de cabina y equipaje. Los hashes finales de la base de datos coinciden con el estado de referencia y la ejecución termina en USER_STOP, por lo que la recompensa es 1. Esto es lo que la evaluación está diseñada para medir: el uso correcto de herramientas en varios pasos sujeto a restricciones de políticas.

Metodología

Las puntuaciones agregan las ejecuciones exitosas de los últimos 90 días, ponderadas por el número de tareas, con un mínimo de 45 tareas evaluadas por par de modelo y proveedor. La puntuación principal de un modelo usa su enrutamiento predeterminado (sin fijarlo a un proveedor) cuando existe; de lo contrario, recurre al proveedor con la puntuación mediana. La desviación estándar se mide entre las ejecuciones de ese resultado representativo. Las cifras de costo, tiempo y tókenes son promedios por tarea de las mismas ejecuciones. La mejor relación calidad-precio corresponde al modelo óptimo de Pareto más barato cuya puntuación se sitúa a no más de 5 puntos de la puntuación más alta.

Estas son las mismas mediciones que utiliza el enrutamiento de Exacto. Consulte la documentación para saber cómo funciona el enrutamiento, o explore todos los modelos para probar uno.

Acceso a la API

Estas puntuaciones están disponibles a través de la API pública de evaluaciones comparativas de OpenRouter, por lo que puede obtener los mismos resultados por modelo de forma programática.

GET https://openrouter.ai/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Use task_type=agentic para filtrar por tau_bench_verified_airline. Cada elemento representa un modelo e incluye accuracy, accuracy_stddev, avg_cost_per_task, total_tasks y last_run_timestamp. Consulte la documentación de la API de pruebas de rendimiento.

Descargar y citar

Se publica una instantánea de esta clasificación en el conjunto de datos abierto benchmark-leaderboard (filtre por la columna benchmark ), que se regenera daily sin necesidad de una clave de API. La instantánea actual se generó el 2 nov 2026, 1:45 UTC. Se distribuye bajo la licencia CC BY 4.0, por lo que puede reutilizarlo y volver a publicarlo con atribución a OpenRouter.

Descargar CSV (text/csv)
Descargar JSON (application/json)
Manifiesto de la instantánea (Sumas de verificación SHA-256 de los archivos anteriores)
Manifiesto más reciente (alias modificable, actualizado a medida que se publican instantáneas)

Las definiciones de las columnas, la metodología y las reglas de enmascaramiento están en el README del conjunto de datos.

Citar esta clasificación

OpenRouter (2026). τ²-Bench: resultados de aerolíneas en OpenRouter, instantánea del 2026-11-02. https://openrouter.ai/benchmarks/tau2-bench-airline. Bajo licencia CC BY 4.0.

Preguntas frecuentes

Todas las pruebas de referencia

τ²-Bench: Aerolíneas

Última ejecución de la evaluación comparativa 2 nov 2026, 21:39 UTC

Artículo GitHub

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

Errores en llamadas a herramientas antes → después de Auto Exacto

3,9 % → 1,6 %

Tasa de errores en llamadas a herramientas de los modelos inscritos en Auto Exacto, la optimización automática de proveedores de OpenRouter para solicitudes con llamadas a herramientas.

Clasificación

Las filas de nivel superior usan el enrutamiento predeterminado cuando está disponible; haga clic en una fila para desplegar los resultados con proveedor fijo.

Clasificación de τ²-Bench Airline: precisión del modelo, costo, tiempo y tokens de salida por tarea y proveedor
#	Modelo		Desv. estándar
1	OpenAI: GPT-5.1 Pareto	80,0 %	±0,0pp	0,39 US$	8,0m	34,1k
2	Anthropic: Claude Fable 5	79,5 %	±2,7pp	0,88 US$	2,0m	5,74k
3	inclusionAI: Ling 3.1 Flash Pareto	79,3 %	--	0,031 US$	10,6m	16,7k
4	Anthropic: Claude Fable 5.1	79,2 %	±1,3pp	0,72 US$	1,9m	6,9k
5	Anthropic: Claude Opus 5	78,8 %	±2,1pp	0,48 US$	2,0m	7,04k
6	Anthropic: Claude Sonnet 5.5	78,8 %	±2,2pp	0,16 US$	71s	6,25k
7	Google: Gemini 4 Argon Google	78,7 %	--	0,50 US$	5,8m	22k
8	Qwen: Qwen3.5 397B A17B	78,4 %	±2,3pp	0,20 US$	12,7m	31,2k
9	Google: Gemini 3.5 Flash Lite	78,3 %	±1,0pp	0,074 US$	1,6m	21,5k
10	Google: Gemini 3.7 Flash	78,3 %	±1,7pp	0,15 US$	3,1m	16,3k
11	Xiaomi: MiMo-V2.6-Flash Pareto	77,9 %	±1,5pp	0,015 US$	6,3m	21,7k
12	Qwen: Qwen3.8 27B	77,5 %	±2,6pp	0,066 US$	4,3m	14,2k
13	DeepSeek: DeepSeek V4 Pro 0813	77,5 %	±2,6pp	0,10 US$	4,9m	21,5k
14	Z.ai: GLM 5.3	77,3 %	±3,3pp	0,057 US$	1,9m	6,56k
15	Qwen: Qwen3.5-122B-A10B	77,2 %	±2,7pp	0,17 US$	9,4m	35,4k
16	Google: Gemini 3.1 Pro Preview	77,0 %	±0,3pp	0,35 US$	3,0m	12,7k
17	DeepSeek: DeepSeek V4 Pro 0423	76,8 %	±2,2pp	0,054 US$	3,7m	12,6k
18	Xiaomi: MiMo-V2.6-Pro	76,8 %	±4,3pp	0,068 US$	16,2m	44,2k
19	Anthropic: Claude Opus 4.7	76,7 %	±2,3pp	0,42 US$	1,5m	5,59k
20	Amazon: Nova Micro 1.0	76,7 %	±0,0pp	1,28 US$	1,6m	5,71k
21	Anthropic: Claude Opus 4.8	76,6 %	±2,0pp	0,49 US$	2,1m	8,04k
22	Anthropic: Claude Opus 4.5	76,5 %	±2,7pp	0,54 US$	2,9m	10,7k
23	Qwen: Qwen3.6 27B	76,4 %	±3,5pp	0,14 US$	13,9m	31,4k
24	Tencent: Hy4 preview	76,0 %	±3,1pp	0,11 US$	14,6m	24,2k
25	GLM 5.3 digitalocean	76,0 %	--	0,016 US$	42s	1,76k
26	Meta: Muse Spark Open	75,7 %	±1,0pp	0,088 US$	73s	8,72k
27	Z.ai: GLM 5.3 Flash Pareto	75,6 %	±1,9pp	0,009 US$	2,0m	5,38k
28	Google: Gemini 3.6 Flash	75,3 %	±2,7pp	0,17 US$	2,5m	22,9k
29	SpaceXAI: Grok 4.6	75,3 %	±0,7pp	0,33 US$	4,0m	12k
30	Anthropic: Claude Opus 5.5	75,3 %	±1,7pp	0,34 US$	1,9m	7,04k
31	OpenAI: GPT-5.3-Codex OpenAI	75,3 %	--	0,30 US$	3,0m	13,6k
32	Anthropic: Claude Sonnet 5	75,3 %	±3,0pp	0,20 US$	2,0m	7,77k
33	Google: Gemma 4 31B	75,3 %	±2,9pp	0,029 US$	7,6m	11,7k
34	DeepSeek: DeepSeek V4.1 Flash	75,1 %	±2,8pp	0,033 US$	3,7m	35,2k
35	Z.ai: GLM 5	75,1 %	±3,7pp	0,045 US$	3,0m	9,42k
36	OpenAI: GPT-5.4	75,0 %	±0,3pp	0,29 US$	2,9m	10,4k
37	Qwen: Qwen3.5-35B-A3B	74,9 %	±5,1pp	0,083 US$	13,1m	50,5k
38	MiniMax: MiniMax M3	74,8 %	±2,8pp	0,026 US$	2,5m	9,36k
39	Anthropic: Claude Opus 4.6	74,8 %	±2,8pp	0,50 US$	3,2m	10,1k
40	Qwen: Qwen3.8 2.4T A95B	74,8 %	±2,0pp	0,19 US$	4,8m	11,6k
41	DeepSeek: DeepSeek V4 Flash Vision Exp	74,8 %	±2,0pp	0,030 US$	3,3m	18,7k
42	Meta: Muse Glimmer 30B	74,7 %	±3,4pp	0,037 US$	3,3m	13,6k
43	DeepSeek: DeepSeek V3.2	74,4 %	±2,6pp	0,039 US$	9,8m	15,9k
44	Anthropic: Claude Sonnet 4.6	74,3 %	±2,7pp	0,33 US$	3,3m	11,5k
45	Xiaomi: MiMo-V2.5-Pro	74,3 %	±3,4pp	0,028 US$	7,3m	14,7k
46	DeepSeek: DeepSeek V4 Flash 0731	74,0 %	±4,8pp	0,010 US$	4,7m	15,6k
47	DeepSeek: DeepSeek V4 Flash 0423	73,9 %	±2,9pp	0,011 US$	3,7m	14k
48	MoonshotAI: Kimi K2.7 Code	73,7 %	±2,5pp	0,079 US$	2,6m	8,78k
49	OpenAI: GPT-5.5	73,7 %	±1,0pp	0,48 US$	2,1m	7,21k
50	MoonshotAI: Kimi K3	73,6 %	±2,7pp	0,29 US$	5,6m	10,8k
51	MoonshotAI: Kimi K2.6	73,6 %	±2,2pp	0,065 US$	4,1m	12,7k
52	OpenAI: GPT-5.6 Sol	73,3 %	±2,7pp	0,13 US$	1,8m	5,15k
53	Google: Gemini 3 Flash Preview	73,3 %	±2,0pp	0,12 US$	2,6m	19,7k
54	Anthropic: Claude Sonnet 4.5	72,9 %	±3,3pp	0,33 US$	3,5m	10,4k
55	NVIDIA: Nemotron 3.5 Super VL	72,9 %	±1,7pp	0,033 US$	2,2m	14,6k
56	Anthropic: Claude Haiku 5.5	72,8 %	±4,1pp	0,012 US$	86s	10,7k
57	OpenAI: GPT-6 Astra Pro	72,7 %	--	2,91 US$	5,5m	12,4k
58	Google: Gemini 3.5 Flash	72,7 %	±2,7pp	0,43 US$	3,3m	31,3k
59	Xiaomi: MiMo-V2.5	72,5 %	±3,9pp	0,010 US$	6,2m	14,2k
60	Qwen: Qwen3.6 35B A3B	72,5 %	±7,9pp	0,041 US$	4,6m	23,8k
61	OpenAI: GPT-5.6 Terra	72,3 %	±0,3pp	0,11 US$	83s	3,74k
62	DeepSeek: DeepSeek V4.1 Flash 1017	72,3 %	±1,0pp	0,029 US$	3,0m	35k
63	Z.ai: GLM 5.1	72,3 %	±3,6pp	0,095 US$	3,7m	10k
64	Qwen: Qwen3.5-9B	72,1 %	±4,8pp	0,032 US$	18,2m	51,6k
65	Z.ai: GLM 4.6	72,1 %	±1,3pp	0,052 US$	6,5m	9,29k
66	Qwen: Qwen3.7 Max AtlasCloud	72,0 %	--	0,40 US$	3,3m	16,3k
67	DeepSeek: DeepSeek V3.1 Terminus	71,8 %	±1,7pp	0,058 US$	8,5m	13,8k
68	OpenAI: GPT-5 Mini	71,7 %	±1,0pp	0,13 US$	8,9m	57k
69	Z.ai: GLM 4.7	71,6 %	±2,3pp	0,060 US$	5,3m	9,77k
70	Z.ai: GLM 5.2	71,3 %	±3,1pp	0,044 US$	1,9m	8,4k
71	Google: Gemini 3.1 Flash Lite	71,3 %	±0,0pp	0,080 US$	2,3m	42,7k
72	Qwen: Qwen3.8 Flash Alibaba	71,3 %	--	0,017 US$	5,5m	17,2k
73	Google: Gemini 3.8 Flash	71,3 %	--	0,21 US$	4,4m	27,6k
74	MiniMax: MiniMax M2.7	71,1 %	±1,3pp	0,028 US$	3,9m	10,4k
75	inclusionAI: Ling 3.0 Flash Fin Pareto	70,7 %	--	0,005 US$	2,7m	17k
76	OpenAI: GPT-5.6 Sol Pro	70,7 %	--	0,71 US$	4,8m	22,9k
77	OpenAI: GPT-5.6 Luna Pro	70,3 %	±0,3pp	0,085 US$	5,8m	32,9k
78	Qwen: Qwen3.7 Plus Alibaba	70,3 %	--	0,054 US$	6,6m	20,7k
79	Anthropic: Claude Sonnet 4	70,0 %	--	0,30 US$	2,1m	8,5k
80	GLM 5.3 Flash digitalocean	70,0 %	--	0,004 US$	49s	1,57k
81	inclusionAI: Ling 3.0 Flash VL Pareto	70,0 %	--	0,003 US$	1,6m	17,1k
82	OpenAI: GPT-6.1 Sol	70,0 %	--	0,10 US$	2,4m	3,64k
83	MoonshotAI: Kimi K2.5	69,7 %	±2,9pp	0,052 US$	6,1m	9,09k
84	OpenAI: GPT-5.6 Luna	69,7 %	±1,0pp	0,013 US$	1,9m	5,14k
85	OpenAI: GPT-6 Sol	69,3 %	--	0,13 US$	1,6m	4,98k
86	Reflection: Beam 1.0 501B A23B Io Net	69,3 %	--	0,028 US$	3,5m	14,9k
87	Google: Gemma 4 26B A4B	68,7 %	±4,2pp	0,016 US$	6,2m	19,9k
88	inclusionAI: Ling 3.0 Flash Pareto	68,7 %	--	0,002 US$	78s	11,7k
89	OpenAI: GPT-6.1 Terra	68,7 %	--	0,068 US$	79s	4,78k
90	OpenAI: GPT-6 Astra	68,0 %	--	0,58 US$	2,4m	3,73k
91	OpenAI: GPT-5	67,3 %	±2,7pp	0,63 US$	12,2m	54,9k
92	OpenAI: GPT-6 Luna	67,3 %	--	0,009 US$	2,0m	8,9k
93	Thinking Machines: Inkling	67,2 %	±2,8pp	0,080 US$	81s	3,53k
94	OpenAI: GPT-6 Luna Pro	66,7 %	--	0,039 US$	5,2m	32k
95	Z.ai: GLM 4.7 Flash	66,7 %	±1,7pp	0,009 US$	4,8m	9,62k
96	MiniMax: MiniMax M3.1 Flash	66,7 %	±0,7pp	0,013 US$	3,0m	13,3k
97	OpenAI: GPT-5.4 Mini	66,7 %	±1,3pp	0,089 US$	1,8m	12,9k
98	Anthropic: Claude Haiku 4.5	66,2 %	±2,9pp	0,12 US$	2,1m	12,6k
99	MiniMax: MiniMax M2.5	65,8 %	±2,8pp	0,023 US$	5,9m	10,2k
100	NVIDIA: Nemotron 3.5 Lightning	65,6 %	±1,9pp	0,017 US$	5,2m	22,8k
101	OpenAI: gpt-oss-120b	65,2 %	±3,2pp	0,013 US$	8,6m	18,1k
102	OpenAI: GPT-5.4 Nano	64,7 %	±2,7pp	0,030 US$	2,0m	16k
103	Qwen: Qwen3 235B A22B Thinking 2507	61,6 %	±1,1pp	0,12 US$	10,4m	27,7k
104	Z.ai: GLM 4.6V	60,7 %	--	0,032 US$	5,6m	8,85k
105	Thinking Machines: Inkling Small	60,7 %	±2,7pp	0,047 US$	3,5m	3,67k
106	Qwen: Qwen3 Coder Next	60,3 %	±2,4pp	0,045 US$	1,8m	4,78k
107	IBM: Granite 4.2 8B DeepInfra	58,3 %	--	0,015 US$	13,9m	38,6k
108	Google: Gemini 2.5 Pro	58,0 %	±2,7pp	0,21 US$	3,0m	12,1k
109	Google: Gemini 2.5 Flash	56,7 %	±0,7pp	0,029 US$	75s	7,7k
110	Google: Gemini 2.5 Flash Lite	53,4 %	--	0,012 US$	1,6m	16,6k
111	OpenAI: gpt-oss-20b	53,3 %	±1,8pp	0,017 US$	19,4m	76k
112	NVIDIA: Nemotron 3 Nano 30B A3B	51,8 %	±2,5pp	0,028 US$	7,4m	58,3k
113	DeepSeek: R1 0528	50,0 %	±3,5pp	0,16 US$	33,6m	38,5k
114	OpenAI: GPT-5 Nano	48,3 %	±3,7pp	0,041 US$	11,2m	93,9k
115	Google: Gemma 3 12B DeepInfra	48,0 %	--	0,011 US$	80s	3,76k
116	Qwen: Qwen3 Coder 480B A35B	48,0 %	±3,1pp	0,051 US$	1,5m	2,75k
117	OpenAI: GPT-4.1	47,7 %	±1,7pp	0,13 US$	53s	2,67k
118	Qwen: Qwen3 32B	47,5 %	±1,0pp	0,021 US$	11,3m	19,7k
119	DeepSeek: DeepSeek V3.1	47,2 %	±16,8pp	0,069 US$	9,4m	9,87k
120	Qwen: Qwen3 Next 80B A3B Instruct	47,1 %	±2,0pp	0,024 US$	2,3m	3,73k
121	Qwen: Qwen3 30B A3B DeepInfra	47,0 %	--	0,036 US$	7,3m	20,9k
122	Mistral: Mistral Small 4 Mistral	46,0 %	--	0,011 US$	87s	9,09k
123	OpenAI: GPT-4.1 Mini	44,3 %	±1,0pp	0,023 US$	59s	2,33k
124	Qwen: Qwen3 14B DeepInfra	44,0 %	±0,7pp	0,031 US$	11,3m	16,7k
125	DeepSeek: DeepSeek V3 0324	43,5 %	±2,1pp	0,074 US$	13,0m	20,3k
126	Qwen: Qwen3 Coder 30B A3B Instruct	42,7 %	±0,0pp	0,030 US$	4,6m	3,55k
127	Meta: Llama 4 Maverick	42,7 %	±1,4pp	0,050 US$	2,6m	2,23k
128	OpenAI: GPT-4o (2024-08-06) OpenAI	42,7 %	±0,7pp	0,21 US$	52s	2,19k
129	OpenAI: GPT-4o OpenAI	41,7 %	±3,0pp	0,20 US$	53s	2,09k
130	Qwen: Qwen3 VL 235B A22B Instruct	40,5 %	±1,8pp	0,067 US$	6,4m	10,1k
131	DeepSeek: DeepSeek V3	39,8 %	±1,8pp	0,069 US$	5,3m	7,31k
132	Qwen: Qwen3 235B A22B Instruct 2507	39,5 %	±12,0pp	0,022 US$	3,7m	3,34k
133	Qwen: Qwen3 30B A3B Instruct 2507	38,3 %	±1,1pp	0,026 US$	3,3m	4,3k
134	Qwen: Qwen3 VL 30B A3B Instruct	35,2 %	±2,2pp	0,079 US$	3,5m	7,35k
135	Meta: Llama 3.3 70B Instruct	32,8 %	±4,4pp	0,047 US$	87s	1,32k
136	Qwen: Qwen3 VL 8B Instruct PrimeIntellect	32,7 %	--	0,029 US$	2,2m	3,41k
137	OpenAI: GPT-4o-mini OpenAI	30,7 %	±0,7pp	0,018 US$	55s	3,41k
138	Qwen2.5 72B Instruct	24,0 %	±3,3pp	0,073 US$	11,0m	5,32k
139	Meta: Llama 3.1 8B Instruct	22,2 %	±6,0pp	0,004 US$	17s	1,55k
140	OpenAI: GPT-4.1 Nano	11,0 %	±1,0pp	0,007 US$	64s	2,31k

Por qué realizamos esta prueba de rendimiento

Lo que las puntuaciones pueden y no pueden indicar

Cómo se puntúa una tarea

reward = db_match × communicate_met   // each ∈ {0, 1}
db_match        = hash(agent DB) == hash(gold DB)
communicate_met = every required string appears in an agent message
any run that hits MAX_STEPS instead of a clean stop scores 0 outright

Las trayectorias que se muestran a continuación proceden de ejecuciones reales, con gemini-2.5-flash como simulador de usuario en todas ellas.

recompensa = 1

Éxito: tres cambios en una solicitud, los tres se aplican

Tarea 17 agente: openai/gpt-5.1

Para la reserva FQ8APE: añada 3 maletas facturadas, cambie el pasajero a Omar Rossi y pase de clase económica básica a económica, pagando con una tarjeta regalo.

La base de datos debe coincidir con el estado de referencia: update_reservation_flights (mejora de categoría a clase económica), update_reservation_passengers y update_reservation_baggages con los argumentos exactos
communicate_info está vacío, por lo que no se aplica ninguna comprobación de cadenas

db ✓

communicate ✓

USER_STOP

Metodología

Estas son las mismas mediciones que utiliza el enrutamiento de Exacto. Consulte la documentación para saber cómo funciona el enrutamiento, o explore todos los modelos para probar uno.

Acceso a la API

Estas puntuaciones están disponibles a través de la API pública de evaluaciones comparativas de OpenRouter, por lo que puede obtener los mismos resultados por modelo de forma programática.

GET https://openrouter.ai/api/v1/benchmarks?source=openrouter
Authorization: Bearer <API key>

Descargar y citar

Descargar CSV (text/csv)
Descargar JSON (application/json)
Manifiesto de la instantánea (Sumas de verificación SHA-256 de los archivos anteriores)
Manifiesto más reciente (alias modificable, actualizado a medida que se publican instantáneas)

Las definiciones de las columnas, la metodología y las reglas de enmascaramiento están en el README del conjunto de datos.

Citar esta clasificación

OpenRouter (2026). τ²-Bench: resultados de aerolíneas en OpenRouter, instantánea del 2026-11-02. https://openrouter.ai/benchmarks/tau2-bench-airline. Bajo licencia CC BY 4.0.

τ²-Bench: Aerolíneas

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

Comparación de modelos

Eficiencia de costes

Fiabilidad de las llamadas a herramientas

Clasificación

Por qué realizamos esta prueba de rendimiento

Lo que las puntuaciones pueden y no pueden indicar

Cómo se puntúa una tarea

Éxito: tres cambios en una solicitud, los tres se aplican

Fallo: cancela una reserva que la política prohíbe

Fallo: base de datos correcta, número incorrecto para el usuario

Fallo: inventa argumentos de herramientas y luego repite en bucle la misma llamada rechazada

Fallo: reintenta la misma llamada defectuosa a una herramienta hasta que la ejecución termina abruptamente

Aprobar sin hacer nada: las tareas de rechazo recompensan la inacción

Metodología

Acceso a la API

Descargar y citar

Citar esta clasificación

Preguntas frecuentes

τ²-Bench: Aerolíneas

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

Comparación de modelos

Eficiencia de costes

Fiabilidad de las llamadas a herramientas

Clasificación

Por qué realizamos esta prueba de rendimiento

Lo que las puntuaciones pueden y no pueden indicar

Cómo se puntúa una tarea

Éxito: tres cambios en una solicitud, los tres se aplican

Fallo: cancela una reserva que la política prohíbe

Fallo: base de datos correcta, número incorrecto para el usuario

Fallo: inventa argumentos de herramientas y luego repite en bucle la misma llamada rechazada

Fallo: reintenta la misma llamada defectuosa a una herramienta hasta que la ejecución termina abruptamente

Aprobar sin hacer nada: las tareas de rechazo recompensan la inacción

Metodología

Acceso a la API

Descargar y citar

Citar esta clasificación

Preguntas frecuentes

τ²-Bench: Aerolíneas

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

Comparación de modelos

Eficiencia de costes

Fiabilidad de las llamadas a herramientas

Clasificación

Por qué realizamos esta prueba de rendimiento

Lo que las puntuaciones pueden y no pueden indicar

Cómo se puntúa una tarea

Éxito: tres cambios en una solicitud, los tres se aplican

Transcripción

Fallo: cancela una reserva que la política prohíbe

Transcripción

Fallo: base de datos correcta, número incorrecto para el usuario

Transcripción

Fallo: inventa argumentos de herramientas y luego repite en bucle la misma llamada rechazada

Transcripción

Fallo: reintenta la misma llamada defectuosa a una herramienta hasta que la ejecución termina abruptamente

Transcripción

Aprobar sin hacer nada: las tareas de rechazo recompensan la inacción

Transcripción

Metodología

Acceso a la API

Descargar y citar

Citar esta clasificación

Preguntas frecuentes

¿Qué mide τ²-Bench Airline?

¿Cómo se puntúa una tarea individual?

¿Por qué dos proveedores que ofrecen el mismo modelo obtienen puntuaciones diferentes?

¿Por qué estas puntuaciones no coinciden con las cifras publicadas de τ²-Bench?

¿Cuántas tareas hay detrás de una puntuación?

¿Puedo obtener estas puntuaciones mediante programación?

τ²-Bench: Aerolíneas

¿Qué modelo lidera la prueba de rendimiento τ²-Bench Airline?

Comparación de modelos

Eficiencia de costes

Fiabilidad de las llamadas a herramientas

Clasificación

Por qué realizamos esta prueba de rendimiento

Lo que las puntuaciones pueden y no pueden indicar

Cómo se puntúa una tarea

Éxito: tres cambios en una solicitud, los tres se aplican

Transcripción

Fallo: cancela una reserva que la política prohíbe

Transcripción

Fallo: base de datos correcta, número incorrecto para el usuario

Transcripción

Fallo: inventa argumentos de herramientas y luego repite en bucle la misma llamada rechazada

Transcripción

Fallo: reintenta la misma llamada defectuosa a una herramienta hasta que la ejecución termina abruptamente

Transcripción

Aprobar sin hacer nada: las tareas de rechazo recompensan la inacción

Transcripción

Metodología

Acceso a la API

Descargar y citar

Citar esta clasificación

Preguntas frecuentes

¿Qué mide τ²-Bench Airline?

¿Cómo se puntúa una tarea individual?

¿Por qué dos proveedores que ofrecen el mismo modelo obtienen puntuaciones diferentes?

¿Por qué estas puntuaciones no coinciden con las cifras publicadas de τ²-Bench?

¿Cuántas tareas hay detrás de una puntuación?

¿Puedo obtener estas puntuaciones mediante programación?