τ²-Bench：航空

任务 17 智能体： openai/gpt-5.1

对于预订 FQ8APE：添加 3 件托运行李，将乘客改为 Omar Rossi，并将基础经济舱升级为经济舱，使用礼品卡付款。

• 数据库必须与标准状态匹配：使用完全一致的参数调用 update_reservation_flights（经济舱升级）、update_reservation_passengers 和 update_reservation_baggages
• communicate_info 为空，因此不进行字符串检查

智能体查找了用户，从多个预订中找到了正确的预订，确认了更改和付款方式，然后完成了全部三项写入操作：更换乘客、升舱和添加行李。最终数据库哈希值与标准状态匹配，且运行以 USER_STOP 结束，因此奖励为 1。这正是该评估旨在衡量的能力：在策略约束下正确完成多步骤工具调用。

任务 0 智能体： openai/gpt-4o-mini

取消预订 EHGLP3。该预订已超过 24 小时，属于基础经济舱，且未购买旅行保险，因此根据政策无法取消。

• 数据库在结束时必须保持未修改状态（标准解法不做任何更改）
• 自然语言断言（未经机器检查）：智能体应拒绝取消操作

智能体调取了预订信息，发现这是一张超过 24 小时前预订且未购买保险的基础经济舱机票，却仍然将其取消。它甚至承诺退款 $208。检查器将最终数据库与未修改的标准数据库进行比较，哈希值不同，奖励为 0。同一模型在另一个轮次中拒绝了完全相同的取消操作；采样方差使结果发生逆转。

任务 18 智能体： openai/gpt-4o-mini

将全部五个商务舱预订降级为经济舱，然后报告节省的总金额。正确的总金额为 23,553 美元。

• 数据库必须与标准状态一致：进行 5 次 update_reservation_flights 调用，舱位、航班和付款 ID 必须完全匹配
• communicate_info：字符串“23553”必须出现在智能体消息中

智能体正确执行了全部五次降舱操作，并通过了数据库检查。随后，它根据不完整的票价列表计算节省金额，并告诉用户节省了 $14,965，而非 $23,553。通信检查在每条智能体消息中搜索字面字符串“23553”，未找到任何匹配项，因此将整个任务的得分归零。一次错误的算术答案抹去了五次正确的数据库写入。

任务 11 智能体： meta-llama/llama-3.1-8b-instruct

从预订 GV1N64 中移除乘客 Sophia。政策禁止更改乘客人数；正确的做法是将两位乘客都降级至基础经济舱，并退还 $5,244。

• 数据库必须与标准状态匹配：调用一次 update_reservation_flights，将舱位降级为 basic_economy
• communicate_info：字符串“5244”必须出现在智能体消息中

智能体的第一步就是执行一次写入操作，参数完全是凭空编造的：一个用户从未提供过的预订 ID，以及一名出生于 1990-01-01、在数据中根本不存在的乘客“John Doe”。找到真实预订后，它针对一份双人预订发送了 update_reservation_passengers，传入的数组却只有一名乘客，收到“乘客人数不匹配”的错误后，又将完全相同的调用重试了四次，其间还一度凭空编造了第二名乘客“Sophia Smith，1992-01-01”。它从未查阅政策（禁止移除乘客；正确做法是降低舱位等级），还报出了虚构的 $200 退款金额，最终两项检查均未通过。这些参数是格式正确且工具模式接受的 JSON；只是它们与现实不符，这也解释了为什么小模型在模式层面的工具调用指标上看似表现良好，却仍然无法完成这类任务。

任务 14 智能体： openai/gpt-4o-mini

重新预订最便宜的商务舱往返机票，并使用礼品卡、一张代金券和一张信用卡拆分支付。正确的拆分方式是在信用卡上支付 $44。

• 数据库必须与标准状态一致（取消 + 按完全一致的付款拆分方式重新预订）
• communicate_info：礼品卡和礼券的金额，以及最终的银行卡扣款金额

智能体创建了一笔预订，其中支付金额之和与票价不符。工具每次都以相同的错误拒绝该请求，而智能体重复尝试了数十次完全相同的调用，直到运行达到 200 步的上限。任何因 MAX_STEPS 而终止的运行，在比较数据库之前就会被评为 0 分。这份对话记录共 202 条消息；以下摘录展示了该循环。

任务 0 智能体： openai/gpt-4o-mini

与违反政策的失败案例中的任务相同：用户想取消 EHGLP3，但政策不允许。

• 标准操作列表为空，因此只要没有任何更改，数据库检查就会通过
• communicate_info 为空，因此 communicate 检查因空真而通过
• 自然语言断言（“智能体应拒绝”）仅为元数据，从不接受机器检查

此次运行确实合格通过：智能体核查了预订，引用了 24 小时规则，并拒绝了请求。但看看检查器实际验证的内容：未被改动的数据库和空的 communicate 列表。即使智能体对所有请求都不予处理，或立即转接人工，也会得到相同的分数。拒绝类任务衡量的是“是否没有出问题”，因此会使过于谨慎的模型获得虚高的分数。