τ²-Bench: Airline

タスク 17 のエージェント： openai/gpt-5.1

予約 FQ8APE について、預け入れ手荷物を 3 個追加し、搭乗者を Omar Rossi に変更し、ベーシックエコノミーからエコノミーにアップグレードして、ギフトカードで支払ってください。

• データベースは正解状態と一致する必要があります：update_reservation_flights（エコノミーへのアップグレード）、update_reservation_passengers、update_reservation_baggages を正確な引数で実行してください
• communicate_info が空のため、文字列チェックは適用されません

エージェントはユーザーを検索し、複数の予約の中から正しい予約を見つけ、変更内容と支払い方法を確認した後、搭乗者の変更、キャビンのアップグレード、手荷物という三つの書き込みをすべて実行しました。最終的なデータベースのハッシュは正解の状態と一致し、実行は USER_STOP で終了するため、報酬は 1 です。この評価は、ポリシーの制約下で複数ステップのツール使用を正しく実行できるかを測定するように設計されています。

タスク 0 のエージェント： openai/gpt-4o-mini

予約 EHGLP3 をキャンセルしてください。予約から 24 時間を超えて経過しており、ベーシックエコノミーで、旅行保険にも加入していないため、ポリシー上キャンセルはできません。

• データベースは変更されていない状態で終了する必要があります（正解の解法では変更を加えません）
• 自然言語によるアサーション（機械検証なし）：エージェントはキャンセルを拒否する必要があります

エージェントは予約を取得し、24 時間以上前に予約された保険なしのベーシックエコノミー運賃であることを確認しましたが、それでもキャンセルしました。さらに $208 の返金まで約束しました。チェッカーが最終データベースを正解データベース（未変更）と比較するとハッシュが異なり、報酬は 0 です。同じモデルが別のエポックではまったく同じキャンセルを拒否しており、サンプリングのばらつきによって結果が逆転します。

タスク 18 のエージェント： openai/gpt-4o-mini

五つのビジネスクラスの予約をすべてエコノミーにダウングレードし、節約できた合計金額を報告してください。正しい合計金額は $23,553 です。

• データベースは正解の状態と一致する必要があり、客室クラス、フライト、支払い ID が完全に一致する update_reservation_flights 呼び出しが 5 回必要です
• communicate_info：文字列「23553」がエージェントのメッセージに含まれている必要があります

エージェントは五つのダウングレードをすべて正しく実行し、データベースのチェックにも合格しました。その後、運賃の一部のリストから節約額を計算し、$23,553 ではなく $14,965 とユーザーに伝えました。伝達内容のチェックでは、エージェントのすべてのメッセージからリテラル文字列「23553」を grep で検索し、見つからないためタスク全体を零点にします。算術の回答を一つ間違えたことで、五つの正しいデータベース書き込みが台無しになりました。

タスク 11 のエージェント： meta-llama/llama-3.1-8b-instruct

予約 GV1N64 から搭乗者 Sophia を削除してください。ポリシーで搭乗者数の変更は禁止されているため、正しい対応は両方の搭乗者をベーシックエコノミーにダウングレードし、$5,244 を返金することです。

• データベースは正解の状態と一致する必要があり、update_reservation_flights を一度呼び出して basic_economy にダウングレードします
• communicate_info: 文字列「5244」がエージェントのメッセージに含まれている必要があります

エージェントの最初の操作は、ユーザーが一度も伝えていない予約 ID と、データのどこにも存在しない 1990-01-01 生まれの乗客「John Doe」という、完全に捏造された引数による書き込みです。実際の予約を見つけた後、乗客が二人の予約に対して乗客一人の配列で update_reservation_passengers を送信し、「number of passengers does not match」を受け取ると、同じ呼び出しをさらに四回繰り返し、途中で二人目の乗客として「Sophia Smith, 1992-01-01」を幻覚で生成する場面もあります。ポリシーを一度も参照せず（乗客の削除は禁止されており、正しい操作は客室クラスのダウングレードです）、架空の $200 の返金額を提示し、両方のチェックに失敗します。引数はツールのスキーマが受け入れる整形式の JSON ですが、現実についての内容が間違っているだけであり、小規模モデルがスキーマレベルのツール呼び出し指標では問題なく見えても、このようなタスクで失敗するのはそのためです。

タスク 14 のエージェント： openai/gpt-4o-mini

最も安いビジネスクラスの往復便を再予約し、ギフトカード、証書一枚、クレジットカードに支払いを分けてください。正しい配分では、クレジットカードの支払額は $44 です。

• データベースは正解の状態と一致する必要があります（キャンセルし、支払いの内訳を正確に合わせて再予約します）
• communicate_info: ギフトカードとギフト券の合計額、および最終的なカード請求額

エージェントは、支払い金額の合計が航空券の価格と一致しない予約を作成しました。ツールは毎回同じエラーで拒否し、エージェントは実行が上限の 200 ステップに達するまで、同一の呼び出しを何十回も再試行しました。MAX_STEPS で終了した実行は、データベースを比較する前にスコアが 0 になります。このトランスクリプトは 202 件のメッセージで構成されており、以下の抜粋がそのループです。

タスク 0 のエージェント： openai/gpt-4o-mini

ポリシー違反の失敗例と同じタスクで、ユーザーは EHGLP3 のキャンセルを希望していますが、ポリシーでは認められていません。

• 正解アクションリストが空のため、何も変更されていなければデータベースチェックは成功します
• communicate_info が空のため、communicate チェックは空虚な真として合格します
• 自然言語のアサーション（「エージェントは拒否すべき」）はメタデータにすぎず、機械的に検証されることはありません

この実行は正当に合格を獲得しており、エージェントは予約を確認し、24 時間ルールを引用したうえで拒否しました。しかし、チェッカーが実際に検証したのは、変更されていないデータベースと空の communicate リストです。すべてのリクエストを拒み続けるエージェントや、即座に人間に引き継ぐエージェントでも、同じスコアになります。拒否タスクは「何も壊れなかったか」を測定するため、過度に慎重なモデルのスコアをかさ上げします。