τ²-Bench: Airline

Aufgabe 17 Agent: openai/gpt-5.1

Für die Buchung FQ8APE: Fügen Sie 3 aufgegebene Gepäckstücke hinzu, ändern Sie den Passagier zu Omar Rossi und führen Sie ein Upgrade von Basic Economy auf Economy durch, wobei Sie mit einer Geschenkkarte bezahlen.

• Die Datenbank muss dem Referenzzustand entsprechen: update_reservation_flights (Economy-Upgrade), update_reservation_passengers und update_reservation_baggages mit exakten Argumenten
• communicate_info ist leer, daher ist keine Zeichenfolgenprüfung erforderlich

Der Agent suchte den Nutzer, fand unter mehreren Reservierungen die richtige, bestätigte die Änderungen und die Zahlungsmethode und führte dann alle drei Schreibvorgänge aus: Passagierwechsel, Kabinen-Upgrade und Gepäck. Die abschließenden Datenbank-Hashes stimmen mit dem Referenzzustand überein und der Lauf endet mit USER_STOP, daher beträgt die Belohnung 1. Genau das soll die Evaluation messen: die korrekte mehrstufige Werkzeugnutzung unter Einhaltung von Richtlinien.

Aufgabe 0 Agent: openai/gpt-4o-mini

Stornieren Sie die Reservierung EHGLP3. Die Buchung ist mehr als 24 Stunden alt, Basic Economy, ohne Reiseversicherung, daher ist laut Richtlinie keine Stornierung möglich.

• Die Datenbank muss am Ende unverändert sein (die Referenzlösung nimmt keine Änderungen vor)
• Natürlichsprachliche Zusicherung (nicht maschinell geprüft): Der Agent sollte die Stornierung ablehnen

Der Agent rief die Reservierung ab, sah einen vor mehr als 24 Stunden gebuchten Basic-Economy-Tarif ohne Versicherung und stornierte ihn trotzdem. Er versprach sogar eine Rückerstattung von 208 $. Die Prüfinstanz vergleicht die endgültige Datenbank mit der unveränderten Referenzdatenbank, die Hashes unterscheiden sich, die Belohnung beträgt 0. Dasselbe Modell verweigerte genau diese Stornierung in einer anderen Epoche; die Sampling-Varianz kehrt das Ergebnis um.

Aufgabe 18 Agent: openai/gpt-4o-mini

Stufen Sie alle fünf Reservierungen von der Business Class auf die Economy Class herab und nennen Sie anschließend den insgesamt eingesparten Betrag. Der korrekte Gesamtbetrag beträgt 23.553 US-Dollar.

• Die Datenbank muss dem Referenzzustand entsprechen: 5 update_reservation_flights-Aufrufe mit exakt übereinstimmender Kabinenklasse sowie Flug- und Zahlungs-IDs
• communicate_info: Die Zeichenfolge "23553" muss in einer Agentennachricht vorkommen

Der Agent führte alle fünf Downgrades korrekt aus, und die Datenbankprüfung war erfolgreich. Dann berechnete er die Einsparungen anhand einer unvollständigen Liste von Flugpreisen und nannte dem Nutzer 14.965 $ statt 23.553 $. Die Kommunikationsprüfung durchsucht jede Agentennachricht nach der exakten Zeichenfolge „23553“, findet nichts und bewertet die gesamte Aufgabe mit null. Eine falsche Rechenantwort machte fünf korrekte Datenbankschreibvorgänge zunichte.

Aufgabe 11 Agent: meta-llama/llama-3.1-8b-instruct

Entfernen Sie die Passagierin Sophia aus der Buchung GV1N64. Die Richtlinie verbietet eine Änderung der Passagierzahl; das korrekte Vorgehen besteht darin, beide Passagiere auf Basic Economy herabzustufen und 5.244 $ zu erstatten.

• Die Datenbank muss dem Gold-Zustand entsprechen: ein update_reservation_flights-Aufruf mit Downgrade auf basic_economy
• communicate_info: Die Zeichenfolge „5244“ muss in einer Agentennachricht vorkommen

Die allererste Aktion des Agenten ist ein Schreibzugriff mit vollständig erfundenen Argumenten: eine Reservierungs-ID, die der Benutzer nie angegeben hat, und ein Passagier „John Doe“ mit Geburtsdatum 1990-01-01, der nirgends in den Daten existiert. Nachdem er die tatsächliche Reservierung gefunden hat, sendet er update_reservation_passengers mit einem Array mit einem Passagier für eine Buchung mit zwei Passagieren, erhält „Anzahl der Passagiere stimmt nicht überein“ und wiederholt denselben Aufruf vier weitere Male, wobei er zwischenzeitlich „Sophia Smith, 1992-01-01“ als zweiten Passagier halluziniert. Er zieht die Richtlinie nie heran (das Entfernen eines Passagiers ist verboten; die korrekte Aktion ist ein Downgrade der Kabinenklasse), nennt eine erfundene Rückerstattung von 200 $ und scheitert an beiden Prüfungen. Die Argumente sind wohlgeformtes JSON, das vom Tool-Schema akzeptiert wird; sie stimmen nur nicht mit der Realität überein, weshalb kleine Modelle bei Metriken für Tool-Aufrufe auf Schemaebene gut abschneiden und dennoch an solchen Aufgaben scheitern können.

Aufgabe 14 Agent: openai/gpt-4o-mini

Buchen Sie auf den günstigsten Hin- und Rückflug in der Business Class um und teilen Sie die Zahlung auf Geschenkkarten, einen Gutschein und eine Kreditkarte auf. Bei der korrekten Aufteilung werden der Kreditkarte 44 $ belastet.

• Datenbank muss dem Referenzzustand entsprechen (stornieren + mit der exakten Zahlungsaufteilung neu buchen)
• communicate_info: Summen der Geschenkkarten und Gutscheine sowie die endgültige Kartenbelastung

Der Agent erstellte eine Buchung, bei der die Summe der Zahlungsbeträge nicht dem Ticketpreis entsprach. Das Tool lehnte sie jedes Mal mit demselben Fehler ab, und der Agent wiederholte den identischen Aufruf Dutzende Male, bis der Durchlauf seine Obergrenze von 200 Schritten erreichte. Jeder Durchlauf, der mit MAX_STEPS endet, erhält 0 Punkte, noch bevor die Datenbank verglichen wird. Dieses Transkript umfasst 202 Nachrichten; der folgende Auszug zeigt die Schleife.

Aufgabe 0 Agent: openai/gpt-4o-mini

Dieselbe Aufgabe wie beim Fehler durch Richtlinienverstoß: Der Nutzer möchte EHGLP3 stornieren, und die Richtlinie erlaubt dies nicht.

• Die Gold-Aktionsliste ist leer, daher ist die Datenbankprüfung erfolgreich, solange sich nichts geändert hat
• communicate_info ist leer, daher gilt die communicate-Prüfung als trivial erfüllt
• Die natürlichsprachliche Assertion („Der Agent sollte ablehnen“) dient nur als Metadatum und wird niemals maschinell geprüft

Dieser Durchlauf wurde zu Recht als bestanden gewertet: Der Agent prüfte die Reservierung, verwies auf die 24-Stunden-Regel und lehnte ab. Doch sehen Sie sich an, was die Prüfinstanz tatsächlich überprüfte: eine unveränderte Datenbank und eine leere communicate-Liste. Ein Agent, der jede Anfrage abblockte oder sofort an einen Menschen weiterleitete, würde identisch abschneiden. Ablehnungsaufgaben messen, ob „nichts kaputtgegangen ist“, und treiben dadurch die Bewertungen übervorsichtiger Modelle in die Höhe.