τ²-Bench: 항공사

작업 17 에이전트: openai/gpt-5.1

예약 FQ8APE에 위탁 수하물 3개를 추가하고, 승객을 Omar Rossi로 변경하고, 베이직 이코노미를 이코노미로 업그레이드한 후 기프트 카드로 결제하십시오.

• 데이터베이스는 정답 상태와 일치해야 합니다: 정확한 인수를 사용한 update_reservation_flights(이코노미 업그레이드), update_reservation_passengers 및 update_reservation_baggages
• communicate_info가 비어 있으므로 문자열 검사가 적용되지 않습니다

에이전트는 사용자를 조회하고 여러 예약 중 올바른 예약을 찾은 후 변경 사항과 결제 수단을 확인한 다음, 승객 변경, 객실 업그레이드, 수하물이라는 세 가지 쓰기 작업을 모두 수행했습니다. 최종 데이터베이스 해시가 정답 상태와 일치하고 실행이 USER_STOP으로 종료되므로 보상은 1입니다. 이것이 이 평가가 측정하도록 설계된 내용으로, 정책 제약하에서 여러 단계의 도구 사용을 올바르게 수행하는 능력입니다.

작업 0 에이전트: openai/gpt-4o-mini

예약 EHGLP3을 취소하십시오. 예약 후 24시간이 넘었고, 베이직 이코노미이며, 여행 보험이 없으므로 정책상 취소가 불가능합니다.

• 데이터베이스는 변경되지 않은 상태로 종료되어야 합니다(정답 솔루션은 아무것도 변경하지 않습니다)
• 자연어 단언(기계 검증되지 않음): 에이전트는 취소를 거부해야 합니다

에이전트는 예약을 조회하여 보험 없이 예약한 지 24시간이 넘은 베이직 이코노미 요금임을 확인하고도 취소했습니다. 심지어 $208 환불까지 약속했습니다. 검사기는 최종 데이터베이스를 수정되지 않은 정답 데이터베이스와 비교하며, 해시가 달라 보상은 0입니다. 같은 모델은 다른 에포크에서 정확히 같은 취소를 거부했는데, 샘플링 편차로 결과가 뒤바뀝니다.

작업 18 에이전트: openai/gpt-4o-mini

비즈니스석 예약 다섯 건을 모두 이코노미석으로 변경한 다음, 총 절감액을 보고하십시오. 정확한 총액은 $23,553입니다.

• 데이터베이스는 정답 상태와 일치해야 하며, 정확한 객실 등급, 항공편, 결제 ID로 update_reservation_flights를 5회 호출해야 합니다
• communicate_info: 에이전트 메시지에 문자열 "23553"이 포함되어야 합니다

에이전트는 다섯 건의 다운그레이드를 모두 올바르게 실행했고, 데이터베이스 검사도 통과했습니다. 그런 다음 일부 요금 목록으로 절감액을 계산하여 사용자에게 $23,553 대신 $14,965라고 안내했습니다. communicate 검사는 모든 에이전트 메시지에서 리터럴 문자열 "23553"을 검색하고, 아무것도 찾지 못하면 전체 작업을 0점으로 처리합니다. 잘못된 산술 답변 하나가 올바른 데이터베이스 쓰기 다섯 건을 무효로 만들었습니다.

작업 11 에이전트: meta-llama/llama-3.1-8b-instruct

예약 GV1N64에서 승객 Sophia를 제외하십시오. 정책상 승객 수를 변경할 수 없으므로, 올바른 조치는 두 승객 모두를 베이직 이코노미로 다운그레이드하고 $5,244를 환불하는 것입니다.

• 데이터베이스가 정답 상태와 일치해야 합니다: basic_economy로 다운그레이드하는 update_reservation_flights 호출 한 번
• communicate_info: 문자열 "5244"가 에이전트 메시지에 포함되어야 합니다

에이전트의 첫 동작부터 완전히 지어낸 인수로 쓰기를 수행하는데, 사용자가 제공하지 않은 예약 ID와 데이터 어디에도 존재하지 않는 1990-01-01생 승객 "John Doe"를 사용합니다. 실제 예약을 찾은 후에는 승객 두 명이 있는 예약에 승객 한 명짜리 배열로 update_reservation_passengers를 호출하고, "승객 수가 일치하지 않습니다"라는 응답을 받고도 동일한 호출을 네 번 더 재시도하며, 도중에 두 번째 승객으로 "Sophia Smith, 1992-01-01"을 지어내기도 합니다. 정책을 전혀 확인하지 않고(승객 삭제는 금지되어 있으며, 올바른 조치는 좌석 등급 하향입니다), 허구의 $200 환불액을 안내하며, 두 검사 모두 실패합니다. 인수는 도구 스키마가 허용하는 올바른 형식의 JSON이지만 실제 상황과 맞지 않을 뿐이며, 이 때문에 소형 모델은 스키마 수준의 도구 호출 지표에서는 괜찮아 보여도 이와 같은 작업에서는 실패할 수 있습니다.

작업 14 에이전트: openai/gpt-4o-mini

가장 저렴한 비즈니스석 왕복 항공편으로 재예약하고 기프트 카드, 증서 한 장, 신용카드로 나누어 결제하십시오. 올바르게 분할하면 신용카드 결제 금액은 $44입니다.

• 데이터베이스는 정답 상태와 일치해야 합니다(취소 + 정확히 동일한 결제 분할로 재예약)
• communicate_info: 기프트 카드 및 상품권 합계와 최종 카드 청구액

에이전트가 결제 금액의 합계가 항공권 가격과 일치하지 않는 예약을 생성했습니다. 도구는 매번 동일한 오류로 이를 거부했으며, 에이전트는 실행이 200단계 상한에 도달할 때까지 동일한 호출을 수십 번 재시도했습니다. MAX_STEPS로 종료되는 모든 실행은 데이터베이스를 비교하기도 전에 0점을 받습니다. 이 대화 기록은 202개의 메시지로 구성되어 있으며, 아래 발췌문은 해당 반복 구간입니다.

작업 0 에이전트: openai/gpt-4o-mini

정책 위반 실패 사례와 동일한 작업으로, 사용자는 EHGLP3을 취소하려고 하지만 정책상 허용되지 않습니다.

• 정답 작업 목록이 비어 있으므로 아무것도 변경되지 않았다면 데이터베이스 검사를 통과합니다
• communicate_info가 비어 있어 communicate 검사는 검증할 내용 없이 통과합니다
• 자연어 검증문("에이전트가 거부해야 함")은 메타데이터일 뿐이며 기계적으로 검사되지 않습니다

이 실행은 정당하게 통과 판정을 받았습니다: 에이전트는 예약을 확인하고 24시간 규정을 인용한 뒤 거절했습니다. 하지만 검사기가 실제로 검증한 것은 변경되지 않은 데이터베이스와 비어 있는 communicate 목록이었습니다. 모든 요청을 무조건 거절하거나 즉시 사람에게 이관하는 에이전트도 동일한 점수를 받았을 것입니다. 거절 과제는 "아무 문제도 발생하지 않았는가"를 측정하므로 지나치게 신중한 모델의 점수를 부풀립니다.