τ²-Bench: Companhia aérea

Tarefa 17 agente: openai/gpt-5.1

Para a reserva FQ8APE: adicione 3 malas despachadas, altere o passageiro para Omar Rossi e faça o upgrade da classe econômica básica para a econômica, pagando com um cartão-presente.

• O banco de dados deve corresponder ao estado de referência: update_reservation_flights (upgrade na classe econômica), update_reservation_passengers e update_reservation_baggages com argumentos exatos
• communicate_info está vazio, portanto nenhuma verificação de string se aplica

O agente consultou o usuário, encontrou a reserva correta entre várias, confirmou as alterações e a forma de pagamento e então realizou as três operações de escrita: troca de passageiro, upgrade de cabine e bagagens. Os hashes finais do banco de dados correspondem ao estado de referência e a execução termina com USER_STOP, portanto a recompensa é 1. É isso que a avaliação foi projetada para medir: uso de ferramentas em várias etapas sob restrições de políticas, realizado corretamente.

Tarefa 0 agente: openai/gpt-4o-mini

Cancele a reserva EHGLP3. A reserva foi feita há mais de 24 horas, é da categoria econômica básica e não tem seguro de viagem, portanto a política não permite cancelamento.

• O banco de dados deve permanecer sem alterações ao final (a solução de referência não faz alterações)
• Asserção em linguagem natural (não verificada por máquina): o agente deve recusar o cancelamento

O agente consultou a reserva, viu uma tarifa econômica básica reservada há mais de 24 horas sem seguro e a cancelou mesmo assim. Ele chegou a prometer um reembolso de US$ 208. O verificador compara o banco de dados final com o banco de dados de referência (não modificado), os hashes diferem, a recompensa é 0. O mesmo modelo recusou exatamente esse cancelamento em uma época diferente; a variância da amostragem inverte o resultado.

Tarefa 18 agente: openai/gpt-4o-mini

Altere todas as cinco reservas da classe executiva para a econômica e informe o valor total economizado. O total correto é US$ 23.553.

• O banco de dados deve corresponder ao estado de referência: 5 chamadas de update_reservation_flights com cabine, voos e IDs de pagamento exatos
• communicate_info: a string "23553" deve aparecer em uma mensagem do agente

O agente executou corretamente todos os cinco downgrades, e a verificação do banco de dados passou. Depois, calculou a economia com base em uma lista parcial de tarifas e informou ao usuário US$ 14.965 em vez de US$ 23.553. A verificação communicate busca a string literal "23553" em todas as mensagens do agente, não encontra nada e zera a tarefa inteira. Uma resposta aritmética errada anulou cinco gravações corretas no banco de dados.

Tarefa 11 agente: meta-llama/llama-3.1-8b-instruct

Remova a passageira Sophia da reserva GV1N64. A política proíbe alterar o número de passageiros; a ação correta é rebaixar ambos os passageiros para a classe econômica básica e reembolsar US$ 5.244.

• O banco de dados deve corresponder ao estado de referência: uma chamada update_reservation_flights fazendo downgrade para basic_economy
• communicate_info: a string "5244" deve aparecer em uma mensagem do agente

A primeira ação do agente é uma operação de escrita com argumentos totalmente inventados: um ID de reserva que o usuário nunca forneceu e um passageiro "John Doe" nascido em 1990-01-01 que não existe em nenhum lugar nos dados. Após encontrar a reserva real, ele envia update_reservation_passengers com um array de um passageiro para uma reserva de dois passageiros, recebe "o número de passageiros não corresponde" e repete a chamada idêntica mais quatro vezes, em certo momento alucinando "Sophia Smith, 1992-01-01" como a segunda passageira. Ele nunca consulta a política (remover um passageiro é proibido; a ação correta é um rebaixamento de cabine), informa um reembolso inventado de US$ 200, e ambas as verificações falham. Os argumentos são um JSON bem formado que o esquema da ferramenta aceita; eles apenas estão errados sobre o mundo, e é por isso que modelos pequenos podem parecer bons nas métricas de chamadas de ferramentas no nível do esquema e ainda assim falhar em tarefas como esta.

Tarefa 14 agente: openai/gpt-4o-mini

Refaça a reserva da viagem de ida e volta mais barata em classe executiva e divida o pagamento entre cartões-presente, um certificado e um cartão de crédito. A divisão correta destina US$ 44 ao cartão.

• O banco de dados deve corresponder ao estado de referência (cancelar + refazer a reserva com a divisão exata do pagamento)
• communicate_info: somas de cartões-presente e certificados, e a cobrança final no cartão

O agente criou uma reserva em que os valores dos pagamentos não somavam o preço da passagem. A ferramenta a rejeitou com o mesmo erro todas as vezes, e o agente repetiu a chamada idêntica dezenas de vezes até que a execução atingiu seu limite de 200 etapas. Qualquer execução que termina com MAX_STEPS recebe pontuação 0 antes mesmo de o banco de dados ser comparado. Esta transcrição tem 202 mensagens; o trecho abaixo é o ciclo de repetição.

Tarefa 0 agente: openai/gpt-4o-mini

Mesma tarefa da falha por violação da política: o usuário quer cancelar EHGLP3, e a política não permite.

• A lista de ações de referência está vazia, então a verificação do banco de dados é aprovada desde que nada tenha mudado
• communicate_info está vazio, então a verificação de communicate é satisfeita por vacuidade
• A asserção em linguagem natural ("o agente deve recusar") é apenas um metadado e nunca é verificada automaticamente

Esta execução obteve uma aprovação legítima: o agente verificou a reserva, citou a regra de 24 horas e recusou. Mas veja o que o verificador realmente conferiu: um banco de dados intacto e uma lista communicate vazia. Um agente que se negasse a atender todas as solicitações, ou transferisse imediatamente para um humano, teria a mesma pontuação. Tarefas de recusa medem "nada deu errado", por isso inflam as pontuações de modelos excessivamente cautelosos.