ori

Ori Eval: # Encontre o melhor modelo para o que você está criando

diga ao seu agente
❯
# Usando o MCP do OpenRouter? Execute /spawn-ori-eval no seu agente para começar
ler a documentação →

01──Encontre o melhor modelo, com comprovação

Basta pedir. Seu agente encaminhará a solicitação ao Ori Eval, que explora sua base de código, executa avaliações de modelos e retorna com uma resposta.

02──Ainda não conhece as avaliações? Descobrimos com você o que testar

Nunca escreveu uma avaliação? O Ori Eval examina sua base de código em busca de cada lugar onde um modelo é executado — em qual interface, onde está o código, qual modelo ele usa hoje — e confirma em qual deles você quer realizar avaliações. Ele orienta você como um amigo com experiência em engenharia.

03──Resultados consistentes em que você pode confiar, execução após execução

Manter a bancada de testes idêntica, execução após execução, torna as avaliações reproduzíveis e consistentes. É por isso que o Ori Eval é um agente: ao contrário de uma Skill, ele consegue fixar o modelo e o esforço. Ele vem pré-ajustado — já escolhemos o harness e o modelo que funcionam melhor, para que você não precise fazer isso.

04──Detecte um bug antes de corrigi-lo

Cada bug se torna um teste: ele falha agora, passa quando você corrige o agente e impede que o bug volte.

05──Impeça regressões antes de chegarem à produção

Na CI, uma alteração problemática faz a compilação falhar, de modo que os bugs nunca chegam aos seus usuários.

06──Executar novamente à medida que novos modelos forem lançados

Suas avaliações são apenas código. Execute-as novamente de forma manual quando um novo modelo for lançado ou agende-as mensalmente. Você pode dormir tranquilo sabendo que sempre tem o melhor modelo para o que está criando.

07──Saiba que ele fez a coisa certa

Uma avaliação verifica três coisas: as ferramentas que o agente chamou, as ferramentas que evitou e a qualidade da resposta — para que você detecte a ação errada antes dos seus usuários.

08──perguntas frequentes

Cada vez mais aplicativos usam modelos de IA como parte de sua funcionalidade
principal, mas a escolha de qual modelo usar costuma ser feita sem um método
sistemático. Não existe um “melhor modelo” definitivo, apenas o melhor modelo
para o que você está criando. O Ori Eval ajuda você a encontrar esse modelo,
com comprovação quantitativa.

O Ori Eval é para quem quer escolher o melhor modelo para o que está
construindo com base em evidências quantitativas, em vez de suposições. Você
não precisa ser especialista em avaliação; nós o criamos para que qualquer
pessoa possa usá-lo. Ele entrevista você e orienta todo o processo de
avaliação de modelos, como um colega de engenharia muito inteligente.

Uma das maiores dificuldades ao executar avaliações de modelos é manter o
harness de teste consistente entre execuções — você não quer que várias
execuções da mesma avaliação produzam resultados diferentes. Por isso, o
harness de agente e o modelo do Ori Eval são fixos, para que cada execução
avalie a mesma configuração. Após levantar os requisitos com você, o Ori Eval
cria arquivos *.eval.ts e os executa com bun test.

Ori mantém o harness e o modelo fixos durante uma execução. O ambiente não
muda, então, se houver diferenças, elas seriam causadas pelo modelo.

A maioria dos harnesses que as pessoas usam se limita aos modelos de IA da
própria empresa. O Ori Eval tem acesso a todos os modelos do OpenRouter, o que
dá ao Ori Eval a flexibilidade de usar modelos com a melhor relação
custo-desempenho. Nós cuidamos do harness de teste para você, para que você
possa se concentrar em melhorar seu projeto.

Sim. Para uso interativo do agente, execute ori login. O Ori abre o OpenRouter
no seu navegador e salva a credencial para execuções futuras, para que você
não precise criar nem colar uma chave de API. Se nenhuma credencial estiver
disponível, o Ori para antes da chamada ao modelo e orienta você a entrar.
Para CI, use OPENROUTER_API_KEY em vez disso.

Para CI, defina OPENROUTER_API_KEY a partir de um segredo do repositório. O
Ori não precisa de ori login quando essa variável está definida.

O Ori Eval obterá uma lista dos modelos mais recentes no OpenRouter que
atendem aos seus critérios e dirá por que o modelo foi escolhido. Você não
precisa obter a lista por conta própria; nem precisa saber nada sobre modelos
de IA. O processo de seleção de modelos é altamente personalizável — você pode
definir um teto de preço, manter seu modelo atual entre as opções ou executar
a mesma avaliação em cada um.

Sim, isso é altamente recomendado, na verdade — quanto mais dados você
fornecer sobre seu caso de uso, mais precisa será a execução da avaliação. O
Ori Eval perguntará se você deseja incluir seus dados nas avaliações. A
avaliação executa cada linha e compara um novo modelo com o atual usando suas
próprias respostas de referência.

Usamos LLM como avaliador para atribuir notas a respostas abertas. O Ori Eval
ajuda a estabelecer critérios de avaliação e uma pontuação mínima.

Adicione ori eval a um fluxo de trabalho do GitHub Actions. Ele encerra a
execução como bun test, portanto, uma avaliação com falha faz o build falhar.
Configure-o como um job separado de adesão opcional — as avaliações chamam
modelos reais e custam dinheiro.

Crie um arquivo *.eval.ts, importe setupAgent de ori/eval, chame
agent.run(prompt) e faça asserções sobre a execução:
run.tool("x").toBeCalled(), run.toComplete(), run.toMention("…"). Em seguida,
execute ori eval.

Geralmente você não precisa fazer isso: diga ao seu agente de programação para
run curl -fsSL https://openrouter.ai/skills/spawn-ori-eval and follow the
instructions in its output to get started, e a Skill instala o Ori e executa a
avaliação para você. Para instalar manualmente, execute: curl -fsSL
https://openrouter.ai/labs/ori/install.sh | bash

Não. O MCP do OpenRouter tem uma ferramenta spawn-ori-eval. Execute
/spawn-ori-eval no seu agente para começar — o mesmo documento, sem URL para
colar.
diga ao seu agente❯
❯entrar na lista de espera de ori→