ori

Ori Eval: # Encuentre el mejor modelo para lo que está creando

Dígale a su agente
❯
# ¿Usa OpenRouter MCP? Ejecute /spawn-ori-eval en su agente para empezar
Lea la documentación →

01──Encuentre el mejor modelo, con pruebas

Solo tiene que pedirlo. Su agente pasará la solicitud a Ori Eval, que explorará su base de código, ejecutará evaluaciones de modelos y volverá con una respuesta.

02──¿Está empezando con las evaluaciones? Determinamos con usted qué probar

¿Nunca ha escrito una evaluación? Ori Eval analiza su base de código para identificar cada lugar donde se ejecuta un modelo —en qué interfaz, dónde está el código, qué modelo utiliza actualmente— y comprueba en cuál quiere realizar evaluaciones. Le guía como lo haría un amigo con experiencia en ingeniería.

03──Resultados consistentes en los que puede confiar, ejecución tras ejecución

Mantener idéntico el banco de pruebas, ejecución tras ejecución, permite que las evaluaciones sean repetibles y consistentes. Por eso Ori Eval es un agente: a diferencia de una Skill, puede fijar el modelo y el esfuerzo. Viene preajustado: ya hemos elegido el harness y el modelo que mejor funcionan, para que usted no tenga que hacerlo.

04──Detecte un error antes de corregirlo

Cada error se convierte en una prueba: falla ahora, pasa cuando corrige el agente y evita que el error vuelva a aparecer.

05──Detenga las regresiones antes de que lleguen a producción

En CI, un cambio defectuoso hace fallar la compilación, por lo que los errores nunca llegan a sus usuarios.

06──Volver a ejecutar a medida que se publiquen nuevos modelos

Sus evaluaciones son solo código. Vuelva a ejecutarlas manualmente cuando se publique un nuevo modelo o prográmelas mensualmente. Puede dormir tranquilo sabiendo que siempre cuenta con el mejor modelo para lo que está creando.

07──Sepa que hizo lo correcto

Una evaluación comprueba tres cosas: las herramientas que el agente invocó, las herramientas que evitó y la calidad de la respuesta, para que usted detecte la acción incorrecta antes que sus usuarios.

08──preguntas frecuentes

Cada vez más aplicaciones utilizan modelos de IA como parte de su
funcionalidad principal, pero la elección del modelo suele hacerse sin un
método sistemático. No existe un «mejor modelo» definitivo, solo el mejor
modelo para lo que está creando. Ori Eval le ayuda a encontrar ese modelo, con
pruebas cuantitativas.

Ori Eval es para cualquiera que quiera elegir el mejor modelo para lo que está
desarrollando mediante pruebas cuantitativas en lugar de conjeturas. No
necesita ser experto en evaluaciones; lo creamos para que cualquiera pueda
usarlo. Le hace preguntas y le guía durante todo el proceso de evaluación de
modelos, como un colega de ingeniería muy inteligente.

Una de las mayores dificultades al ejecutar evaluaciones de modelos es
mantener el harness de pruebas constante entre ejecuciones: no conviene que
varias ejecuciones de la misma evaluación den resultados diferentes. Por ello,
el harness de agentes y el modelo de Ori Eval se mantienen fijos, de modo que
cada ejecución evalúa la misma configuración. Tras recopilar los requisitos
con usted, Ori Eval crea archivos *.eval.ts y los ejecuta con bun test.

Ori mantiene fijos el harness y el modelo durante una ejecución. El entorno no
cambia, por lo que, si hay diferencias, se deberían al modelo.

La mayoría de los harnesses que se utilizan están limitados a los modelos de
IA de la empresa. Ori Eval tiene acceso a todos los modelos de OpenRouter, lo
que le da a Ori Eval la flexibilidad de utilizar los modelos con la mejor
relación precio-rendimiento. Nos encargamos del harness de pruebas por usted,
para que pueda centrarse en mejorar su proyecto.

Sí. Para el uso interactivo del agente, ejecute ori login. Ori abre OpenRouter
en su navegador y guarda la credencial para futuras ejecuciones, por lo que no
necesita crear ni pegar una clave de API. Si no hay ninguna credencial
disponible, Ori se detiene antes de la llamada al modelo y le indica que
inicie sesión. Para CI, utilice OPENROUTER_API_KEY en su lugar.

Para CI, configure OPENROUTER_API_KEY a partir de un secreto del repositorio.
Ori no necesita ori login cuando esta variable está definida.

Ori Eval obtendrá una lista de los modelos más recientes de OpenRouter que se
ajusten a sus criterios y le explicará por qué se eligió el modelo. No
necesita obtener la lista por su cuenta; ni siquiera necesita saber nada sobre
modelos de IA. El proceso de selección de modelos es muy personalizable: puede
establecer un precio máximo, mantener su modelo actual entre los candidatos o
ejecutar la misma evaluación con cada uno.

Sí, de hecho, se recomienda encarecidamente: cuantos más datos le proporcione
sobre su caso de uso, más precisa será la ejecución de la evaluación. Ori Eval
le preguntará si desea incluir sus datos en las evaluaciones. La evaluación
procesa cada fila y puntúa un modelo nuevo frente al actual usando sus propias
respuestas de referencia.

Utilizamos LLM-as-a-judge para evaluar respuestas abiertas. Ori Eval ayuda a
establecer criterios de evaluación y una puntuación mínima.

Añada ori eval a un flujo de trabajo de GitHub Actions. Finaliza como bun
test, por lo que una evaluación fallida hace fallar la compilación.
Configúrelo como una tarea independiente de ejecución opcional: las
evaluaciones llaman a modelos reales y cuestan dinero.

Cree un archivo *.eval.ts, importe setupAgent desde ori/eval, llame a
agent.run(prompt) y añada aserciones sobre la ejecución:
run.tool("x").toBeCalled(), run.toComplete(), run.toMention("…"). Luego
ejecute ori eval.

Normalmente no hace falta: indíquele a su agente de programación que run curl
-fsSL https://openrouter.ai/skills/spawn-ori-eval and follow the instructions
in its output to get started, y la Skill instalará Ori y ejecutará la
evaluación por usted. Para instalarlo manualmente, ejecute: curl -fsSL
https://openrouter.ai/labs/ori/install.sh | bash

No. El MCP de OpenRouter tiene una herramienta spawn-ori-eval. Ejecute
/spawn-ori-eval en su agente para empezar: el mismo documento, sin una URL que
pegar.
dígale a su agente❯
❯Unirse a la lista de espera de ori→