01──找到最佳模型，用证据说话
只需提出需求。您的智能体会将请求交给 Ori Eval，后者会探索您的代码库、对模型运行评估，并返回答案。
02──刚接触评估？我们与您一起确定测试内容
从未编写过评估？Ori Eval 会扫描您的代码库，找出运行模型的每个位置——涉及哪个功能界面、代码在哪里、目前使用什么模型——并确认您想对哪一处进行评估。它会像一位经验丰富的工程师朋友一样引导您。
03──每次运行都能获得一致且可信赖的结果
每次运行都保持测试环境完全相同，可使评估具有可重复性和一致性。这就是 Ori Eval 是智能体的原因：与技能不同，它能够固定模型和推理力度。它已预先调优——我们已经选好了效果最佳的运行框架和模型，因此您无需自行选择。
04──先发现缺陷，再修复它
每个缺陷都会转化为测试：测试现在会失败，在您修复智能体后便会通过，并防止该缺陷再次出现。
05──在发布前阻止回归问题
在 CI 中，有问题的更改会导致构建失败，因此缺陷绝不会影响您的用户。
06──新模型发布时重新运行
您的评估就是代码。新模型发布时手动重新运行评估，或安排每月运行。您可以安心休息，因为您始终拥有最适合所构建应用的模型。
07──确认它做对了
评估会检查三项内容：智能体调用的工具、它避免使用的工具，以及回答的质量，从而让您先于用户发现错误操作。
08──常见问题
越来越多的应用将 AI
模型作为核心功能的一部分，但在选择使用哪个模型时，往往缺乏系统性的方法。并不存在绝对的“最佳模型”，只有最适合您所构建产品的模型。Ori Eval
通过量化证据帮助您找到这个模型。
Ori Eval
适合所有希望凭借量化证据而非猜测，为正在构建的产品选择最佳模型的人。您无需成为评估专家；我们让任何人都能使用它。它会像一位非常聪明的工程同事一样，通过提问引
导您完成整个模型评估流程。
运行模型评估时，较难的事情之一是确保各次运行的测试框架保持一致——您不会希望同一评估多次运行却得到不同的结果。因此，Ori Eval
的智能体框架和模型均已固定，确保每次运行都对相同的配置进行评分。在与您一起收集需求后，Ori Eval 会构建 *.eval.ts 文件，并使用 bun
test 运行它们。
Ori 在运行期间固定运行框架和模型。环境不会改变，因此如果出现差异，那将是由模型造成的。
人们使用的大多数运行框架仅限于使用该公司的 AI 模型。Ori Eval 可以访问 OpenRouter
的所有模型，因此能够灵活选用性价比最高的模型。我们为您处理测试运行框架，让您可以专注于改进项目。
可以。对于交互式智能体使用，请运行 ori login。Ori 会在您的浏览器中打开 OpenRouter 并保存凭据以供后续运行使用，因此您无需创建或粘贴
API 密钥。如果没有可用凭据，Ori 会在模型调用前停止并提示您登录。对于 CI，请改用 OPENROUTER_API_KEY。
对于 CI，请使用仓库机密设置 OPENROUTER_API_KEY。设置此变量后，Ori 无需运行 ori login。
Ori Eval 将获取 OpenRouter 上符合您条件的最新模型列表，并告诉您选择模型的原因。您无需自行获取列表；甚至无需了解任何 AI
模型知识。模型选择过程支持高度自定义——您可以设置价格上限、将当前模型保留在候选范围内，或对每个模型运行相同的评估。
是的，事实上我们强烈建议这样做——您提供的用例相关数据越多，评估运行就越准确。Ori Eval
会询问您是否希望将您的数据纳入评估。评估会遍历每一行，并根据您自己的标准答案对新模型和当前模型进行评分比较。
我们使用 LLM-as-a-judge 对开放式答案进行评分。Ori Eval 帮助建立评分标准和最低分数。
将 ori eval 添加到 GitHub Actions 工作流中。它的退出行为与 bun test
相同，因此评估失败会导致构建失败。将其设为独立的可选作业——评估会调用真实模型并产生费用。
创建 *.eval.ts 文件，从 ori/eval 导入 setupAgent，调用
agent.run(prompt)，并对运行进行断言：run.tool("x").toBeCalled()、run.toComplete()、run.toM
ention("…")。然后运行 ori eval。
您通常不必手动安装：告诉您的编程智能体 run curl -fsSL https://openrouter.ai/skills/spawn-ori-eval
and follow the instructions in its output to get started，技能就会为您安装 Ori
并运行评估。若要手动安装，请运行：curl -fsSL https://openrouter.ai/labs/ori/install.sh | bash
不需要。OpenRouter MCP 提供 spawn-ori-eval 工具。在您的智能体中运行 /spawn-ori-eval
即可开始使用，同一份文档，无需粘贴 URL。
告诉您的智能体❯