Ori Eval： # 開発するものに最適なモデルを見つけましょう
エージェントに伝える
❯
# OpenRouter MCP をお使いですか？エージェントで /spawn-ori-eval を実行して開始してください
01──根拠に基づく最適なモデル選び
依頼するだけです。エージェントがリクエストを Ori Eval に引き継ぎ、Ori Eval がコードベースを探索してモデルの評価を実行し、回答を返します。
02──評価は初めてですか？何をテストするか一緒に検討します
評価を作成したことがありませんか？Ori Eval はコードベースをスキャンして、モデルが実行されるすべての箇所について、どの機能か、コードがどこにあるか、現在どのモデルを使用しているかを調べ、どの箇所で評価を行いたいかを確認します。経験豊富なエンジニアの友人のように案内します。
03──実行のたびに信頼できる一貫した結果
実行のたびにテスト環境を同一に保つことで、評価の再現性と一貫性を確保できます。そのため Ori Eval はエージェントであり、スキルとは異なり、モデルと思考量を固定できます。あらかじめ調整済みで、最適なハーネスとモデルをすでに選定しているため、自分で選ぶ必要はありません。
04──修正する前にバグを発見
すべてのバグがテストになり、現時点では失敗し、エージェントを修正すると合格し、バグの再発を防ぎます。
05──リリース前にリグレッションを防止
CI では、不適切な変更があるとビルドが失敗するため、バグがユーザーに届くことはありません。
06──新しいモデルのリリース時に再実行
評価は単なるコードです。新しいモデルが登場したときに手動で再実行することも、毎月実行するようにスケジュールすることもできます。開発中のものに常に最適なモデルを使えているとわかるので、安心して眠れます。
07──正しく動作したことを確認できます
評価では、エージェントが呼び出したツール、使用を避けたツール、回答の品質という三つの点を確認し、ユーザーが気づく前に誤った動作を検出できます。
08──よくある質問
中核機能の一部として AI
モデルを使用するアプリが増えていますが、使用するモデルの選択は体系的な方法なしで行われることが少なくありません。絶対的な「最良のモデル」は存在せず、構築する
ものに最適なモデルがあるだけです。Ori Eval は、定量的な根拠に基づいてそのモデルを見つけるお手伝いをします。
Ori Eval
は、推測ではなく定量的な根拠に基づいて、開発中のものに最適なモデルを選びたいすべての方のための製品です。評価の専門家である必要はなく、誰でも使えるように開発
しました。非常に優秀なエンジニアの同僚のように、質問をしながらモデル評価のプロセス全体をガイドします。
モデル評価の実行で難しいことの一つは、実行間でテストハーネスの一貫性を保つことで、同じ評価を複数回実行して異なる結果が出ることは避けたいものです。そのため、
Ori Eval のエージェントハーネスとモデルは固定されており、毎回同じ構成を採点します。要件を確認した後、Ori Eval は *.eval.ts
ファイルを作成し、bun test で実行します。
Ori は実行中、ハーネスとモデルを固定します。環境は変わらないため、差異がある場合はモデルに起因すると考えられます。
一般に利用されているハーネスの大半は、その企業の AI モデルに限定されています。Ori Eval は OpenRouter
のすべてのモデルにアクセスできるため、価格性能比が最も優れたモデルを柔軟に使用できます。テストハーネスはこちらで管理するため、プロジェクトの改善に集中できま
す。
はい。対話型のエージェント利用では、ori login を実行してください。Ori はブラウザーで OpenRouter
を開き、以降の実行用に認証情報を保存するため、APIキーを作成したり貼り付けたりする必要はありません。利用可能な認証情報がない場合、Ori
はモデル呼び出しの前に停止し、サインインを求めます。CI では、代わりに OPENROUTER_API_KEY を使用してください。
CI では、リポジトリのシークレットから OPENROUTER_API_KEY を設定してください。この変数が設定されている場合、Ori では ori
login は不要です。
Ori Eval は条件に合う OpenRouter 上の最新モデルのリストを取得し、選定理由を説明します。自分でリストを取得する必要はなく、AI
モデルについて何も知らなくても問題ありません。モデルの選定プロセスは高度にカスタマイズでき、価格の上限を設定したり、現在のモデルを候補に残したり、各モデルに
同じ評価を実行したりできます。
はい、むしろ強く推奨しており、ユースケースに関するデータを多く提供するほど、評価実行の精度が高まります。Ori Eval
から、評価にデータを含めるかどうかを確認されます。評価ではすべての行を実行し、独自の正解回答を基準に、新しいモデルを現在のモデルと比較して採点します。
LLM-as-a-judge を使用して自由回答を採点します。Ori Eval は採点基準と最低スコアの設定を支援します。
GitHub Actions ワークフローに ori eval を追加してください。bun test
と同様に終了するため、評価に失敗するとビルドも失敗します。評価は実際のモデルを呼び出して費用が発生するため、別のオプトインジョブにしてください。
*.eval.ts ファイルを作成し、ori/eval から setupAgent をインポートし、agent.run(prompt)
を呼び出して、実行に対して run.tool("x").toBeCalled()、run.toComplete()、run.toMention("…")
でアサーションを行います。その後、ori eval を実行します。
通常、手動で行う必要はなく、コーディングエージェントに run curl -fsSL
https://openrouter.ai/skills/spawn-ori-eval and follow the instructions in its
output to get started と指示すると、スキルが Ori
をインストールして評価を実行します。手動でインストールするには、次を実行してください：curl -fsSL
https://openrouter.ai/labs/ori/install.sh | bash
いいえ。OpenRouter MCP には spawn-ori-eval ツールがあります。エージェントで /spawn-ori-eval
を実行すると開始でき、同じドキュメントを使用し、URL を貼り付ける必要はありません。
エージェントに伝える❯