Ori Eval: # 빌드 중인 작업에 가장 적합한 모델 찾기
에이전트에게 알리기
❯
# OpenRouter MCP를 사용하십니까? 시작하려면 에이전트에서 /spawn-ori-eval을 실행하십시오
01──근거와 함께 최적의 모델 찾기
그냥 요청하십시오. 에이전트가 요청을 Ori Eval에 전달하면, Ori Eval이 코드베이스를 살펴보고 여러 모델에서 평가를 실행한 뒤 답을 알려줍니다.
02──평가가 처음이십니까? 무엇을 테스트할지 함께 찾아 드립니다
평가를 작성해 본 적이 없나요? Ori Eval은 코드베이스를 스캔해 모델이 실행되는 모든 위치(어떤 화면인지, 코드가 어디에 있는지, 현재 어떤 모델을 사용하는지)를 찾고 어떤 항목을 평가할지 확인합니다. 숙련된 엔지니어 친구처럼 안내해 드립니다.
03──실행할 때마다 신뢰할 수 있는 일관된 결과
테스트 벤치를 매 실행마다 동일하게 유지하면 평가를 반복 가능하고 일관되게 수행할 수 있습니다. 그래서 Ori Eval은 에이전트이며, 스킬과 달리 모델과 추론 수준을 고정할 수 있습니다. 사전 조정된 상태로 제공되며, 가장 잘 작동하는 하네스와 모델을 이미 선택해 두었으므로 사용자가 직접 선택할 필요가 없습니다.
04──수정하기 전에 버그를 발견하세요
모든 버그는 테스트가 됩니다. 지금은 실패하고, 에이전트를 수정하면 통과하며, 같은 버그가 다시 발생하지 않도록 막아 줍니다.
05──배포 전에 회귀를 막으세요
CI에서 잘못된 변경 사항이 빌드를 실패시키므로 버그가 사용자에게 도달하지 않습니다.
06──새 모델이 출시되면 다시 실행하십시오
평가는 그저 코드일 뿐입니다. 새 모델이 출시되면 수동으로 다시 실행하거나 매월 예약할 수 있습니다. 무엇을 만들든 항상 최적의 모델을 사용하고 있다는 확신을 갖고 안심할 수 있습니다.
07──제대로 처리했는지 확인하십시오
평가는 세 가지를 확인합니다. 에이전트가 호출한 도구, 호출하지 않은 도구, 그리고 답변의 품질입니다. 따라서 사용자가 잘못된 동작을 겪기 전에 이를 발견할 수 있습니다.
08──자주 묻는 질문
점점 더 많은 앱이 핵심 기능의 일부로 AI 모델을 사용하지만, 어떤 모델을 사용할지는 체계적인 방법 없이 결정되는 경우가 많습니다. 확실한
“최고의 모델”은 없으며, 여러분이 빌드하는 작업에 가장 적합한 모델만 있습니다. Ori Eval은 정량적 근거를 바탕으로 그러한 모델을
찾도록 도와줍니다.
Ori Eval은 추측이 아니라 정량적 근거를 바탕으로 자신이 빌드하는 작업에 가장 적합한 모델을 선택하려는 모든 사용자를 위한 도구입니다.
평가 전문가일 필요는 없습니다. 누구나 사용할 수 있도록 만들었기 때문입니다. Ori Eval은 정말 똑똑한 엔지니어링 동료처럼 전체 모델
평가 과정을 함께 진행하며 안내합니다.
모델 평가를 실행할 때 어려운 점 중 하나는 실행마다 테스트 하네스를 일관되게 유지하는 것입니다. 동일한 평가를 여러 번 실행했는데 서로
다른 결과가 나오면 안 됩니다. 따라서 Ori Eval의 에이전트 하네스와 모델은 고정되어 모든 실행에서 동일한 구성을 평가합니다. Ori
Eval은 요구 사항을 함께 수집한 후 *.eval.ts 파일을 만들고 bun test로 실행합니다.
Ori는 실행 중에 하네스와 모델을 고정합니다. 환경이 변경되지 않으므로 차이가 있다면 모델로 인해 발생한 것입니다.
사람들이 사용하는 하네스의 대부분은 해당 회사의 AI 모델로 제한됩니다. Ori Eval은 OpenRouter의 모든 모델에 액세스할 수
있으므로, 가격 대비 성능이 가장 뛰어난 모델을 유연하게 사용할 수 있습니다. 테스트 하네스는 저희가 대신 관리하므로 프로젝트 개선에 집중할
수 있습니다.
예. 대화형 에이전트를 사용하려면 ori login을 실행하세요. Ori가 브라우저에서 OpenRouter를 열고 나중에 실행할 수 있도록
자격 증명을 저장하므로 API 키를 생성하거나 붙여넣을 필요가 없습니다. 사용할 수 있는 자격 증명이 없으면 Ori는 모델 호출 전에
중단하고 로그인하라는 안내를 표시합니다. CI에서는 대신 OPENROUTER_API_KEY를 사용하세요.
CI에서는 저장소 시크릿을 사용해 OPENROUTER_API_KEY를 설정하세요. 이 변수가 설정되어 있으면 Ori는 ori login을
사용할 필요가 없습니다.
Ori Eval은 기준에 맞는 최신 OpenRouter 모델 목록을 가져와 선택한 이유를 알려줍니다. 직접 목록을 가져올 필요가 없으며,
AI 모델에 대해 아무것도 알 필요조차 없습니다. 모델 선택 프로세스는 세부적으로 맞춤 설정할 수 있어, 가격 상한을 설정하거나, 현재
모델을 후보에 포함하거나, 각 후보에 동일한 평가를 실행할 수 있습니다.
네, 사실 적극 권장합니다. 사용 사례에 관한 데이터를 더 많이 제공할수록 평가 실행 결과가 더 정확해집니다. Ori Eval에서 데이터를
평가에 포함할지 묻습니다. 평가는 모든 행을 실행하고, 자체 정답을 기준으로 새 모델을 현재 모델과 비교해 점수를 매깁니다.
개방형 답변을 평가할 때는 LLM-as-a-judge 방식을 사용합니다. Ori Eval은 평가 기준과 최소 점수를 설정하는 데 도움을
줍니다.
GitHub Actions 워크플로에 ori eval을 추가하세요. bun test처럼 종료되므로 평가가 실패하면 빌드도 실패합니다. 평가는
실제 모델을 호출하고 비용이 발생하므로 별도의 옵트인 작업으로 설정하세요.
*.eval.ts 파일을 만들고 ori/eval에서 setupAgent를 가져온 다음 agent.run(prompt)를 호출하고 실행 결과를
검증하십시오. 예: run.tool("x").toBeCalled(), run.toComplete(), run.toMention("…").
그런 다음 ori eval을 실행하십시오.
대부분의 경우 직접 설치할 필요가 없습니다. 코딩 에이전트에게 run curl -fsSL
https://openrouter.ai/skills/spawn-ori-eval and follow the instructions in its
output to get started라고 말하면 스킬이 Ori를 설치하고 평가를 대신 실행합니다. 직접 설치하려면 다음을 실행하세요:
curl -fsSL https://openrouter.ai/labs/ori/install.sh | bash
아니요. OpenRouter MCP에는 spawn-ori-eval 도구가 있습니다. 에이전트에서 /spawn-ori-eval을 실행해
시작하세요. 동일한 문서를 사용하므로 붙여넣을 URL이 필요하지 않습니다.
에이전트에게 알리기❯