Ori Eval: # Finden Sie das beste Modell für Ihr Projekt
01──Finden Sie das beste Modell – mit Nachweisen
Fragen Sie einfach. Ihr Agent übergibt die Anfrage an Ori Eval, das Ihre Codebasis untersucht, Modelle evaluiert und mit einer Antwort zurückkehrt.
02──Neu bei Evaluierungen? Wir ermitteln gemeinsam mit Ihnen, was getestet werden soll
Sie haben noch nie eine Evaluierung geschrieben? Ori Eval durchsucht Ihre Codebasis nach allen Stellen, an denen ein Modell ausgeführt wird – in welchem Bereich, wo sich der Code befindet und welches Modell aktuell verwendet wird – und fragt ab, welche davon Sie evaluieren möchten. Es begleitet Sie wie ein erfahrener Freund aus der Softwareentwicklung.
03──Konsistente Ergebnisse, auf die Sie sich verlassen können, Durchlauf für Durchlauf
Wenn die Testumgebung bei jedem Durchlauf identisch bleibt, werden Evaluationen wiederholbar und konsistent. Deshalb ist Ori Eval ein Agent: Anders als ein Skill kann er Modell und Denkaufwand festlegen. Er ist bereits vorab abgestimmt – wir haben den Harness und das Modell ausgewählt, die am besten funktionieren, damit Sie das nicht tun müssen.
04──Finden Sie einen Fehler, bevor Sie ihn beheben
Jeder Fehler wird zu einem Test: Er schlägt zunächst fehl, besteht, sobald Sie den Agenten korrigiert haben, und verhindert, dass der Fehler erneut auftritt.
05──Stoppen Sie Regressionen vor der Auslieferung
In CI lässt eine fehlerhafte Änderung den Build fehlschlagen, sodass Fehler Ihre Nutzer nie erreichen.
06──Bei Veröffentlichung neuer Modelle erneut ausführen
Ihre Evaluierungen sind einfach Code. Führen Sie sie manuell erneut aus, wenn ein neues Modell erscheint, oder planen Sie eine monatliche Ausführung. Sie können beruhigt schlafen, weil Sie wissen, dass Sie immer das beste Modell für Ihr Projekt haben.
07──Seien Sie sicher, dass es das Richtige getan hat
Eine Evaluierung prüft drei Dinge: die vom Agenten aufgerufenen Tools, die von ihm vermiedenen Tools und die Qualität der Antwort – so erkennen Sie den falschen Schritt, bevor Ihre Nutzer es tun.