Anwendungsfall für Codex
Evals zu deiner KI-Anwendung hinzufügen
Erstelle mit Codex eine Eval-Suite für Promptfoo, die das erwartete Verhalten deiner Anwendung prüft.
Lass Codex deine KI-Anwendung untersuchen, das zu prüfende Verhalten bestimmen und eine ausführbare Eval-Suite für Promptfoo hinzufügen.
Besonders geeignet für
- KI-Anwendungen, für die es bereits Prompts, Modellaufrufe, Tools, Datenabruf, Agenten oder Produktanforderungen gibt, denen aber noch eine Eval-Suite für wiederholbare Tests fehlt.
- Teams, die Änderungen an einem Modell, einem Prompt, dem Datenabruf oder einem Agenten vorbereiten und Regressionstests durchführen möchten, bevor der pull request zusammengeführt wird.
- Qualitätsprüfungen, bei denen du wiederkehrende manuelle Tests als Eval-Fälle im Repository versionieren möchtest.
Inhalt
Evals zu deiner KI-Anwendung hinzufügen
Erstelle mit Codex eine Eval-Suite für Promptfoo, die das erwartete Verhalten deiner Anwendung prüft.
Lass Codex deine KI-Anwendung untersuchen, das zu prüfende Verhalten bestimmen und eine ausführbare Eval-Suite für Promptfoo hinzufügen.
Lass Codex deine KI-Anwendung untersuchen, das zu prüfende Verhalten bestimmen und eine ausführbare Eval-Suite für Promptfoo hinzufügen.
Weiterführende Links
Besonders geeignet für
- KI-Anwendungen, für die es bereits Prompts, Modellaufrufe, Tools, Datenabruf, Agenten oder Produktanforderungen gibt, denen aber noch eine Eval-Suite für wiederholbare Tests fehlt.
- Teams, die Änderungen an einem Modell, einem Prompt, dem Datenabruf oder einem Agenten vorbereiten und Regressionstests durchführen möchten, bevor der pull request zusammengeführt wird.
- Qualitätsprüfungen, bei denen du wiederkehrende manuelle Tests als Eval-Fälle im Repository versionieren möchtest.
Skills und Plug-ins
- Das Plugin enthält `$promptfoo-evals` und `$promptfoo-provider-setup`. Damit kannst du Eval-Suites erstellen, an deine Anwendung anbinden, ausführen und ihre Qualität prüfen.
| Skill | Nutzen |
|---|---|
| Promptfoo | Das Plugin enthält `$promptfoo-evals` und `$promptfoo-provider-setup`. Damit kannst du Eval-Suites erstellen, an deine Anwendung anbinden, ausführen und ihre Qualität prüfen. |
Prompt für den Einstieg
Einführung
Wenn du eine KI-Anwendung entwickelst oder eine bestehende änderst, möchtest du prüfen, ob sie sich wie erwartet verhält. Mit Evals kannst du verschiedene Szenarien systematisch testen und Regressionen vor der Veröffentlichung erkennen.
Mit Promptfoo kannst du Evals für deine KI-Anwendung ausführen. Codex hilft dir, die Evals zu erstellen und zu pflegen.
So gehst du vor
Nutze Codex mit dem Skill $promptfoo-evals aus dem Promptfoo-Plugin, um eine Testsuite zu erstellen, mit der du ein bestimmtes Verhalten deiner KI-App wiederholt prüfen kannst. Wenn für die App noch kein funktionierendes Testziel in Promptfoo konfiguriert ist, hilft dir $promptfoo-provider-setup, die Suite mit dem Anwendungspfad zu verbinden, den du testen möchtest.
Codex kann die App untersuchen, aussagekräftige Testfälle vorschlagen, die Promptfoo-Konfiguration und die Testdaten hinzufügen, die Suite lokal ausführen und dir einen Befehl für weitere Testläufe geben.
Das funktioniert am besten, wenn du ein konkretes Verhalten prüfst, etwa die Qualität von Supportantworten, die Verankerung von Antworten in abgerufenen Quellen, die vom Klassifikator vergebenen Labels, Tool-Aufrufe, die JSON-Struktur oder die Einhaltung von Geschäftsregeln. Du kannst damit auch prüfen, ob die App nach einem Prompt- oder Modellwechsel weiterhin wie erwartet funktioniert.
Nach dem ersten Durchgang solltest du Code und Testdaten prüfen können. Dazu gehören die Datei promptfooconfig.yaml oder eine gleichwertige Konfiguration, ein kleines Verzeichnis evals/, Testfälle, bei Bedarf ein Adapter zum Aufrufen der App und ein lokal ausführbarer Befehl wie npm run evals.
Lege fest, was du prüfen möchtest
Beginne mit einem konkreten Verhalten, das deine App bei der Nutzung bieten soll. Bitte Codex nicht, das gesamte KI-System in einem Durchgang zu bewerten. Eine kleine Suite lässt sich leichter überprüfen und regelmäßig ausführen. So kannst du ihren Ergebnissen eher vertrauen.
Für den Einstieg eignen sich folgende Testziele:
- Korrektheit: Prüfe Klassifizierung, Extraktion, Zusammenfassung, Routing oder Transformation.
- Verankerung: Prüfe, ob sich Antworten auf die abgerufenen Dokumente oder die zitierten Quellen stützen.
- Tool-Nutzung: Prüfe, ob die App das richtige Tool auswählt, gültige Argumente übergibt und Tool-Fehler angemessen behandelt.
- Format oder Geschäftsregeln: Prüfe JSON-Schemas, Feldnamen, Grenzwerte aus Geschäftsregeln oder verbindliche Vorgaben für Texte in der Benutzeroberfläche.
- Prompt- oder Modellwechsel: Prüfe, ob wichtige Fälle auch mit einem neuen Prompt, einem anderen Modell, einer geänderten Systemnachricht oder einer neuen Einstellung für den Dokumentabruf weiterhin funktionieren.
Gehe von Produktanforderungen, Fehlerberichten, eskalierten Supportfällen oder bereinigten Beispielen aus, die dein Team bedenkenlos ins Repository aufnehmen kann.
Bitte Codex um einen Testplan
Codex sollte die App untersuchen, bevor es Änderungen vornimmt. Bitte um einen Plan, der den zu testenden Anwendungspfad, die Fixtures, die Assertions, den Adapter und die Befehle nennt. So kannst du ein falsch gewähltes Testziel oder wenig aussagekräftige Testfälle erkennen, bevor Codex Dateien hinzufügt.
Prüfe den Plan vor der Umsetzung. Er sollte den Anwendungspfad oder Endpunkt nennen, den Promptfoo aufruft, sowie die ersten Testfälle, die Assertions und die Dateien, die Codex erstellen wird. Auch der Befehl für den lokalen Testlauf und gegebenenfalls benötigte Secrets oder Dienste sollten aufgeführt sein. Wenn der Plan vorsieht, das Modell direkt zu testen statt über den Anwendungspfad, den Menschen bei der Nutzung der App durchlaufen, frage Codex, ob das beabsichtigt ist.
Setze den Plan um, führe die Tests aus und verfeinere sie
Wenn der Plan passt, bitte Codex, ihn umzusetzen. Halte die erste Implementierung einfach. Sie sollte die Konfiguration, Testfälle, Fixtures, bei Bedarf einen Adapter für das Testziel und einen Befehl enthalten. Lass dir außerdem zeigen, dass Codex den Befehl ausgeführt hat.
Eine kleine Suite, die die App aufruft, könnte so aussehen:
evals/
promptfooconfig.yaml
tests/
cases.yaml
providers/
provider.js # only if the built-in provider cannot call the app directly
Führe die Suite aus, bevor du das Verhalten der App änderst. Der erste Testlauf zeigt dir, ob die App bereits bei einzelnen Fällen scheitert, ob du die Assertions anpassen musst oder ob der Adapter für das Testziel ungeeignet ist. Passe Assertions an, die zu empfindlich auf kleine Abweichungen reagieren oder zu ungenau sind. Achte darauf, dass echte Produktfehler weiterhin sichtbar bleiben.
Vergleiche nach dem ersten Testlauf die Ergebnisse vor und nach jeder App-Änderung, bevor du die Änderung veröffentlichst. Ergänze Testfälle, wenn ein Fehler, eine Anforderung für die Markteinführung oder eine Produktprüfung zeigt, welches Verhalten stabil bleiben soll. Sobald der lokale Befehl zuverlässig funktioniert, bitte Codex, ihn in die CI-Pipeline oder deine Release-Checkliste aufzunehmen.
Verwandte Anwendungsfälle
API-Integration aktualisieren
Aktualisiere mit Codex deine bestehende Integration der OpenAI API, um die neuesten...
Offene Schwachstellen beheben
Übernimm freigegebene Befunde aus Ticketsystemen oder Meldesystemen für Schwachstellen
Codeänderungen auf Sicherheitslücken prüfen
Mit dem Plugin für Codex Security kannst du Änderungen in einem Git-Repository untersuchen...