Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design
Codex

Anwendungsfall für Codex

Evals zu deiner KI-Anwendung hinzufügen

Erstelle mit Codex eine Eval-Suite für Promptfoo, die das erwartete Verhalten deiner Anwendung prüft.

Schwierigkeitsgrad Intermediate
Zeithorizont 1h

Lass Codex deine KI-Anwendung untersuchen, das zu prüfende Verhalten bestimmen und eine ausführbare Eval-Suite für Promptfoo hinzufügen.

Besonders geeignet für

  • KI-Anwendungen, für die es bereits Prompts, Modellaufrufe, Tools, Datenabruf, Agenten oder Produktanforderungen gibt, denen aber noch eine Eval-Suite für wiederholbare Tests fehlt.
  • Teams, die Änderungen an einem Modell, einem Prompt, dem Datenabruf oder einem Agenten vorbereiten und Regressionstests durchführen möchten, bevor der pull request zusammengeführt wird.
  • Qualitätsprüfungen, bei denen du wiederkehrende manuelle Tests als Eval-Fälle im Repository versionieren möchtest.

Inhalt

    ← Alle Anwendungsfälle

    Evals zu deiner KI-Anwendung hinzufügen

    Erstelle mit Codex eine Eval-Suite für Promptfoo, die das erwartete Verhalten deiner Anwendung prüft.

    Lass Codex deine KI-Anwendung untersuchen, das zu prüfende Verhalten bestimmen und eine ausführbare Eval-Suite für Promptfoo hinzufügen.

    Intermediate
    1h

    Lass Codex deine KI-Anwendung untersuchen, das zu prüfende Verhalten bestimmen und eine ausführbare Eval-Suite für Promptfoo hinzufügen.

    Intermediate
    1h

    Besonders geeignet für

    • KI-Anwendungen, für die es bereits Prompts, Modellaufrufe, Tools, Datenabruf, Agenten oder Produktanforderungen gibt, denen aber noch eine Eval-Suite für wiederholbare Tests fehlt.
    • Teams, die Änderungen an einem Modell, einem Prompt, dem Datenabruf oder einem Agenten vorbereiten und Regressionstests durchführen möchten, bevor der pull request zusammengeführt wird.
    • Qualitätsprüfungen, bei denen du wiederkehrende manuelle Tests als Eval-Fälle im Repository versionieren möchtest.

    Skills und Plug-ins

    • Das Plugin enthält `$promptfoo-evals` und `$promptfoo-provider-setup`. Damit kannst du Eval-Suites erstellen, an deine Anwendung anbinden, ausführen und ihre Qualität prüfen.
    Skill Nutzen
    Promptfoo Das Plugin enthält `$promptfoo-evals` und `$promptfoo-provider-setup`. Damit kannst du Eval-Suites erstellen, an deine Anwendung anbinden, ausführen und ihre Qualität prüfen.

    Prompt für den Einstieg

    Use $promptfoo-evals to add a Promptfoo eval suite for this AI application. If there is not already a working Promptfoo provider or target adapter, use $promptfoo-provider-setup first. Behavior to evaluate: [support answer quality / tool-call correctness / retrieval grounding / business rules / agent task completion] Before editing: - Inspect the app path users hit and any existing evals or tests. - Propose the smallest useful eval plan: target adapter, seed cases, assertions, files, commands, and required env vars or local services. - Do not change production prompts, model settings, or app behavior until the baseline eval exists and has been run. Requirements: - Exercise the application path users hit when possible, not only the raw model prompt. - Keep fixtures free of secrets, customer data, and sensitive personal data. - Add a local eval command such as `npm run evals` or document the exact command to run. Finish with: - Files changed - Eval commands run - Passing and failing cases - Recommended next evals to add
    Use $promptfoo-evals to add a Promptfoo eval suite for this AI application. If there is not already a working Promptfoo provider or target adapter, use $promptfoo-provider-setup first. Behavior to evaluate: [support answer quality / tool-call correctness / retrieval grounding / business rules / agent task completion] Before editing: - Inspect the app path users hit and any existing evals or tests. - Propose the smallest useful eval plan: target adapter, seed cases, assertions, files, commands, and required env vars or local services. - Do not change production prompts, model settings, or app behavior until the baseline eval exists and has been run. Requirements: - Exercise the application path users hit when possible, not only the raw model prompt. - Keep fixtures free of secrets, customer data, and sensitive personal data. - Add a local eval command such as `npm run evals` or document the exact command to run. Finish with: - Files changed - Eval commands run - Passing and failing cases - Recommended next evals to add

    Einführung

    Wenn du eine KI-Anwendung entwickelst oder eine bestehende änderst, möchtest du prüfen, ob sie sich wie erwartet verhält. Mit Evals kannst du verschiedene Szenarien systematisch testen und Regressionen vor der Veröffentlichung erkennen.

    Mit Promptfoo kannst du Evals für deine KI-Anwendung ausführen. Codex hilft dir, die Evals zu erstellen und zu pflegen.

    So gehst du vor

    Nutze Codex mit dem Skill $promptfoo-evals aus dem Promptfoo-Plugin, um eine Testsuite zu erstellen, mit der du ein bestimmtes Verhalten deiner KI-App wiederholt prüfen kannst. Wenn für die App noch kein funktionierendes Testziel in Promptfoo konfiguriert ist, hilft dir $promptfoo-provider-setup, die Suite mit dem Anwendungspfad zu verbinden, den du testen möchtest.

    Codex kann die App untersuchen, aussagekräftige Testfälle vorschlagen, die Promptfoo-Konfiguration und die Testdaten hinzufügen, die Suite lokal ausführen und dir einen Befehl für weitere Testläufe geben.

    Das funktioniert am besten, wenn du ein konkretes Verhalten prüfst, etwa die Qualität von Supportantworten, die Verankerung von Antworten in abgerufenen Quellen, die vom Klassifikator vergebenen Labels, Tool-Aufrufe, die JSON-Struktur oder die Einhaltung von Geschäftsregeln. Du kannst damit auch prüfen, ob die App nach einem Prompt- oder Modellwechsel weiterhin wie erwartet funktioniert.

    Nach dem ersten Durchgang solltest du Code und Testdaten prüfen können. Dazu gehören die Datei promptfooconfig.yaml oder eine gleichwertige Konfiguration, ein kleines Verzeichnis evals/, Testfälle, bei Bedarf ein Adapter zum Aufrufen der App und ein lokal ausführbarer Befehl wie npm run evals.

    Lege fest, was du prüfen möchtest

    Beginne mit einem konkreten Verhalten, das deine App bei der Nutzung bieten soll. Bitte Codex nicht, das gesamte KI-System in einem Durchgang zu bewerten. Eine kleine Suite lässt sich leichter überprüfen und regelmäßig ausführen. So kannst du ihren Ergebnissen eher vertrauen.

    Für den Einstieg eignen sich folgende Testziele:

    • Korrektheit: Prüfe Klassifizierung, Extraktion, Zusammenfassung, Routing oder Transformation.
    • Verankerung: Prüfe, ob sich Antworten auf die abgerufenen Dokumente oder die zitierten Quellen stützen.
    • Tool-Nutzung: Prüfe, ob die App das richtige Tool auswählt, gültige Argumente übergibt und Tool-Fehler angemessen behandelt.
    • Format oder Geschäftsregeln: Prüfe JSON-Schemas, Feldnamen, Grenzwerte aus Geschäftsregeln oder verbindliche Vorgaben für Texte in der Benutzeroberfläche.
    • Prompt- oder Modellwechsel: Prüfe, ob wichtige Fälle auch mit einem neuen Prompt, einem anderen Modell, einer geänderten Systemnachricht oder einer neuen Einstellung für den Dokumentabruf weiterhin funktionieren.

    Gehe von Produktanforderungen, Fehlerberichten, eskalierten Supportfällen oder bereinigten Beispielen aus, die dein Team bedenkenlos ins Repository aufnehmen kann.

    Bitte Codex um einen Testplan

    Codex sollte die App untersuchen, bevor es Änderungen vornimmt. Bitte um einen Plan, der den zu testenden Anwendungspfad, die Fixtures, die Assertions, den Adapter und die Befehle nennt. So kannst du ein falsch gewähltes Testziel oder wenig aussagekräftige Testfälle erkennen, bevor Codex Dateien hinzufügt.

    Prüfe den Plan vor der Umsetzung. Er sollte den Anwendungspfad oder Endpunkt nennen, den Promptfoo aufruft, sowie die ersten Testfälle, die Assertions und die Dateien, die Codex erstellen wird. Auch der Befehl für den lokalen Testlauf und gegebenenfalls benötigte Secrets oder Dienste sollten aufgeführt sein. Wenn der Plan vorsieht, das Modell direkt zu testen statt über den Anwendungspfad, den Menschen bei der Nutzung der App durchlaufen, frage Codex, ob das beabsichtigt ist.

    Setze den Plan um, führe die Tests aus und verfeinere sie

    Wenn der Plan passt, bitte Codex, ihn umzusetzen. Halte die erste Implementierung einfach. Sie sollte die Konfiguration, Testfälle, Fixtures, bei Bedarf einen Adapter für das Testziel und einen Befehl enthalten. Lass dir außerdem zeigen, dass Codex den Befehl ausgeführt hat.

    Eine kleine Suite, die die App aufruft, könnte so aussehen:

    evals/
      promptfooconfig.yaml
      tests/
        cases.yaml
      providers/
        provider.js  # only if the built-in provider cannot call the app directly

    Führe die Suite aus, bevor du das Verhalten der App änderst. Der erste Testlauf zeigt dir, ob die App bereits bei einzelnen Fällen scheitert, ob du die Assertions anpassen musst oder ob der Adapter für das Testziel ungeeignet ist. Passe Assertions an, die zu empfindlich auf kleine Abweichungen reagieren oder zu ungenau sind. Achte darauf, dass echte Produktfehler weiterhin sichtbar bleiben.

    Vergleiche nach dem ersten Testlauf die Ergebnisse vor und nach jeder App-Änderung, bevor du die Änderung veröffentlichst. Ergänze Testfälle, wenn ein Fehler, eine Anforderung für die Markteinführung oder eine Produktprüfung zeigt, welches Verhalten stabil bleiben soll. Sobald der lokale Befehl zuverlässig funktioniert, bitte Codex, ihn in die CI-Pipeline oder deine Release-Checkliste aufzunehmen.

    Verwandte Anwendungsfälle