Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design
Codex

Anwendungsfall für Codex

Schwierige Probleme Schritt für Schritt lösen

Lass Codex schwierige Aufgaben lösen und das Ergebnis anhand der Bewertung nach jedem Durchlauf verbessern.

Schwierigkeitsgrad Advanced
Zeithorizont Long-running

Gib Codex ein Bewertungssystem, etwa mit Skripten und direkt prüfbaren Artefakten. So kann Codex die Lösung einer schwierigen Aufgabe so lange verbessern, bis die Punktzahlen hoch genug sind.

Besonders geeignet für

  • Probleme, bei denen sich jeder Durchlauf bewerten lässt, die beste Lösung aber meist mehrere Durchläufe erfordert
  • Aufgaben mit visuellen oder subjektiv zu beurteilenden Ergebnissen, die sowohl deterministische Prüfungen als auch eine Punktbewertung durch ein LLM erfordern
  • Längere Chats mit Codex, in denen du den Fortschritt nachvollziehbar festhalten möchtest, ohne dich auf den Chatkontext verlassen zu müssen

Inhalt

    ← Alle Anwendungsfälle

    Schwierige Probleme Schritt für Schritt lösen

    Lass Codex schwierige Aufgaben lösen und das Ergebnis anhand der Bewertung nach jedem Durchlauf verbessern.

    Gib Codex ein Bewertungssystem, etwa mit Skripten und direkt prüfbaren Artefakten. So kann Codex die Lösung einer schwierigen Aufgabe so lange verbessern, bis die Punktzahlen hoch genug sind.

    Advanced
    Long-running

    Gib Codex ein Bewertungssystem, etwa mit Skripten und direkt prüfbaren Artefakten. So kann Codex die Lösung einer schwierigen Aufgabe so lange verbessern, bis die Punktzahlen hoch genug sind.

    Advanced
    Long-running

    Besonders geeignet für

    • Probleme, bei denen sich jeder Durchlauf bewerten lässt, die beste Lösung aber meist mehrere Durchläufe erfordert
    • Aufgaben mit visuellen oder subjektiv zu beurteilenden Ergebnissen, die sowohl deterministische Prüfungen als auch eine Punktbewertung durch ein LLM erfordern
    • Längere Chats mit Codex, in denen du den Fortschritt nachvollziehbar festhalten möchtest, ohne dich auf den Chatkontext verlassen zu müssen

    Prompt für den Einstieg

    I have a difficult task in this workspace and I want you to run it as an eval-driven improvement loop. Before changing anything: - Read `AGENTS.md`. - Find the script or command that scores the current output. Iteration loop: - Make one focused improvement at a time. - Re-run the eval command after each meaningful change. - Log the scores and what changed. - Inspect generated artifacts directly. If the output is visual, use `view_image`. - Keep going until both the overall score and the LLM average are above 90%. Constraints: - Do not stop at the first acceptable result. - Do not revert to an earlier version unless the new result is clearly worse in scores or artifacts. - If the eval improves but is still below target, explain the bottleneck and continue. Output: - current best scores - log of major iterations - remaining risks or weak spots
    I have a difficult task in this workspace and I want you to run it as an eval-driven improvement loop. Before changing anything: - Read `AGENTS.md`. - Find the script or command that scores the current output. Iteration loop: - Make one focused improvement at a time. - Re-run the eval command after each meaningful change. - Log the scores and what changed. - Inspect generated artifacts directly. If the output is visual, use `view_image`. - Keep going until both the overall score and the LLM average are above 90%. Constraints: - Do not stop at the first acceptable result. - Do not revert to an earlier version unless the new result is clearly worse in scores or artifacts. - If the eval improves but is still below target, explain the bottleneck and continue. Output: - current best scores - log of major iterations - remaining risks or weak spots

    Einführung

    Bei manchen Aufgaben reicht ein einziger Durchlauf zur Prüfung. Wenn der Build erfolgreich ist und alle Tests bestanden sind, bist du fertig. Schwierige Optimierungsprobleme erfordern dagegen oft viele Iterationen, bei denen auf jede Änderung direkt eine Auswertung folgt. Um den nächsten Schritt zu bestimmen, muss Codex das aktuelle Ergebnis prüfen, bewerten und entscheiden, was es als Nächstes ändern soll. Das wiederholt Codex, bis das Ergebnis die gewünschte Qualität erreicht.

    Für solche Aufgaben eignet sich eine eigene Benutzeroberfläche, auf der du den Fortschritt sehen kannst. Lass Codex dafür die Ausgaben und erzeugten Artefakte jeder Iteration protokollieren. In der App kannst du Codex bei der Arbeit zusehen und verfolgen, wie sich das angestrebte Artefakt, das Modellergebnis oder das generierte Asset von Durchlauf zu Durchlauf verbessert. Gib Codex dafür die Skripte, mit denen es die Bewertungsmetriken berechnen und die zu prüfenden Artefakte erzeugen kann.

    Beginne mit der Auswertung

    Lege vor Beginn der Aufgabe fest, woran du den Erfolg misst. Meist eignet sich eine Kombination aus zwei Arten von Prüfungen:

    • Deterministische Prüfungen: Skripte erkennen direkt, ob das Ergebnis Vorgaben verletzt, und können Kennzahlen deterministisch berechnen.
    • Bewertung durch ein LLM: Ein LLM bewertet Text- oder Bildausgaben anhand eines Kriterienrasters. So lassen sich Eigenschaften wie Ähnlichkeit, Lesbarkeit, Nützlichkeit oder Gesamtqualität beurteilen, die sich nur schwer präzise in Code abbilden lassen.

    Wenn die subjektive Bewertung wichtig ist, gib Codex ein Skript, das ein Modell beispielsweise über die Responses API aufrufen und die Bewertungen in strukturierter Form zurückgeben kann. Damit ergänzt du die deterministischen Prüfungen um eine Bewertung nach einheitlichen Kriterien für Aspekte, die Menschen sonst nach Augenmaß beurteilen würden.

    Die Schleife funktioniert am besten, wenn die Ergebnisse nach jedem Durchlauf in maschinenlesbarer Form gespeichert werden und sich über mehrere Durchläufe hinweg leicht vergleichen lassen.

    Tipp: Beschreibe die gewünschten Prüfungen und bitte Codex, das passende Auswertungsskript für dich zu erstellen.

    Lege fest, wann Codex aufhören soll

    Bei schwierigen Aufgaben verliert Codex leicht das Ziel aus den Augen, wenn im Prompt nur „Verbessere das Ergebnis weiter“ steht. Gib ausdrücklich an, wann Codex aufhören soll.

    So kannst du vorgehen:

    1. Lege einen Zielwert für die Gesamtbewertung fest.
    2. Lege einen eigenen Zielwert für den Durchschnitt der LLM-Bewertungen fest.
    3. Weise Codex an, so lange weiterzumachen, bis beide Werte ihren jeweiligen Schwellenwert überschreiten.

    Wenn du beispielsweise ein hochwertiges Artefakt brauchst, bitte Codex, so lange weiterzuarbeiten, bis sowohl die Gesamtbewertung als auch der Durchschnitt der LLM-Bewertungen über 90 % liegen. So kann Codex erkennen, welcher Wert noch unter dem Ziel liegt, wie viel fehlt und ob die letzte Änderung geholfen hat.

    Führe ein fortlaufendes Protokoll

    Bei länger laufenden Aufgaben arbeitet Codex deutlich zuverlässiger, wenn es die einzelnen Durchläufe dokumentiert und sich neben dem Chat-Kontext auch auf seine Aufzeichnungen stützen kann.

    Im Protokoll sollte Codex festhalten:

    • die bisher besten Bewertungen
    • was sich in der letzten Iteration geändert hat
    • was laut Auswertung besser oder schlechter geworden ist
    • was Codex als Nächstes ausprobieren will

    Das ist besonders wichtig, wenn die Aufgabe lange dauert. Anhand des Protokolls kann Codex die eigene Arbeit im aktuellen Durchlauf beurteilen und bei einer späteren Fortsetzung dort anknüpfen, wo es aufgehört hat.

    Prüfe neben den Protokollen auch das Artefakt

    Bei manchen schwierigen Aufgaben reichen der Code-Diff und die berechneten Kennzahlen allein nicht aus. Codex sollte sich das erzeugte Artefakt ansehen.

    Bei einem visuellen Ergebnis wie einem generierten Bild, einem Layout oder einer gerenderten Ansicht kannst du Codex das Artefakt direkt prüfen lassen, etwa wenn es als Bilddatei vorliegt. Lass Codex das aktuelle Ergebnis mit dem bisher besten vergleichen oder anhand der vorgesehenen Kriterien beurteilen.

    So greifen die Schritte der Schleife ineinander:

    • Das Auswertungsskript liefert die Punktzahl.
    • Am Artefakt sieht Codex, was die Punktzahl nicht erfasst.
    • Beides fließt in die nächste Änderung ein.

    Diese Kombination ist deutlich wirksamer, als den Code zwischen den Durchläufen auf Verdacht zu ändern.

    Gib für jede Iteration klare Schritte vor

    Bitte Codex, in jedem Durchlauf dieselben Schritte auszuführen:

    1. Werte den aktuellen Ausgangsstand aus.
    2. Ermittle anhand der Bewertungen und Artefakte, wo das Ergebnis am deutlichsten hinter den Anforderungen zurückbleibt.
    3. Nimm eine einzelne, gezielte Änderung vor, um dieses Problem zu beheben.
    4. Führe die Auswertung erneut aus.
    5. Halte die neuen Bewertungen fest und dokumentiere, ob die Änderung geholfen hat.
    6. Wiederhole die Schritte, bis beide Werte ihren jeweiligen Schwellenwert überschreiten.

    Halte diesen Ablauf konsequent ein. Ändert Codex in einer Iteration zu vieles auf einmal, lässt sich nicht mehr erkennen, welche Idee die Bewertung verbessert hat. Fehlt das Protokoll, ist das Ergebnis schwer nachzuvollziehen und die Aufgabe lässt sich später nur schwer fortsetzen.

    Verwandte Anwendungsfälle