Anwendungsfall für Codex
Schwierige Probleme Schritt für Schritt lösen
Lass Codex schwierige Aufgaben lösen und das Ergebnis anhand der Bewertung nach jedem Durchlauf verbessern.
Gib Codex ein Bewertungssystem, etwa mit Skripten und direkt prüfbaren Artefakten. So kann Codex die Lösung einer schwierigen Aufgabe so lange verbessern, bis die Punktzahlen hoch genug sind.
Besonders geeignet für
- Probleme, bei denen sich jeder Durchlauf bewerten lässt, die beste Lösung aber meist mehrere Durchläufe erfordert
- Aufgaben mit visuellen oder subjektiv zu beurteilenden Ergebnissen, die sowohl deterministische Prüfungen als auch eine Punktbewertung durch ein LLM erfordern
- Längere Chats mit Codex, in denen du den Fortschritt nachvollziehbar festhalten möchtest, ohne dich auf den Chatkontext verlassen zu müssen
Inhalt
Schwierige Probleme Schritt für Schritt lösen
Lass Codex schwierige Aufgaben lösen und das Ergebnis anhand der Bewertung nach jedem Durchlauf verbessern.
Gib Codex ein Bewertungssystem, etwa mit Skripten und direkt prüfbaren Artefakten. So kann Codex die Lösung einer schwierigen Aufgabe so lange verbessern, bis die Punktzahlen hoch genug sind.
Gib Codex ein Bewertungssystem, etwa mit Skripten und direkt prüfbaren Artefakten. So kann Codex die Lösung einer schwierigen Aufgabe so lange verbessern, bis die Punktzahlen hoch genug sind.
Weiterführende Links
Besonders geeignet für
- Probleme, bei denen sich jeder Durchlauf bewerten lässt, die beste Lösung aber meist mehrere Durchläufe erfordert
- Aufgaben mit visuellen oder subjektiv zu beurteilenden Ergebnissen, die sowohl deterministische Prüfungen als auch eine Punktbewertung durch ein LLM erfordern
- Längere Chats mit Codex, in denen du den Fortschritt nachvollziehbar festhalten möchtest, ohne dich auf den Chatkontext verlassen zu müssen
Prompt für den Einstieg
Einführung
Bei manchen Aufgaben reicht ein einziger Durchlauf zur Prüfung. Wenn der Build erfolgreich ist und alle Tests bestanden sind, bist du fertig. Schwierige Optimierungsprobleme erfordern dagegen oft viele Iterationen, bei denen auf jede Änderung direkt eine Auswertung folgt. Um den nächsten Schritt zu bestimmen, muss Codex das aktuelle Ergebnis prüfen, bewerten und entscheiden, was es als Nächstes ändern soll. Das wiederholt Codex, bis das Ergebnis die gewünschte Qualität erreicht.
Für solche Aufgaben eignet sich eine eigene Benutzeroberfläche, auf der du den Fortschritt sehen kannst. Lass Codex dafür die Ausgaben und erzeugten Artefakte jeder Iteration protokollieren. In der App kannst du Codex bei der Arbeit zusehen und verfolgen, wie sich das angestrebte Artefakt, das Modellergebnis oder das generierte Asset von Durchlauf zu Durchlauf verbessert. Gib Codex dafür die Skripte, mit denen es die Bewertungsmetriken berechnen und die zu prüfenden Artefakte erzeugen kann.
Beginne mit der Auswertung
Lege vor Beginn der Aufgabe fest, woran du den Erfolg misst. Meist eignet sich eine Kombination aus zwei Arten von Prüfungen:
- Deterministische Prüfungen: Skripte erkennen direkt, ob das Ergebnis Vorgaben verletzt, und können Kennzahlen deterministisch berechnen.
- Bewertung durch ein LLM: Ein LLM bewertet Text- oder Bildausgaben anhand eines Kriterienrasters. So lassen sich Eigenschaften wie Ähnlichkeit, Lesbarkeit, Nützlichkeit oder Gesamtqualität beurteilen, die sich nur schwer präzise in Code abbilden lassen.
Wenn die subjektive Bewertung wichtig ist, gib Codex ein Skript, das ein Modell beispielsweise über die Responses API aufrufen und die Bewertungen in strukturierter Form zurückgeben kann. Damit ergänzt du die deterministischen Prüfungen um eine Bewertung nach einheitlichen Kriterien für Aspekte, die Menschen sonst nach Augenmaß beurteilen würden.
Die Schleife funktioniert am besten, wenn die Ergebnisse nach jedem Durchlauf in maschinenlesbarer Form gespeichert werden und sich über mehrere Durchläufe hinweg leicht vergleichen lassen.
Tipp: Beschreibe die gewünschten Prüfungen und bitte Codex, das passende Auswertungsskript für dich zu erstellen.
Lege fest, wann Codex aufhören soll
Bei schwierigen Aufgaben verliert Codex leicht das Ziel aus den Augen, wenn im Prompt nur „Verbessere das Ergebnis weiter“ steht. Gib ausdrücklich an, wann Codex aufhören soll.
So kannst du vorgehen:
- Lege einen Zielwert für die Gesamtbewertung fest.
- Lege einen eigenen Zielwert für den Durchschnitt der LLM-Bewertungen fest.
- Weise Codex an, so lange weiterzumachen, bis beide Werte ihren jeweiligen Schwellenwert überschreiten.
Wenn du beispielsweise ein hochwertiges Artefakt brauchst, bitte Codex, so lange weiterzuarbeiten, bis sowohl die Gesamtbewertung als auch der Durchschnitt der LLM-Bewertungen über 90 % liegen. So kann Codex erkennen, welcher Wert noch unter dem Ziel liegt, wie viel fehlt und ob die letzte Änderung geholfen hat.
Führe ein fortlaufendes Protokoll
Bei länger laufenden Aufgaben arbeitet Codex deutlich zuverlässiger, wenn es die einzelnen Durchläufe dokumentiert und sich neben dem Chat-Kontext auch auf seine Aufzeichnungen stützen kann.
Im Protokoll sollte Codex festhalten:
- die bisher besten Bewertungen
- was sich in der letzten Iteration geändert hat
- was laut Auswertung besser oder schlechter geworden ist
- was Codex als Nächstes ausprobieren will
Das ist besonders wichtig, wenn die Aufgabe lange dauert. Anhand des Protokolls kann Codex die eigene Arbeit im aktuellen Durchlauf beurteilen und bei einer späteren Fortsetzung dort anknüpfen, wo es aufgehört hat.
Prüfe neben den Protokollen auch das Artefakt
Bei manchen schwierigen Aufgaben reichen der Code-Diff und die berechneten Kennzahlen allein nicht aus. Codex sollte sich das erzeugte Artefakt ansehen.
Bei einem visuellen Ergebnis wie einem generierten Bild, einem Layout oder einer gerenderten Ansicht kannst du Codex das Artefakt direkt prüfen lassen, etwa wenn es als Bilddatei vorliegt. Lass Codex das aktuelle Ergebnis mit dem bisher besten vergleichen oder anhand der vorgesehenen Kriterien beurteilen.
So greifen die Schritte der Schleife ineinander:
- Das Auswertungsskript liefert die Punktzahl.
- Am Artefakt sieht Codex, was die Punktzahl nicht erfasst.
- Beides fließt in die nächste Änderung ein.
Diese Kombination ist deutlich wirksamer, als den Code zwischen den Durchläufen auf Verdacht zu ändern.
Gib für jede Iteration klare Schritte vor
Bitte Codex, in jedem Durchlauf dieselben Schritte auszuführen:
- Werte den aktuellen Ausgangsstand aus.
- Ermittle anhand der Bewertungen und Artefakte, wo das Ergebnis am deutlichsten hinter den Anforderungen zurückbleibt.
- Nimm eine einzelne, gezielte Änderung vor, um dieses Problem zu beheben.
- Führe die Auswertung erneut aus.
- Halte die neuen Bewertungen fest und dokumentiere, ob die Änderung geholfen hat.
- Wiederhole die Schritte, bis beide Werte ihren jeweiligen Schwellenwert überschreiten.
Halte diesen Ablauf konsequent ein. Ändert Codex in einer Iteration zu vieles auf einmal, lässt sich nicht mehr erkennen, welche Idee die Bewertung verbessert hat. Fehlt das Protokoll, ist das Ergebnis schwer nachzuvollziehen und die Aufgabe lässt sich später nur schwer fortsetzen.
Verwandte Anwendungsfälle
Große Codebasen verstehen
Mit Codex verschaffst du dir einen Überblick über eine unbekannte Codebasis
Arbeitsabläufe als Skills speichern
Als Grundlage für einen Skill eignen sich ein bewährter Codex-Chat, Regeln für Code Reviews...
Browserspiele entwickeln
Beschreibe deine Spielidee kurz. Codex kann daraus einen konkreten Plan entwickeln und ihn...