Introducción

Algunas tareas se pueden verificar en un solo intento: si la compilación termina correctamente y todas las pruebas pasan, ya terminaste. En cambio, algunos problemas de optimización son difíciles de resolver y requieren muchas iteraciones, con una evaluación tras cada cambio. Para decidir cómo avanzar, Codex necesita examinar el resultado actual, asignarle un puntaje, elegir el siguiente cambio y repetir el ciclo hasta obtener un buen resultado.

Para este tipo de tarea, una interfaz personalizada te permite revisar el progreso de forma visual si le pides a Codex que registre los resultados y los artefactos que genera en cada iteración. Puedes seguir el trabajo de Codex en la aplicación y ver cómo mejora el artefacto que buscas producir, la salida del modelo o el recurso generado. Para ello, dale a Codex los scripts que necesita para calcular las métricas de evaluación y generar los artefactos que va a revisar.

Empieza por las evaluaciones

Antes de iniciar la tarea, define cómo medirás el éxito. Por lo general, conviene combinar:

• Verificaciones deterministas: aspectos que los scripts pueden puntuar directamente, como el incumplimiento de restricciones o las métricas deterministas calculadas mediante código.
• Verificaciones con un LLM como juez: puntajes basados en una rúbrica para cualidades difíciles de expresar con precisión en código, como la semejanza, la legibilidad, la utilidad o la calidad general. El LLM puede evaluar resultados en forma de texto o imagen.

Si el componente subjetivo es importante, dale a Codex un script que pueda llamar a un modelo, por ejemplo mediante la API de respuestas, y devolver los puntajes en un formato estructurado. Conserva las verificaciones deterministas y compleméntalas con un juez que aplique criterios uniformes a los aspectos que, de otro modo, una persona evaluaría a simple vista.

El ciclo funciona mejor cuando los resultados de la evaluación se guardan después de cada ejecución en un formato legible por máquina y se pueden comparar fácilmente a lo largo del tiempo.

Indícale a Codex cuándo detenerse

En las tareas difíciles, es fácil perder el rumbo si el prompt dice “sigue mejorando el resultado” sin indicar cuándo detenerse. Define explícitamente el criterio de finalización.

Puedes hacerlo así:

1. Fija un objetivo para el puntaje general.
2. Fija otro objetivo para el puntaje promedio que asigna el LLM como juez.
3. Indícale a Codex que continúe hasta que ambos puntajes superen sus respectivos umbrales. Superar uno solo no basta.

Por ejemplo, si buscas un artefacto de alta calidad, pídele a Codex que continúe hasta que tanto el puntaje general como el promedio del LLM superen el 90 %. Así, Codex puede determinar si aún está por debajo del objetivo, en qué aspecto falta mejorar y si el último cambio ayudó.

Lleva un registro de las iteraciones

En las tareas de larga duración, el trabajo es mucho más confiable cuando Codex toma notas sobre cada iteración en vez de depender únicamente del contexto del chat.

El registro debe incluir:

• los mejores puntajes obtenidos hasta el momento
• qué cambió en la última iteración
• qué mejoró o empeoró según la evaluación
• qué piensa probar Codex a continuación

Esto es especialmente importante cuando la tarea se prolonga. El registro permite retomar el trabajo donde quedó y documenta la autoevaluación de la ejecución en curso.

Revisa también el artefacto

En algunas tareas difíciles, no basta con revisar las diferencias en el código y los valores de las métricas. Codex también debe examinar el artefacto que produjo.

Si el resultado es visual, como una imagen generada, una disposición de elementos o un estado renderizado, permite que Codex examine directamente el artefacto, por ejemplo, si está guardado en disco como imagen. Deja que compare el resultado actual con el mejor resultado anterior o lo evalúe según la rúbrica prevista.

Así mejora el ciclo de evaluación:

• el script de evaluación indica el puntaje
• el artefacto muestra aspectos que el puntaje no refleja
• ambos sirven de base para decidir el siguiente cambio

Esta combinación es mucho más eficaz que modificar el código a ciegas entre ejecuciones.

Define los pasos de cada iteración

Pídele a Codex que siga el mismo ciclo cada vez:

1. Ejecuta las evaluaciones sobre la versión actual para establecer un punto de referencia.
2. Usa los puntajes y los artefactos para identificar la falla que más afecta el resultado.
3. Haz un solo cambio dirigido a resolver ese problema.
4. Vuelve a ejecutar las evaluaciones.
5. Registra los nuevos puntajes e indica si el cambio ayudó.
6. Continúa hasta alcanzar los umbrales.

Es importante seguir estos pasos en cada iteración. Si Codex cambia demasiadas cosas a la vez, no puede determinar qué cambio mejoró el puntaje. Si omite el registro, resulta difícil confiar en los resultados y retomar la tarea.