Introdução

Algumas tarefas são fáceis de verificar de uma só vez. Se a compilação termina com sucesso e os testes passam, a tarefa está concluída. Já alguns problemas de otimização são difíceis de resolver e exigem muitas iterações, com uma avaliação logo após cada mudança. Para decidir como prosseguir, o Codex precisa examinar o resultado atual, atribuir uma pontuação, escolher a próxima mudança e repetir o ciclo até obter um resultado realmente bom.

Uma interface personalizada funciona bem nesse tipo de tarefa. Peça ao Codex que registre as saídas e os artefatos gerados a cada iteração para que você possa acompanhar o progresso visualmente. No aplicativo, você pode acompanhar o trabalho do Codex e ver como o artefato desejado, a saída do modelo ou o recurso gerado melhora a cada iteração. Para isso, forneça ao Codex os scripts necessários para calcular as métricas de avaliação e gerar os artefatos que ele vai examinar.

Comece pelas avaliações

Antes de iniciar a tarefa, defina como medir o sucesso. Em geral, a melhor abordagem combina dois tipos de verificação:

• Verificações determinísticas: os scripts calculam a pontuação diretamente, por exemplo, com base em violações de restrições ou em métricas determinísticas calculadas por código.
• Verificações com um LLM como avaliador: o modelo usa critérios predefinidos para pontuar aspectos difíceis de expressar com precisão em código, como semelhança, legibilidade, utilidade ou qualidade geral. Ele pode avaliar saídas em texto ou imagem.

Se a parte subjetiva for importante, forneça ao Codex um script que possa chamar um modelo, por exemplo, pela API Responses, e retornar as pontuações em formato estruturado. Mantenha as verificações determinísticas e complemente-as com um avaliador que aplique critérios consistentes aos aspectos que, de outra forma, alguém avaliaria a olho.

O ciclo funciona melhor quando os resultados das avaliações ficam em um formato legível por máquina, são salvos após cada execução e podem ser comparados facilmente ao longo do tempo.

Defina um critério de parada para o Codex

Tarefas difíceis tendem a perder o rumo quando o prompt diz “continue melhorando” sem indicar quando parar. Deixe o critério de parada explícito.

Uma forma prática de fazer isso:

1. Defina uma meta para a pontuação geral.
2. Defina outra meta para a média das pontuações atribuídas pelo LLM.
3. Oriente o Codex a continuar até que a pontuação geral e a média do LLM superem suas respectivas metas.

Por exemplo, se o objetivo for produzir um artefato de alta qualidade, peça ao Codex que continue até que tanto a pontuação geral quanto a média do LLM ultrapassem 90%. Com esses critérios, o Codex consegue identificar se ainda está abaixo da meta, em que aspecto precisa melhorar e se a última mudança ajudou.

Mantenha um registro do ciclo

Em tarefas demoradas, o trabalho é muito mais confiável quando o Codex registra cada iteração em vez de depender apenas do contexto do chat.

Inclua no registro:

• as melhores pontuações obtidas até o momento
• o que mudou na última iteração
• o que melhorou ou piorou segundo a avaliação
• o que o Codex pretende tentar em seguida

Isso é especialmente importante quando a tarefa se estende por muito tempo. O registro serve de referência para retomar a tarefa e documenta a autoavaliação da execução atual.

Examine o artefato além dos logs

Em algumas tarefas difíceis, examinar as alterações no código e os valores das métricas é insuficiente. O Codex deve examinar o artefato que produziu.

Se a saída for visual, como uma imagem gerada, um layout ou um estado renderizado, permita que o Codex examine o artefato diretamente. Por exemplo, se a saída estiver salva em disco como imagem, o Codex pode abri-la e comparar o resultado atual com o melhor resultado anterior ou verificar se ele atende aos critérios de avaliação definidos.

Assim, o ciclo de avaliação fica mais eficaz:

• o script de avaliação informa a pontuação
• o artefato revela o que a pontuação deixou de captar
• ambos orientam a próxima mudança

Essa combinação é muito mais eficaz do que alterar o código às cegas entre uma execução e outra.

Explicite as etapas de cada iteração

Peça ao Codex que siga o mesmo ciclo a cada iteração:

1. Execute as avaliações na versão atual para obter uma referência.
2. Use as pontuações e os artefatos para identificar a principal falha.
3. Faça uma única mudança voltada para esse problema.
4. Execute as avaliações novamente.
5. Registre as novas pontuações e indique se a mudança ajudou.
6. Continue até atingir as metas definidas.

É importante seguir essas etapas. Se muita coisa mudar ao mesmo tempo em cada iteração, o Codex não conseguirá identificar qual ideia melhorou a pontuação. Se ele deixar de registrar os resultados, será difícil confiar no trabalho e retomar a tarefa.