如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题
Codex

Codex 使用场景

通过迭代解决复杂问题

让 Codex 根据每轮评分持续改进,完成复杂任务。

难度 Advanced
时间跨度 Long-running

为 Codex 建立一套评估机制,例如用脚本为输出评分,并提供可供检查的产物。这样,Codex 就能逐轮改进复杂任务的结果,直到评分达标。

最适合

  • 每轮迭代都能评分,但通常需要多轮改进才能取得最佳结果的问题
  • 输出是视觉内容或需要主观判断,既要进行确定性检查,又要由 LLM 评分的任务
  • 持续时间较长的 Codex 聊天,您希望有清晰的进度记录,避免只靠聊天上下文了解进展

目录

    ← 所有使用场景

    通过迭代解决复杂问题

    让 Codex 根据每轮评分持续改进,完成复杂任务。

    为 Codex 建立一套评估机制,例如用脚本为输出评分,并提供可供检查的产物。这样,Codex 就能逐轮改进复杂任务的结果,直到评分达标。

    Advanced
    Long-running

    为 Codex 建立一套评估机制,例如用脚本为输出评分,并提供可供检查的产物。这样,Codex 就能逐轮改进复杂任务的结果,直到评分达标。

    Advanced
    Long-running

    最适合

    • 每轮迭代都能评分,但通常需要多轮改进才能取得最佳结果的问题
    • 输出是视觉内容或需要主观判断,既要进行确定性检查,又要由 LLM 评分的任务
    • 持续时间较长的 Codex 聊天,您希望有清晰的进度记录,避免只靠聊天上下文了解进展

    起始提示词

    我在这个工作空间里有一项复杂任务。请根据每轮评估结果持续改进。 开始修改前: - 阅读 `AGENTS.md`。 - 找到用于给当前输出评分的脚本或命令。 每轮迭代: - 每次只做一项有针对性的改进。 - 每次做出实质性修改后,重新运行评估命令。 - 记录各项得分和修改内容。 - 直接检查生成的产物。如果输出是视觉内容,请使用 `view_image`。 - 持续迭代,直到总分和 LLM 给出的平均分都超过 90%。 约束: - 首次得到可接受的结果后,仍要继续迭代。 - 只有当新版本的得分明显下降或产物质量明显变差时,才可以回退到先前的版本。 - 如果评估得分有所提高但仍未达标,请说明瓶颈并继续迭代。 请输出: - 目前各项最高得分 - 主要迭代记录 - 仍存在的风险或薄弱环节
    我在这个工作空间里有一项复杂任务。请根据每轮评估结果持续改进。 开始修改前: - 阅读 `AGENTS.md`。 - 找到用于给当前输出评分的脚本或命令。 每轮迭代: - 每次只做一项有针对性的改进。 - 每次做出实质性修改后,重新运行评估命令。 - 记录各项得分和修改内容。 - 直接检查生成的产物。如果输出是视觉内容,请使用 `view_image`。 - 持续迭代,直到总分和 LLM 给出的平均分都超过 90%。 约束: - 首次得到可接受的结果后,仍要继续迭代。 - 只有当新版本的得分明显下降或产物质量明显变差时,才可以回退到先前的版本。 - 如果评估得分有所提高但仍未达标,请说明瓶颈并继续迭代。 请输出: - 目前各项最高得分 - 主要迭代记录 - 仍存在的风险或薄弱环节

    简介

    有些任务验证一次就够了:构建成功,所有测试通过,任务就完成了。但有些优化问题比较复杂,需要多轮迭代,并在每轮结束后及时评估。要判断下一步该往哪个方向改,Codex 需要检查当前输出,为结果打分,再决定下一步改什么,如此反复,直到结果足够好。

    这类任务适合搭配自定义界面。让 Codex 记录每轮迭代的输出和生成的产物,您就能直观地查看进展。 您可以在应用中观察 Codex 持续工作,看目标产物、模型输出或生成的素材如何逐步改进。 您需要为 Codex 提供必要的脚本,让它能计算评估指标,并生成可供检查的产物。

    先确定评估方法

    任务开始前,先明确如何判断任务是否成功。通常最好结合以下两类检查:

    • 确定性检查: 脚本可以直接评分,例如检查是否违反约束条件,或用代码计算确定性指标。
    • 由 LLM 担任评审的检查: 对于相似度、可读性、实用性或整体质量等难以用代码精确定义的特性,让 LLM 根据评分标准打分。评审对象可以是文本或图像输出。

    如果主观判断很重要,请为 Codex 提供一个能调用模型并返回结构化评分的脚本,例如通过 Responses API 调用模型。保留确定性检查,同时让模型按一致的标准评判原本需要人工查看的部分。

    让评估结果采用机器可读的格式,并在每次运行后保存,以便比较历次结果。这样,迭代效果最好。

    提示:向 Codex 说明您想运行哪些检查,让它为您生成评估脚本。

    明确告诉 Codex 何时停止

    如果提示词只要求“持续改进”,却没说明何时停止,复杂任务往往会逐渐偏离目标。请明确停止条件。

    您可以这样设置:

    1. 为总分设定目标值。
    2. 为 LLM 评审的平均分单独设定目标值。
    3. 告诉 Codex 继续迭代,直到两项都超过各自的阈值。只有一项超过阈值时也要继续。

    例如,如果目标是生成高质量的产物,可以让 Codex 持续迭代,直到总分和 LLM 评审的平均分都超过 90%。这样,Codex 就能判断当前结果是否达标、差距在哪里,以及最近一次改动是否有效。

    持续记录迭代过程

    对于长时间运行的任务,让 Codex 随时记录迭代过程,比仅靠聊天上下文可靠得多。

    日志应记录以下内容:

    • 迄今为止各项评分的最高值
    • 上一轮迭代改了什么
    • 评估结果显示哪些方面有所改善,哪些方面有所退步
    • Codex 下一步打算尝试什么

    任务运行时间越长,这些记录就越重要。恢复任务时,Codex 可以根据日志接着上次的进度继续工作。日志也保留了本次运行的自评记录。

    除了日志,也要检查产物

    对于某些复杂任务,仅看代码差异和输出的指标还不够。Codex 还应检查自己生成的产物。

    如果输出是生成的图像、页面布局或渲染后的界面状态等可视化结果,请让 Codex 直接查看产物。例如,如果输出以图像文件保存在磁盘上,可以让 Codex 查看图像,将当前结果与此前的最佳结果进行比较,或对照预定的评分标准检查当前结果。

    这样,每轮迭代都有更充分的依据:

    • 评估脚本给出分数
    • 查看产物可以发现分数未能反映的问题
    • Codex 结合两者决定下一步怎么改

    这比在两次运行之间盲目修改代码有效得多。

    明确每轮迭代的步骤

    请让 Codex 每轮都按以下步骤操作:

    1. 对当前基线运行评估。
    2. 根据评分和产物,找出对结果影响最大的问题。
    3. 针对这个瓶颈做一项改动。
    4. 重新运行评估。
    5. 记录新的评分,并注明这次改动是否有效。
    6. 继续迭代,直到各项评分达到设定的阈值。

    请坚持执行这些步骤。如果每轮同时改动太多,Codex 就无法判断究竟是哪项改动提高了分数。如果跳过日志记录,任务结果就难以核实,任务中断后也难以接着做下去。

    相关使用场景