Codex 使用场景
通过迭代解决复杂问题
让 Codex 根据每轮评分持续改进,完成复杂任务。
为 Codex 建立一套评估机制,例如用脚本为输出评分,并提供可供检查的产物。这样,Codex 就能逐轮改进复杂任务的结果,直到评分达标。
最适合
- 每轮迭代都能评分,但通常需要多轮改进才能取得最佳结果的问题
- 输出是视觉内容或需要主观判断,既要进行确定性检查,又要由 LLM 评分的任务
- 持续时间较长的 Codex 聊天,您希望有清晰的进度记录,避免只靠聊天上下文了解进展
目录
通过迭代解决复杂问题
让 Codex 根据每轮评分持续改进,完成复杂任务。
为 Codex 建立一套评估机制,例如用脚本为输出评分,并提供可供检查的产物。这样,Codex 就能逐轮改进复杂任务的结果,直到评分达标。
为 Codex 建立一套评估机制,例如用脚本为输出评分,并提供可供检查的产物。这样,Codex 就能逐轮改进复杂任务的结果,直到评分达标。
最适合
- 每轮迭代都能评分,但通常需要多轮改进才能取得最佳结果的问题
- 输出是视觉内容或需要主观判断,既要进行确定性检查,又要由 LLM 评分的任务
- 持续时间较长的 Codex 聊天,您希望有清晰的进度记录,避免只靠聊天上下文了解进展
起始提示词
简介
有些任务验证一次就够了:构建成功,所有测试通过,任务就完成了。但有些优化问题比较复杂,需要多轮迭代,并在每轮结束后及时评估。要判断下一步该往哪个方向改,Codex 需要检查当前输出,为结果打分,再决定下一步改什么,如此反复,直到结果足够好。
这类任务适合搭配自定义界面。让 Codex 记录每轮迭代的输出和生成的产物,您就能直观地查看进展。 您可以在应用中观察 Codex 持续工作,看目标产物、模型输出或生成的素材如何逐步改进。 您需要为 Codex 提供必要的脚本,让它能计算评估指标,并生成可供检查的产物。
先确定评估方法
任务开始前,先明确如何判断任务是否成功。通常最好结合以下两类检查:
- 确定性检查: 脚本可以直接评分,例如检查是否违反约束条件,或用代码计算确定性指标。
- 由 LLM 担任评审的检查: 对于相似度、可读性、实用性或整体质量等难以用代码精确定义的特性,让 LLM 根据评分标准打分。评审对象可以是文本或图像输出。
如果主观判断很重要,请为 Codex 提供一个能调用模型并返回结构化评分的脚本,例如通过 Responses API 调用模型。保留确定性检查,同时让模型按一致的标准评判原本需要人工查看的部分。
让评估结果采用机器可读的格式,并在每次运行后保存,以便比较历次结果。这样,迭代效果最好。
提示:向 Codex 说明您想运行哪些检查,让它为您生成评估脚本。
明确告诉 Codex 何时停止
如果提示词只要求“持续改进”,却没说明何时停止,复杂任务往往会逐渐偏离目标。请明确停止条件。
您可以这样设置:
- 为总分设定目标值。
- 为 LLM 评审的平均分单独设定目标值。
- 告诉 Codex 继续迭代,直到两项都超过各自的阈值。只有一项超过阈值时也要继续。
例如,如果目标是生成高质量的产物,可以让 Codex 持续迭代,直到总分和 LLM 评审的平均分都超过 90%。这样,Codex 就能判断当前结果是否达标、差距在哪里,以及最近一次改动是否有效。
持续记录迭代过程
对于长时间运行的任务,让 Codex 随时记录迭代过程,比仅靠聊天上下文可靠得多。
日志应记录以下内容:
- 迄今为止各项评分的最高值
- 上一轮迭代改了什么
- 评估结果显示哪些方面有所改善,哪些方面有所退步
- Codex 下一步打算尝试什么
任务运行时间越长,这些记录就越重要。恢复任务时,Codex 可以根据日志接着上次的进度继续工作。日志也保留了本次运行的自评记录。
除了日志,也要检查产物
对于某些复杂任务,仅看代码差异和输出的指标还不够。Codex 还应检查自己生成的产物。
如果输出是生成的图像、页面布局或渲染后的界面状态等可视化结果,请让 Codex 直接查看产物。例如,如果输出以图像文件保存在磁盘上,可以让 Codex 查看图像,将当前结果与此前的最佳结果进行比较,或对照预定的评分标准检查当前结果。
这样,每轮迭代都有更充分的依据:
- 评估脚本给出分数
- 查看产物可以发现分数未能反映的问题
- Codex 结合两者决定下一步怎么改
这比在两次运行之间盲目修改代码有效得多。
明确每轮迭代的步骤
请让 Codex 每轮都按以下步骤操作:
- 对当前基线运行评估。
- 根据评分和产物,找出对结果影响最大的问题。
- 针对这个瓶颈做一项改动。
- 重新运行评估。
- 记录新的评分,并注明这次改动是否有效。
- 继续迭代,直到各项评分达到设定的阈值。
请坚持执行这些步骤。如果每轮同时改动太多,Codex 就无法判断究竟是哪项改动提高了分数。如果跳过日志记录,任务结果就难以核实,任务中断后也难以接着做下去。
相关使用场景
读懂大型代码库
让 Codex 帮您梳理陌生代码库的结构,解释各模块的职责和数据流向,并指出修改代码前值得先读哪些文件。
将工作流保存为技能
您可以把已成功完成任务的 Codex 聊天记录、审查规则、测试命令、发布清单、设计约定、写作示例或特定代码仓库的脚本整理成技能,供 Codex 在后续任务中使用。
开发网页游戏
让 Codex 根据游戏设计概要制定清晰的开发计划,再按计划做出可玩的网页游戏。使用 imagegen 生成美术素材,让 Codex 在真实浏览器中试玩,逐步改进游戏操控和界面。