如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題
Codex

Codex 應用案例

反覆改進,解決難題

讓 Codex 根據每一輪的評分持續改進,完成困難的任務。

難度 Advanced
任務時間跨度 Long-running

為 Codex 建立評估機制,例如用指令碼評分,並保留可供檢查的產出,讓 Codex 持續改進困難任務的成果,直到分數達標。

最適合的對象

  • 每一輪都能評分,但通常需要多次嘗試才能取得最佳結果的問題
  • 產出為視覺內容或需主觀判斷,且同時需要確定性檢查與 LLM 評分的任務
  • 需要明確記錄進度的長時間 Codex 對話,以免只能靠上下文追蹤進展

目錄

    ← 所有應用案例

    反覆改進,解決難題

    讓 Codex 根據每一輪的評分持續改進,完成困難的任務。

    為 Codex 建立評估機制,例如用指令碼評分,並保留可供檢查的產出,讓 Codex 持續改進困難任務的成果,直到分數達標。

    Advanced
    Long-running

    為 Codex 建立評估機制,例如用指令碼評分,並保留可供檢查的產出,讓 Codex 持續改進困難任務的成果,直到分數達標。

    Advanced
    Long-running

    最適合的對象

    • 每一輪都能評分,但通常需要多次嘗試才能取得最佳結果的問題
    • 產出為視覺內容或需主觀判斷,且同時需要確定性檢查與 LLM 評分的任務
    • 需要明確記錄進度的長時間 Codex 對話,以免只能靠上下文追蹤進展

    入門提示詞

    這個工作區裡有一項困難的任務,請根據每一輪的評估結果持續改進。 開始修改前: - 閱讀 `AGENTS.md`。 - 找出用來為目前產出評分的指令碼或指令。 每一輪請依下列步驟進行: - 一次只針對一個重點改進。 - 每次做出實質修改後,重新執行評估指令。 - 記錄分數和修改內容。 - 直接檢查產出。如果是視覺內容,請使用 `view_image`。 - 持續改進,直到整體分數和 LLM 評出的平均分數都高於 90%。 限制條件: - 第一次得到可接受的結果時,請繼續改進。 - 只有在新版本的分數明顯下降或產出品質明顯變差時,才可還原到先前的版本。 - 如果評估分數有所提升但仍未達標,請說明瓶頸並繼續改進。 請列出: - 目前的最佳分數 - 主要輪次的改進紀錄 - 仍存在的風險或不足之處
    這個工作區裡有一項困難的任務,請根據每一輪的評估結果持續改進。 開始修改前: - 閱讀 `AGENTS.md`。 - 找出用來為目前產出評分的指令碼或指令。 每一輪請依下列步驟進行: - 一次只針對一個重點改進。 - 每次做出實質修改後,重新執行評估指令。 - 記錄分數和修改內容。 - 直接檢查產出。如果是視覺內容,請使用 `view_image`。 - 持續改進,直到整體分數和 LLM 評出的平均分數都高於 90%。 限制條件: - 第一次得到可接受的結果時,請繼續改進。 - 只有在新版本的分數明顯下降或產出品質明顯變差時,才可還原到先前的版本。 - 如果評估分數有所提升但仍未達標,請說明瓶頸並繼續改進。 請列出: - 目前的最佳分數 - 主要輪次的改進紀錄 - 仍存在的風險或不足之處

    簡介

    有些任務只要驗證一次:建置成功、測試全數通過,任務就完成了。但有些最佳化問題很難解決,需要反覆調整,並在每次調整後立即評估。為了判斷下一步該往哪個方向調整,Codex 必須檢查目前的輸出、評分,再決定下一次要改什麼,反覆進行直到結果確實令人滿意。

    這類任務很適合搭配自訂介面。讓 Codex 記錄每次迭代的輸出及產物,你就能在介面上直接查看進度。 你可以在應用程式中觀察 Codex 持續執行任務,也能看到目標產物、模型輸出或生成的素材逐步改善。 要做到這一點,請提供 Codex 所需的指令碼,讓它能計算評估指標,並產生可供檢查的產物。

    先設計評估方式

    開始任務前,先定義如何衡量是否達標。通常最好結合以下兩種檢查:

    • 確定性檢查: 由指令碼直接評分,例如檢查是否違反限制條件,或用程式碼計算確定性指標。
    • 由 LLM 擔任評審的檢查: 對於難以用程式碼精確定義的特性,例如相似度、可讀性、實用性或整體品質,讓 LLM 依評分準則為文字或影像輸出打分數。

    如果主觀判斷很重要,請提供 Codex 一個能呼叫模型並傳回結構化分數的指令碼,例如透過 Responses API 呼叫模型。保留確定性檢查,再讓模型以一致的標準評估原本需要人工檢視的部分。

    每次執行後,都將評估結果儲存為機器可讀的格式,方便比較歷次結果。這樣最能發揮評估迴圈的效果。

    提示:告訴 Codex 你想執行哪些檢查,請它為你產生評估指令碼。

    為 Codex 設定停止條件

    處理困難任務時,如果提示詞只說「持續改善」,卻沒說何時該停,任務就容易偏離方向。請明確訂出停止條件。

    你可以這樣設定:

    1. 為整體分數設定目標值。
    2. 為 LLM 評分的平均值另設目標值。
    3. 告訴 Codex,兩項分數都超過各自的門檻才能停止。如果只有一項超過,就繼續迭代。

    例如,如果目標是產出高品質的成果,可以要求 Codex 持續迭代,直到整體分數與 LLM 評分的平均值都超過 90%。有了明確的目標,Codex 就能判斷目前是否達標、差距在哪裡,以及最近一次調整是否有效。

    持續記錄每次迭代

    執行長時間任務時,除了參考對話上下文,讓 Codex 記下每次迭代的情況,執行過程會可靠得多。

    每次迭代都應記錄:

    • 目前的最佳分數
    • 上一次迭代做了哪些調整
    • 評估結果顯示哪些方面有改善、哪些變差了
    • Codex 接下來打算嘗試什麼

    任務執行時間越長,這份紀錄就越重要。這份紀錄既能讓 Codex 在恢復任務時接續先前的工作,也保留了本次執行的自我評估結果。

    除了紀錄,也要檢查產物

    對於某些困難任務,光看程式碼差異和指標數值還不夠。Codex 也應該檢查實際產物。

    如果輸出是生成的影像、版面配置或畫面算繪結果等視覺內容,請讓 Codex 直接檢查。例如,輸出若已存成磁碟上的影像檔,Codex 就可以查看該檔案,將目前的結果與先前的最佳結果比較,或依既定的評分準則逐項檢視。

    這樣能讓每次迭代更有效:

    • 評估指令碼會回報分數
    • 檢查產物能看出分數未能反映的細節
    • Codex 可以根據兩者決定下一步要改什麼

    這比每次執行後盲目修改程式碼有效得多。

    明確訂出每次迭代的步驟

    請 Codex 每次都依照相同的步驟迭代:

    1. 對目前的基準版本執行評估。
    2. 根據分數與產物,找出影響結果最大的問題。
    3. 針對這個瓶頸做一項調整。
    4. 重新執行評估。
    5. 記錄新的分數,並註明這次調整是否有效。
    6. 持續迭代,直到達到各項門檻。

    務必確實執行每個步驟。如果一次改動太多地方,Codex 就無法判斷是哪項調整提高了分數。如果略過紀錄,執行結果就難以採信,任務中斷後也很難接續。

    相關應用案例