如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題
Codex

Codex 應用案例

為 AI 應用程式加入評估測試

使用 Codex 將預期行為寫成一套 Promptfoo 評估測試。

難度 Intermediate
任務時間跨度 1h

請 Codex 檢查你的 AI 應用程式,找出你想評估的行為,並加入可執行的 Promptfoo 評估套件。

最適合的對象

  • AI 應用程式已有提示詞、模型呼叫、工具、檢索功能、智慧體或產品需求,但還沒有可重複執行的評估套件。
  • 團隊準備調整模型、提示詞、檢索功能或智慧體,希望在合併 pull request 前先加入迴歸測試。
  • 品質審查中有些項目需要反覆手動檢查,適合寫成評估案例並提交至程式碼庫。

目錄

    ← 所有應用案例

    為 AI 應用程式加入評估測試

    使用 Codex 將預期行為寫成一套 Promptfoo 評估測試。

    請 Codex 檢查你的 AI 應用程式,找出你想評估的行為,並加入可執行的 Promptfoo 評估套件。

    Intermediate
    1h

    請 Codex 檢查你的 AI 應用程式,找出你想評估的行為,並加入可執行的 Promptfoo 評估套件。

    Intermediate
    1h

    最適合的對象

    • AI 應用程式已有提示詞、模型呼叫、工具、檢索功能、智慧體或產品需求,但還沒有可重複執行的評估套件。
    • 團隊準備調整模型、提示詞、檢索功能或智慧體,希望在合併 pull request 前先加入迴歸測試。
    • 品質審查中有些項目需要反覆手動檢查,適合寫成評估案例並提交至程式碼庫。

    技能與外掛程式

    • 此外掛程式包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用來建立評估套件、連接評估目標、執行測試並檢查套件品質。
    技能 使用理由
    Promptfoo 此外掛程式包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用來建立評估套件、連接評估目標、執行測試並檢查套件品質。

    入門提示詞

    使用 $promptfoo-evals 為這個 AI 應用程式加入 Promptfoo 評估套件。如果還沒有可用的 Promptfoo 提供者或目標轉接器,請先使用 $promptfoo-provider-setup。 要評估的行為:[客服答覆品質/工具呼叫的正確性/回答是否以檢索結果為接地依據/業務規則/智慧體的任務完成情況] 開始修改前: - 檢查使用者操作應用程式時實際觸發的程式碼路徑,以及現有的評估或測試。 - 提出能滿足評估需求的最小計畫,列出目標轉接器、初始案例、斷言、檔案、指令,以及必要的環境變數或本機服務。 - 在建立並執行基準評估前,請勿變更正式環境的提示詞、模型設定或應用程式行為。 要求: - 盡可能測試使用者操作應用程式時實際觸發的程式碼路徑,避免只測試直接傳給模型的提示詞。 - 測試資料不得包含金鑰等機密資訊、客戶資料或敏感個人資料。 - 加入可在本機執行評估的指令,例如 `npm run evals`,或在文件中寫明要執行的完整指令。 完成後請列出: - 已變更的檔案 - 已執行的評估指令 - 通過和失敗的案例 - 建議接下來加入的評估測試
    使用 $promptfoo-evals 為這個 AI 應用程式加入 Promptfoo 評估套件。如果還沒有可用的 Promptfoo 提供者或目標轉接器,請先使用 $promptfoo-provider-setup。 要評估的行為:[客服答覆品質/工具呼叫的正確性/回答是否以檢索結果為接地依據/業務規則/智慧體的任務完成情況] 開始修改前: - 檢查使用者操作應用程式時實際觸發的程式碼路徑,以及現有的評估或測試。 - 提出能滿足評估需求的最小計畫,列出目標轉接器、初始案例、斷言、檔案、指令,以及必要的環境變數或本機服務。 - 在建立並執行基準評估前,請勿變更正式環境的提示詞、模型設定或應用程式行為。 要求: - 盡可能測試使用者操作應用程式時實際觸發的程式碼路徑,避免只測試直接傳給模型的提示詞。 - 測試資料不得包含金鑰等機密資訊、客戶資料或敏感個人資料。 - 加入可在本機執行評估的指令,例如 `npm run evals`,或在文件中寫明要執行的完整指令。 完成後請列出: - 已變更的檔案 - 已執行的評估指令 - 通過和失敗的案例 - 建議接下來加入的評估測試

    簡介

    開發 AI 應用程式或修改現有應用程式時,你需要確認它的行為符合預期。透過評估,你可以有系統地測試一組情境,在發布前發現原本正常的功能是否因變更而出錯。

    你可以使用 Promptfoo 評估 AI 應用程式,並請 Codex 協助建立及維護這些評估。

    使用方式

    在 Codex 中使用 Promptfoo 外掛程式的 $promptfoo-evals 技能,針對 AI 應用程式的一項行為建立可重複執行的評估套件。如果應用程式還沒有可供 Promptfoo 呼叫的測試目標,$promptfoo-provider-setup 可以協助你將套件連接到想測試的應用程式路徑。

    Codex 可以檢查應用程式、提出能有效找出問題的測試案例、新增 Promptfoo 設定與測試資料、在本機執行套件,並提供日後可重複使用的指令。

    這種做法最適合評估具體的行為,例如客服回覆品質、回答能否根據檢索結果接地、分類器輸出的標籤、工具呼叫、JSON 結構、業務規則,或遷移提示詞或模型後應用程式的行為是否仍符合預期。

    第一版應提供可供審查的程式碼與測試資料,包括 promptfooconfig.yaml 或同等的設定檔、小型 evals/ 目錄、測試案例、呼叫應用程式所需的目標轉接器,以及可在本機執行的指令,例如 npm run evals。

    選擇評估項目

    先選一項產品承諾提供、使用者也能直接觀察到的行為。避免要求 Codex 一次評估整個 AI 系統。範圍較小的套件更容易審查,也更容易持續執行並取得可信的結果。

    適合優先評估的項目包括:

    • 正確性: 分類、擷取、摘要、路由或轉換的結果是否正確。
    • 接地: 回答是否以檢索到的文件或引用的來源為依據。
    • 工具使用: 能否選擇正確的工具、傳入有效的引數,並處理工具錯誤。
    • 格式或業務規則: 是否符合 JSON 結構描述、欄位命名要求、業務規則的限制或介面文案規範。
    • 提示詞或模型遷移: 確認採用新的提示詞、模型、系統訊息或檢索設定後,重要案例仍能通過。

    你可以從產品需求、錯誤回報、需要升級處理的客服案件,或團隊已移除敏感資訊且願意提交至程式碼庫的範例著手。

    請 Codex 擬定評估計畫

    Codex 應先檢查應用程式,再動手修改。請它在計畫中列出目標路徑、測試用的預設資料、斷言、轉接器與指令。這樣你就能在新增檔案前,發現測試目標選錯或案例不足以驗證預期行為等問題。

    實作前先審查計畫。計畫應列出 Promptfoo 將呼叫的應用程式路徑或端點、第一批測試案例、斷言、Codex 將建立的檔案、本機執行指令,以及所需的機密資訊或服務。如果計畫繞過使用者實際使用的應用程式路徑,直接測試模型,請向 Codex 確認這是否為刻意安排。

    實作、執行與調整

    確認計畫無誤後,請 Codex 著手實作。第一版保持簡單即可:準備設定、測試案例、測試用的預設資料與執行指令,視需要加入目標轉接器,並提供指令確實執行過的紀錄。

    直接測試應用程式的小型套件可以採用以下結構:

    evals/
      promptfooconfig.yaml
      tests/
        cases.yaml
      providers/
        provider.js  # only if the built-in provider cannot call the app directly

    變更應用程式行為前,先執行評估套件。這次執行的結果可作為基準,協助你判斷應用程式是否原本就無法通過某些案例、斷言是否需要調整,或目標轉接器是否有誤。如果斷言容易因無關緊要的差異而失敗,或判定條件太模糊,就加以調整,但要確保測試仍能指出產品的實際問題。

    首次執行後,每次發布應用程式變更前,都可以用這套評估比較變更前後的表現。每當錯誤、上線需求或產品審查指出某項行為需要保持穩定,就為它新增測試案例。等本機指令能穩定執行後,請 Codex 將它加入 CI 或發布檢查清單。

    相關應用案例