Codex 應用案例
為 AI 應用程式加入評估測試
使用 Codex 將預期行為寫成一套 Promptfoo 評估測試。
請 Codex 檢查你的 AI 應用程式,找出你想評估的行為,並加入可執行的 Promptfoo 評估套件。
最適合的對象
- AI 應用程式已有提示詞、模型呼叫、工具、檢索功能、智慧體或產品需求,但還沒有可重複執行的評估套件。
- 團隊準備調整模型、提示詞、檢索功能或智慧體,希望在合併 pull request 前先加入迴歸測試。
- 品質審查中有些項目需要反覆手動檢查,適合寫成評估案例並提交至程式碼庫。
目錄
為 AI 應用程式加入評估測試
使用 Codex 將預期行為寫成一套 Promptfoo 評估測試。
請 Codex 檢查你的 AI 應用程式,找出你想評估的行為,並加入可執行的 Promptfoo 評估套件。
最適合的對象
- AI 應用程式已有提示詞、模型呼叫、工具、檢索功能、智慧體或產品需求,但還沒有可重複執行的評估套件。
- 團隊準備調整模型、提示詞、檢索功能或智慧體,希望在合併 pull request 前先加入迴歸測試。
- 品質審查中有些項目需要反覆手動檢查,適合寫成評估案例並提交至程式碼庫。
技能與外掛程式
- 此外掛程式包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用來建立評估套件、連接評估目標、執行測試並檢查套件品質。
| 技能 | 使用理由 |
|---|---|
| Promptfoo | 此外掛程式包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用來建立評估套件、連接評估目標、執行測試並檢查套件品質。 |
入門提示詞
簡介
開發 AI 應用程式或修改現有應用程式時,你需要確認它的行為符合預期。透過評估,你可以有系統地測試一組情境,在發布前發現原本正常的功能是否因變更而出錯。
你可以使用 Promptfoo 評估 AI 應用程式,並請 Codex 協助建立及維護這些評估。
使用方式
在 Codex 中使用 Promptfoo 外掛程式的 $promptfoo-evals 技能,針對 AI 應用程式的一項行為建立可重複執行的評估套件。如果應用程式還沒有可供 Promptfoo 呼叫的測試目標,$promptfoo-provider-setup 可以協助你將套件連接到想測試的應用程式路徑。
Codex 可以檢查應用程式、提出能有效找出問題的測試案例、新增 Promptfoo 設定與測試資料、在本機執行套件,並提供日後可重複使用的指令。
這種做法最適合評估具體的行為,例如客服回覆品質、回答能否根據檢索結果接地、分類器輸出的標籤、工具呼叫、JSON 結構、業務規則,或遷移提示詞或模型後應用程式的行為是否仍符合預期。
第一版應提供可供審查的程式碼與測試資料,包括 promptfooconfig.yaml 或同等的設定檔、小型 evals/ 目錄、測試案例、呼叫應用程式所需的目標轉接器,以及可在本機執行的指令,例如 npm run evals。
選擇評估項目
先選一項產品承諾提供、使用者也能直接觀察到的行為。避免要求 Codex 一次評估整個 AI 系統。範圍較小的套件更容易審查,也更容易持續執行並取得可信的結果。
適合優先評估的項目包括:
- 正確性: 分類、擷取、摘要、路由或轉換的結果是否正確。
- 接地: 回答是否以檢索到的文件或引用的來源為依據。
- 工具使用: 能否選擇正確的工具、傳入有效的引數,並處理工具錯誤。
- 格式或業務規則: 是否符合 JSON 結構描述、欄位命名要求、業務規則的限制或介面文案規範。
- 提示詞或模型遷移: 確認採用新的提示詞、模型、系統訊息或檢索設定後,重要案例仍能通過。
你可以從產品需求、錯誤回報、需要升級處理的客服案件,或團隊已移除敏感資訊且願意提交至程式碼庫的範例著手。
請 Codex 擬定評估計畫
Codex 應先檢查應用程式,再動手修改。請它在計畫中列出目標路徑、測試用的預設資料、斷言、轉接器與指令。這樣你就能在新增檔案前,發現測試目標選錯或案例不足以驗證預期行為等問題。
實作前先審查計畫。計畫應列出 Promptfoo 將呼叫的應用程式路徑或端點、第一批測試案例、斷言、Codex 將建立的檔案、本機執行指令,以及所需的機密資訊或服務。如果計畫繞過使用者實際使用的應用程式路徑,直接測試模型,請向 Codex 確認這是否為刻意安排。
實作、執行與調整
確認計畫無誤後,請 Codex 著手實作。第一版保持簡單即可:準備設定、測試案例、測試用的預設資料與執行指令,視需要加入目標轉接器,並提供指令確實執行過的紀錄。
直接測試應用程式的小型套件可以採用以下結構:
evals/
promptfooconfig.yaml
tests/
cases.yaml
providers/
provider.js # only if the built-in provider cannot call the app directly
變更應用程式行為前,先執行評估套件。這次執行的結果可作為基準,協助你判斷應用程式是否原本就無法通過某些案例、斷言是否需要調整,或目標轉接器是否有誤。如果斷言容易因無關緊要的差異而失敗,或判定條件太模糊,就加以調整,但要確保測試仍能指出產品的實際問題。
首次執行後,每次發布應用程式變更前,都可以用這套評估比較變更前後的表現。每當錯誤、上線需求或產品審查指出某項行為需要保持穩定,就為它新增測試案例。等本機指令能穩定執行後,請 Codex 將它加入 CI 或發布檢查清單。
相關應用案例
升級你的 API 整合
使用 Codex 更新現有的 OpenAI API 整合,採用最新推薦的模型和 API 功能,並在發布前檢查是否出現迴歸問題。
逐一修補積壓的漏洞
從工單工具或漏洞通報系統匯入已核准的安全問題,再用 Codex Security 外掛程式逐一確認並修補。每次只修改必要的程式碼,並提供回歸驗證結果。
修正安全性掃描發現的問題
使用 Codex Security 外掛程式,針對掃描結果中一項已檢閱的問題產生修補程式。在本機檢閱並套用變更,驗證修正結果,再準備 pull request 並附上佐證資料。