For the complete documentation index, see llms.txt. Markdown versions of documentation pages are available by appending .md to the page URL.
主要導覽

紅隊演練

在部署前探查 AI 系統的濫用與安全風險。

紅隊演練使用對抗性測試案例,協助在部署前找出不安全、具有資安風險或違反政策的行為。它著重於一般品質測試可能無法揭露的濫用案例、失效模式和高風險互動,藉此補足評估。

重要:僅可向 OpenAI Red Teaming 提交你擁有或已獲明確授權測試的程式碼或其他 資產。未經 OpenAI 明確書面許可, 不得使用 OpenAI Red Teaming 分析或回報開源程式碼或任何第三方 程式碼中的漏洞。

使用開源工具 Promptfoo 進行紅隊演練

Promptfoo 是用於評估提示詞、智慧體和 AI 應用程式的開源框架。其紅隊演練工作流程可協助你產生對抗性測試案例、檢查受測目標的行為,並運用結果改善系統。

如需更全面地瞭解開源紅隊演練方法,請參閱 Promptfoo 的 LLM 紅隊演練指南

企業客戶適用服務

OpenAI Red Teaming 為企業客戶提供託管服務,滿足針對 AI 應用程式和智慧體進行紅隊演練的需求。相較於獨立的本機工作流程,企業工作流程可支援更廣泛的協調、審查與報告需求。

紅隊演練與評估

使用評估來衡量 AI 系統的行為是否符合預期。使用紅隊演練來探查系統在面對對抗性、濫用或非預期輸入時的行為。成熟的評估計畫通常會同時採用兩者。