Codex 使用场景
为您的 AI 应用添加评估
使用 Codex 根据预期行为编写 Promptfoo 评估套件。
请 Codex 检查您的 AI 应用,明确您想评估哪些行为,并添加一套可运行的 Promptfoo 评估套件。
最适合
- 已有提示词、模型调用、工具、检索功能、智能体或产品需求,但还缺少可重复运行的评估套件的 AI 应用。
- 准备调整模型、提示词、检索功能或智能体,并希望在合并 pull request 前运行回归测试的团队。
- 需要将反复执行的手动检查写成评估用例并提交到代码仓库的质量审查。
目录
为您的 AI 应用添加评估
使用 Codex 根据预期行为编写 Promptfoo 评估套件。
请 Codex 检查您的 AI 应用,明确您想评估哪些行为,并添加一套可运行的 Promptfoo 评估套件。
最适合
- 已有提示词、模型调用、工具、检索功能、智能体或产品需求,但还缺少可重复运行的评估套件的 AI 应用。
- 准备调整模型、提示词、检索功能或智能体,并希望在合并 pull request 前运行回归测试的团队。
- 需要将反复执行的手动检查写成评估用例并提交到代码仓库的质量审查。
技能与插件
- 此插件包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用于创建评估套件、接入评估目标、运行用例并检查套件质量。
| 技能 | 使用理由 |
|---|---|
| Promptfoo | 此插件包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用于创建评估套件、接入评估目标、运行用例并检查套件质量。 |
起始提示词
简介
无论是开发新的 AI 应用,还是修改现有应用,您都需要确认应用的行为符合预期。通过评估,您可以系统地测试一组场景,在发布前发现回归问题。
您可以使用 Promptfoo 评估 AI 应用,并让 Codex 帮您创建和维护评估用例。
使用方法
在 Codex 中使用 Promptfoo 插件的 $promptfoo-evals 技能,为 AI 应用的一项具体行为创建可重复运行的评估套件。如果应用还没有可用的 Promptfoo 测试目标,$promptfoo-provider-setup 可以帮您将套件连接到要测试的应用执行路径。
Codex 可以检查应用,提出能有效发现问题的用例,添加 Promptfoo 配置和测试数据,在本地运行套件,并提供一条可重复使用的命令。
这种方法最适合评估具体行为,例如客服回答的质量、回答能否基于检索结果落地、分类器输出的标签、工具调用、JSON 结构、业务规则是否得到遵守,或迁移提示词和模型后应用是否仍按预期运行。
第一版应交付可供审查的代码和测试数据,包括 promptfooconfig.yaml 或等效配置、一个小型 evals/ 目录、测试用例、调用应用所需的目标适配器,以及 npm run evals 这样的本地命令。
选择评估内容
先选一项用户能实际感受到的产品承诺。避免让 Codex 一次评估整个 AI 系统。规模较小的套件更容易审查,评估结果更容易让人信服,也更便于持续运行。
您可以从以下目标入手:
- 正确性: 分类、提取、摘要生成、路由或转换的结果是否正确。
- 落地: 回答是否始终以检索到的文档或引用的来源为依据。
- 工具使用: 应用能否选择正确的工具、传入有效参数并处理工具错误。
- 格式或业务规则: 输出是否符合 JSON 模式、字段命名要求、业务规则中的限制或界面文案约定。
- 提示词或模型迁移: 确认换用新的提示词、模型、系统消息或检索设置后,重要用例仍能通过。
您可以从产品需求、缺陷报告、升级处理的支持问题,或团队愿意提交到代码仓库的脱敏示例入手。
让 Codex 制定评估计划
Codex 应先检查应用,再修改文件。请它在计划中列明目标路径、测试夹具、断言、适配器和命令。这样,您就能在添加文件前发现目标选错或测试用例不足以检验预期行为等问题。
实施前请审查计划。计划应列明 Promptfoo 将调用的应用路径或端点、首批测试用例、断言、Codex 将创建的文件、本地运行命令,以及所需的密钥或服务。如果计划直接测试底层模型,绕过了用户实际使用的应用路径,请让 Codex 说明是否有意这样设计。
实施、运行和迭代
确认计划正确后,请 Codex 实施。第一版应尽量简单,包括配置、用例、测试夹具、必要时使用的目标适配器、一条运行命令,以及该命令已实际运行的记录。
一个调用实际应用的小型评估套件可以采用以下结构:
evals/
promptfooconfig.yaml
tests/
cases.yaml
providers/
provider.js # only if the built-in provider cannot call the app directly
更改应用行为前,先运行套件。以这次运行结果为基线,您可以判断应用是否已经无法通过某些用例、断言是否需要调整,或目标适配器是否有误。如果断言容易因无关变化而失败,或判定条件过于模糊,请调整断言,同时确保测试仍能暴露真实的产品问题。
首次运行后,每次发布应用变更前,都可以用套件比较变更前后的表现。如果缺陷、上线要求或产品审查揭示了需要保持稳定的行为,请为其添加新用例。本地命令能够稳定运行后,请 Codex 将其加入 CI 流程或发布检查清单。
相关使用场景
升级您的 API 集成
使用 Codex 更新现有的 OpenAI API 集成,采用最新推荐的模型和 API 功能,并在发布前检查是否出现回归问题。
逐项修复积压的漏洞
从工单工具或漏洞报告系统导入已获批准的安全问题记录,再使用 Codex Security 插件逐项验证和修复。每个补丁只改动修复该问题所必需的代码,并附上回归验证结果。
修复安全扫描发现的问题
使用 Codex Security 插件,为扫描中发现且已审查的问题生成有针对性的补丁。在本地审查并应用更改,验证修复效果,然后准备 pull request 并附上验证证据。