如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题
Codex

Codex 使用场景

为您的 AI 应用添加评估

使用 Codex 根据预期行为编写 Promptfoo 评估套件。

难度 Intermediate
时间跨度 1h

请 Codex 检查您的 AI 应用,明确您想评估哪些行为,并添加一套可运行的 Promptfoo 评估套件。

最适合

  • 已有提示词、模型调用、工具、检索功能、智能体或产品需求,但还缺少可重复运行的评估套件的 AI 应用。
  • 准备调整模型、提示词、检索功能或智能体,并希望在合并 pull request 前运行回归测试的团队。
  • 需要将反复执行的手动检查写成评估用例并提交到代码仓库的质量审查。

目录

    ← 所有使用场景

    为您的 AI 应用添加评估

    使用 Codex 根据预期行为编写 Promptfoo 评估套件。

    请 Codex 检查您的 AI 应用,明确您想评估哪些行为,并添加一套可运行的 Promptfoo 评估套件。

    Intermediate
    1h

    请 Codex 检查您的 AI 应用,明确您想评估哪些行为,并添加一套可运行的 Promptfoo 评估套件。

    Intermediate
    1h

    最适合

    • 已有提示词、模型调用、工具、检索功能、智能体或产品需求,但还缺少可重复运行的评估套件的 AI 应用。
    • 准备调整模型、提示词、检索功能或智能体,并希望在合并 pull request 前运行回归测试的团队。
    • 需要将反复执行的手动检查写成评估用例并提交到代码仓库的质量审查。

    技能与插件

    • 此插件包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用于创建评估套件、接入评估目标、运行用例并检查套件质量。
    技能 使用理由
    Promptfoo 此插件包含 `$promptfoo-evals` 和 `$promptfoo-provider-setup`,可用于创建评估套件、接入评估目标、运行用例并检查套件质量。

    起始提示词

    使用 $promptfoo-evals 为此 AI 应用添加一套 Promptfoo 评估套件。如果还没有可用的 Promptfoo 提供程序或目标适配器,请先使用 $promptfoo-provider-setup。 要评估的行为:[support answer quality / tool-call correctness / retrieval grounding / business rules / agent task completion] 开始修改前: - 检查用户实际使用的应用流程,以及已有的评估用例或测试。 - 提出一份尽可能精简且实用的评估方案,列出目标适配器、初始用例、断言、文件、命令以及所需的环境变量或本地服务。 - 在建立并运行基线评估之前,不要更改生产环境中的提示词、模型设置或应用行为。 要求: - 尽可能测试用户实际使用的应用流程,不要只测试直接传给模型的提示词。 - 确保测试夹具中不含机密信息、客户数据或敏感个人数据。 - 添加 `npm run evals` 等本地评估命令,或在文档中写明运行评估的确切命令。 最后请列出: - 已修改的文件 - 已运行的评估命令 - 通过和失败的用例 - 建议接下来添加的评估用例
    使用 $promptfoo-evals 为此 AI 应用添加一套 Promptfoo 评估套件。如果还没有可用的 Promptfoo 提供程序或目标适配器,请先使用 $promptfoo-provider-setup。 要评估的行为:[support answer quality / tool-call correctness / retrieval grounding / business rules / agent task completion] 开始修改前: - 检查用户实际使用的应用流程,以及已有的评估用例或测试。 - 提出一份尽可能精简且实用的评估方案,列出目标适配器、初始用例、断言、文件、命令以及所需的环境变量或本地服务。 - 在建立并运行基线评估之前,不要更改生产环境中的提示词、模型设置或应用行为。 要求: - 尽可能测试用户实际使用的应用流程,不要只测试直接传给模型的提示词。 - 确保测试夹具中不含机密信息、客户数据或敏感个人数据。 - 添加 `npm run evals` 等本地评估命令,或在文档中写明运行评估的确切命令。 最后请列出: - 已修改的文件 - 已运行的评估命令 - 通过和失败的用例 - 建议接下来添加的评估用例

    简介

    无论是开发新的 AI 应用,还是修改现有应用,您都需要确认应用的行为符合预期。通过评估,您可以系统地测试一组场景,在发布前发现回归问题。

    您可以使用 Promptfoo 评估 AI 应用,并让 Codex 帮您创建和维护评估用例。

    使用方法

    在 Codex 中使用 Promptfoo 插件的 $promptfoo-evals 技能,为 AI 应用的一项具体行为创建可重复运行的评估套件。如果应用还没有可用的 Promptfoo 测试目标,$promptfoo-provider-setup 可以帮您将套件连接到要测试的应用执行路径。

    Codex 可以检查应用,提出能有效发现问题的用例,添加 Promptfoo 配置和测试数据,在本地运行套件,并提供一条可重复使用的命令。

    这种方法最适合评估具体行为,例如客服回答的质量、回答能否基于检索结果落地、分类器输出的标签、工具调用、JSON 结构、业务规则是否得到遵守,或迁移提示词和模型后应用是否仍按预期运行。

    第一版应交付可供审查的代码和测试数据,包括 promptfooconfig.yaml 或等效配置、一个小型 evals/ 目录、测试用例、调用应用所需的目标适配器,以及 npm run evals 这样的本地命令。

    选择评估内容

    先选一项用户能实际感受到的产品承诺。避免让 Codex 一次评估整个 AI 系统。规模较小的套件更容易审查,评估结果更容易让人信服,也更便于持续运行。

    您可以从以下目标入手:

    • 正确性: 分类、提取、摘要生成、路由或转换的结果是否正确。
    • 落地: 回答是否始终以检索到的文档或引用的来源为依据。
    • 工具使用: 应用能否选择正确的工具、传入有效参数并处理工具错误。
    • 格式或业务规则: 输出是否符合 JSON 模式、字段命名要求、业务规则中的限制或界面文案约定。
    • 提示词或模型迁移: 确认换用新的提示词、模型、系统消息或检索设置后,重要用例仍能通过。

    您可以从产品需求、缺陷报告、升级处理的支持问题,或团队愿意提交到代码仓库的脱敏示例入手。

    让 Codex 制定评估计划

    Codex 应先检查应用,再修改文件。请它在计划中列明目标路径、测试夹具、断言、适配器和命令。这样,您就能在添加文件前发现目标选错或测试用例不足以检验预期行为等问题。

    实施前请审查计划。计划应列明 Promptfoo 将调用的应用路径或端点、首批测试用例、断言、Codex 将创建的文件、本地运行命令,以及所需的密钥或服务。如果计划直接测试底层模型,绕过了用户实际使用的应用路径,请让 Codex 说明是否有意这样设计。

    实施、运行和迭代

    确认计划正确后,请 Codex 实施。第一版应尽量简单,包括配置、用例、测试夹具、必要时使用的目标适配器、一条运行命令,以及该命令已实际运行的记录。

    一个调用实际应用的小型评估套件可以采用以下结构:

    evals/
      promptfooconfig.yaml
      tests/
        cases.yaml
      providers/
        provider.js  # only if the built-in provider cannot call the app directly

    更改应用行为前,先运行套件。以这次运行结果为基线,您可以判断应用是否已经无法通过某些用例、断言是否需要调整,或目标适配器是否有误。如果断言容易因无关变化而失败,或判定条件过于模糊,请调整断言,同时确保测试仍能暴露真实的产品问题。

    首次运行后,每次发布应用变更前,都可以用套件比较变更前后的表现。如果缺陷、上线要求或产品审查揭示了需要保持稳定的行为,请为其添加新用例。本地命令能够稳定运行后,请 Codex 将其加入 CI 流程或发布检查清单。

    相关使用场景