Introducción

Cuando creas una aplicación de IA o modificas una existente, quieres asegurarte de que se comporte como esperas. Las evaluaciones te permiten probar un conjunto de escenarios de forma sistemática y detectar regresiones antes de publicar los cambios.

Puedes usar Promptfoo para ejecutar evaluaciones en tu aplicación de IA y Codex para que te ayude a crearlas y mantenerlas.

Cómo usarlo

Usa Codex con la habilidad $promptfoo-evals del complemento de Promptfoo para crear un conjunto de evaluaciones que puedas ejecutar cada vez que quieras probar un comportamiento concreto de tu aplicación de IA. Si aún no tienes configurado un destino de Promptfoo que funcione con la aplicación, $promptfoo-provider-setup te ayuda a conectar las evaluaciones con la ruta de la aplicación que quieres probar.

Codex puede inspeccionar la aplicación, proponer casos que ayuden a detectar fallos, agregar la configuración de Promptfoo y los datos de prueba, ejecutar las evaluaciones de forma local y darte un comando que puedas seguir usando.

Este caso de uso funciona mejor cuando evalúas un aspecto concreto, como la calidad de las respuestas de soporte, el anclaje en los documentos recuperados, las etiquetas de un clasificador, las llamadas a herramientas, la estructura del JSON, las reglas de negocio o la confianza con la que puedes migrar prompts y modelos.

La primera versión debería incluir código y datos de prueba que puedas revisar: un archivo promptfooconfig.yaml u otra configuración equivalente, un directorio evals/ pequeño, casos de prueba, el adaptador que haga falta para llamar a la aplicación y un comando local como npm run evals.

Elige qué evaluar

Empieza por un solo comportamiento que la aplicación deba ofrecer y que el usuario pueda observar. Evita pedirle a Codex que evalúe todo el sistema de IA de una sola vez. Con un conjunto pequeño de evaluaciones, es más fácil confiar en los resultados, revisar los casos y seguir ejecutándolos.

Puedes empezar por evaluar alguno de estos aspectos:

• Corrección: clasificación, extracción, generación de resúmenes, enrutamiento o transformación.
• Anclaje: respuestas que deben basarse en los documentos recuperados o en las fuentes citadas.
• Uso de herramientas: elección de la herramienta adecuada, envío de argumentos válidos y manejo de errores de las herramientas.
• Formato o reglas de negocio: esquemas JSON, nombres de campos, límites definidos por las reglas de negocio o requisitos que deben cumplir los textos de la interfaz.
• Migración de prompts o modelos: comprueba que los cambios de prompt, modelo, mensaje del sistema o configuración de recuperación no provoquen fallos en casos importantes.

Toma como punto de partida los requisitos del producto, los informes de errores, los casos de soporte escalados o ejemplos sin datos sensibles que tu equipo esté dispuesto a incorporar al repositorio.

Pide un plan de evaluación

Codex debe inspeccionar la aplicación antes de modificarla. Pídele un plan que especifique la ruta que se probará, los datos de prueba predefinidos, las aserciones, el adaptador y los comandos. Así podrás detectar si la ruta es incorrecta o si los casos de prueba son poco rigurosos antes de que se agreguen archivos.

Revisa el plan antes de implementarlo. Debe indicar la ruta o el punto de acceso de la aplicación al que llamará Promptfoo, los casos iniciales, las aserciones, los archivos que creará Codex, el comando local y los secretos o servicios necesarios. Si el plan propone probar el modelo directamente en lugar de la ruta que usan los usuarios en la aplicación, pregúntale a Codex si esa elección fue intencional.

Implementa, ejecuta y ajusta las evaluaciones

Cuando el plan sea correcto, pídele a Codex que lo implemente. La primera implementación debe ser sencilla: una configuración, casos de prueba, datos de prueba predefinidos, un adaptador para llamar a la aplicación si hace falta, un comando y constancia de que se ejecutó.

Un conjunto pequeño de evaluaciones que prueban la aplicación podría tener esta estructura:

evals/
  promptfooconfig.yaml
  tests/
    cases.yaml
  providers/
    provider.js  # only if the built-in provider cannot call the app directly

Ejecuta las evaluaciones antes de cambiar el comportamiento de la aplicación. Los resultados iniciales te indicarán si la aplicación ya falla en alguno de los casos, si las aserciones necesitan ajustes o si el adaptador es incorrecto. Ajusta las aserciones que fallen ante variaciones irrelevantes o que sean demasiado vagas, pero asegúrate de que los fallos reales del producto sigan siendo visibles.

Después de la primera ejecución, usa las evaluaciones para comparar los resultados de la aplicación con y sin los cambios que quieres publicar. Agrega casos cada vez que un error, un requisito de lanzamiento o una revisión del producto revele un comportamiento que quieras mantener estable. Una vez que el comando local funcione de manera estable, pídele a Codex que lo agregue al proceso de integración continua o a tu lista de verificación de lanzamientos.