Introduction

Lorsque vous développez ou modifiez une application d’IA, vous voulez vérifier qu’elle se comporte comme prévu. Les évaluations permettent de tester systématiquement un ensemble de scénarios et de repérer les régressions avant la mise en production.

Vous pouvez utiliser Promptfoo pour exécuter ces évaluations sur votre application d’IA et vous appuyer sur Codex pour les créer et les maintenir.

Mode d’emploi

Utilisez Codex avec la skill $promptfoo-evals du plugin Promptfoo pour créer une suite d’évaluations que vous pourrez relancer afin de tester un comportement précis de votre application d’IA. Si l’application ne dispose pas encore d’une cible Promptfoo opérationnelle, $promptfoo-provider-setup vous aide à relier la suite au parcours de l’application que vous souhaitez tester.

Codex peut examiner l’application, proposer des cas qui mettent en évidence des problèmes importants, ajouter la configuration Promptfoo et les données de test, exécuter la suite en local et vous fournir une commande pour la relancer.

Cette approche se prête particulièrement bien à des vérifications concrètes portant sur la qualité des réponses de l’assistance, l’ancrage des réponses dans les documents récupérés, les étiquettes attribuées par un classifieur, les appels d’outils, la structure du JSON, les règles métier ou la fiabilité d’une migration vers un nouveau prompt ou modèle.

À l’issue d’une première passe, vous devriez pouvoir examiner le code et les données de test. Prévoyez un fichier promptfooconfig.yaml ou une configuration équivalente, un petit répertoire evals/, des cas de test, un adaptateur si la cible en a besoin pour appeler l’application, et une commande à exécuter en local, par exemple npm run evals.

Choisissez ce que vous voulez évaluer

Commencez par un seul comportement sur lequel vos utilisateurs doivent pouvoir compter. Évitez de demander à Codex d’évaluer tout le système d’IA en une seule passe. Une suite de portée limitée est plus facile à examiner et à exécuter régulièrement, et vous pouvez plus facilement vous fier à ses résultats.

Voici quelques vérifications possibles pour commencer :

• Exactitude : vérifiez les résultats d’une classification, d’une extraction, d’un résumé, d’un routage ou d’une transformation.
• Ancrage : vérifiez que les réponses s’appuient sur les documents récupérés ou les sources citées.
• Utilisation des outils : vérifiez que l’application choisit le bon outil, lui transmet des arguments valides et gère les erreurs qu’il renvoie.
• Format ou règles métier : vérifiez le respect des schémas JSON, des noms de champs, des limites fixées par les règles métier ou des exigences relatives aux textes affichés dans l’interface.
• Migration vers un nouveau prompt ou modèle : vérifiez qu’un changement de prompt, de modèle, de message système ou de paramètre de récupération des documents ne fait pas échouer des cas importants.

Partez des exigences du produit, de rapports de bugs, de problèmes remontés par l’assistance ou d’exemples dont les données sensibles ont été retirées et que votre équipe est prête à intégrer au dépôt.

Demandez un plan d’évaluation

Codex doit examiner l’application avant de la modifier. Demandez-lui un plan qui précise le parcours à tester, les jeux de données de test, les assertions, l’adaptateur et les commandes. Vous pourrez ainsi repérer une cible mal choisie ou des cas de test peu pertinents avant l’ajout de fichiers.

Examinez le plan avant sa mise en œuvre. Il doit préciser le parcours de l’application que Promptfoo testera ou le point de terminaison qu’il appellera, les premiers cas de test, les assertions, les fichiers que Codex créera, la commande à exécuter en local et les éventuels secrets ou services nécessaires. Si le plan prévoit de tester directement le modèle sans passer par le parcours qu’empruntent les utilisateurs, demandez à Codex si ce choix est intentionnel.

Mettez en œuvre le plan, exécutez la suite et affinez les tests

Une fois le plan validé, demandez à Codex de le mettre en œuvre. La première version doit rester simple : une configuration, des cas de test, des jeux de données de test, un adaptateur pour la cible si nécessaire, une commande et la preuve que cette commande a bien été exécutée.

Une petite suite qui teste directement l’application peut prendre cette forme :

evals/
  promptfooconfig.yaml
  tests/
    cases.yaml
  providers/
    provider.js  # only if the built-in provider cannot call the app directly

Exécutez la suite avant de modifier le comportement de l’application. Ces résultats de référence vous indiquent si l’application échoue déjà sur certains cas, si les assertions doivent être ajustées ou si l’adaptateur choisi pour la cible est inadapté. Affinez les assertions trop rigides ou trop vagues, tout en veillant à ce que les tests continuent de signaler les véritables défaillances du produit.

Après cette première exécution, utilisez la suite pour comparer les résultats avant et après chaque modification de l’application, avant sa mise en production. Ajoutez des cas chaque fois qu’un bug, une exigence de lancement ou une revue du produit met en évidence un comportement que vous souhaitez préserver. Une fois la commande locale stabilisée, demandez à Codex de l’intégrer à votre pipeline d’intégration continue ou à votre liste de vérifications avant mise en production.