Analyse de l’utilisation de ChatGPT Work et de Codex

Dans la console d’administration, la vue Statistiques vous aide à comprendre à quelles fins les équipes utilisent ChatGPT Work et Codex et quelles activités consomment des crédits. Dans la vue d’ensemble de l’espace de travail, ouvrez une catégorie pour consulter ses tâches et ses données d’utilisation. Vérifiez le périmètre indiqué dans chaque vue avant de comparer les résultats.

Utilisez ces vues pour repérer les workflows à évaluer avec les personnes qui en sont responsables. Rapprochez les données d’utilisation et les dépenses des données de l’équipe pour déterminer si le travail demande moins d’efforts, respecte les critères de qualité ou donne de meilleurs résultats.

Vues d’analyse

La console d’administration propose des analyses pour ChatGPT Work et Codex. La vue Utilisation présente l’activité et la consommation. La vue Statistiques regroupe les données d’utilisation par catégorie et par tâche. Pour les travaux d’ingénierie, la vue Revue de code présente l’activité de revue et les problèmes relevés.

Si vous étudiez la consommation de tokens, utilisez les indicateurs correspondants dans la vue Utilisation. La part des messages, la part des crédits et la part des tokens mesurent des choses différentes. Conservez ces libellés lorsque vous comparez ou communiquez des résultats.

Accès aux statistiques

Dans la console d’administration, sélectionnez votre espace de travail et ouvrez Analyses > Statistiques. Vous devez avoir accès aux analyses de cet espace de travail. Les vues et les données disponibles dépendent de vos autorisations et des fonctionnalités activées.

Vérifiez l’espace de travail, la plage de dates et les filtres disponibles avant de lire les résultats. Conservez les mêmes paramètres pour comparer l’activité. L’historique des statistiques commence à la date de début de la classification.

Cas d’usage et tâches

Dans la vue d’ensemble, utilisez le sélecteur Cas d’usage / Tâches pour passer des grandes catégories au détail de l’activité. Dans l’onglet Cas d’usage, développez une catégorie pour afficher ses tâches.

Sélectionnez un cas d’usage ou une tâche dans le graphique pour en afficher le détail. Le tableau des cas d’usage permet de comparer les catégories et les tâches au-delà des 10 premières entrées.

Une catégorie peut regrouper plusieurs workflows. Examinez ses tâches avant de l’assimiler à un seul processus métier. Si une partie de l’activité n’est pas classée, signalez cette limite lorsque vous présentez les résultats.

Messages, crédits et utilisateurs actifs

Pour comprendre l’activité de chaque catégorie ou tâche, examinez ensemble les colonnes Messages, Crédits et Utilisateurs actifs du tableau. Si un avis signale un échantillonnage, les chiffres affichés portent sur un échantillon de l’activité. Ne les extrapolez pas pour estimer l’activité totale de l’espace de travail.

Messages indique le nombre de messages associés à une catégorie ou à une tâche. Ce nombre ne renseigne pas sur la quantité de travail que l’équipe a menée à bien.

Part des crédits indique la proportion des crédits consommés pour une catégorie ou une tâche. Examinez-la avec les colonnes Crédits et Messages pour repérer où se concentre la consommation.

Utilisateurs actifs indique le nombre de personnes actives dans une catégorie ou une tâche. Rapprochez cet indicateur de la colonne Messages pour comparer le nombre de personnes qui utilisent une catégorie au volume d’activité qu’elle génère.

Si une catégorie représente une part importante des crédits, examinez ses tâches, les modèles utilisés et leurs paramètres. Des tâches plus complexes ou le choix d’autres modèles peuvent expliquer cette consommation. Examinez ce que l’équipe a accompli avant de juger si les résultats justifient les crédits consommés.

Si une catégorie compte peu d’utilisateurs actifs, demandez-leur comment ils l’utilisent et quelles difficultés ils rencontrent. Ils ont peut-être un workflow à partager ou besoin de davantage d’accompagnement.

Détail d’une catégorie

Ouvrez le détail d’une catégorie pour afficher ses tâches et la répartition de son utilisation dans le panneau de droite.

Examinez les tâches de la catégorie et les crédits consommés par chacune. La répartition par modèle, raisonnement et vitesse indique la part des crédits de chaque option au sein de la catégorie ou de la tâche sélectionnée. Si la consommation évolue, demandez à l’équipe si son travail ou ces paramètres ont changé.

Lorsque ces données sont disponibles, consultez le nombre d’appels aux plugins et aux skills pour la catégorie ou la tâche. Ces chiffres couvrent l’activité dans ChatGPT Work et Codex pour la plage de dates et les filtres sélectionnés. Le nombre d’appels est un indicateur distinct du nombre de messages ou de tâches terminées.

Lorsque vous communiquez un résultat, précisez quels chiffres sont des estimations. Un même crédit peut être attribué à la fois à un plugin et à un skill. N’additionnez donc pas les chiffres de ces deux vues pour calculer l’investissement total. Pour mieux interpréter la consommation de crédits et son incidence sur la facturation, consultez Utilisation et coût de ChatGPT Work.

Revue de code

Si vous évaluez le travail d’une équipe d’ingénierie, ouvrez Revue de code pour consulter les indicateurs de revue disponibles dans votre espace de travail.

• PR examinées indique le nombre de pull requests ayant fait l’objet d’une revue. Une pull request examinée n’est pas forcément fusionnée ni déployée.
• Problèmes détectés présente les problèmes relevés lors des revues. Demandez aux personnes chargées des revues quels signalements leur ont été utiles et lesquels ont donné lieu à une intervention.
• Problèmes par priorité, réactions et tonalité des réactions permettent de mieux comprendre les problèmes relevés et la façon dont les personnes concernées ont réagi.

Un nombre nul peut indiquer une absence d’activité ou des données manquantes. Avant de l’interpréter, vérifiez la plage de dates et assurez-vous que les revues concernées sont prises en compte.

Évaluation de la valeur

Choisissez un workflow que votre équipe utilise dans ChatGPT Work ou Codex. Convenez avec le responsable métier du résultat à améliorer et de la façon de le mesurer. Examinez les statistiques en parallèle des documents de l’équipe, par exemple des fiches de synthèse sur les comptes clients, des plans de gestion des stocks ou des pull requests. Associez à l’évaluation les personnes qui effectuent le travail.

Utilisez la même période de référence pour vos comparaisons et vérifiez si un avis signale un échantillonnage. Une catégorie peut regrouper plusieurs workflows, et les chiffres d’activité ne mesurent pas le travail achevé. Les exemples ci-dessous montrent comment évaluer la valeur d’un workflow en s’appuyant à la fois sur les données d’utilisation et sur les résultats observés dans l’équipe.

Correction de bugs

Codex aide-t-il les ingénieurs à corriger les bugs en réduisant le temps d’investigation et le travail à reprendre ?

Choisissez un type de bug récurrent dans un service, par exemple une mauvaise gestion des entrées. Examinez les tickets, les correctifs et les tests de régression avec un ingénieur qui connaît ce code.

1. Comparez des correctifs similaires. Relevez le temps consacré à l’investigation, à la mise en œuvre et à la revue pour des bugs de complexité comparable. Distinguez le temps de travail effectif du temps d’attente avant une revue ou une mise en production.
2. Consultez les statistiques. Ouvrez la catégorie Ingénierie logicielle et repérez les tâches liées à l’investigation. Examinez les crédits consommés et le nombre d’utilisateurs actifs sur la période étudiée.
3. Vérifiez le résultat. Assurez-vous que le test reproduit le bug et qu’il réussit une fois le correctif appliqué. Demandez aux ingénieurs ce qu’ils ont corrigé et relevez les tickets rouverts ou les régressions.
4. Partagez le workflow si les correctifs validés demandent globalement moins d’efforts. Si le travail à reprendre reste important, précisez les étapes de reproduction ou enrichissez le contexte fourni sur le dépôt, puis refaites la comparaison.

Ajout de tests

Codex aide-t-il l’équipe à couvrir les principaux cas d’échec tout en réduisant le travail manuel ?

Choisissez un module pour lequel vous avez repéré une lacune dans la couverture des tests. Avant de comparer les résultats, convenez des comportements et des cas d’échec à tester.

1. Précisez ce qui manque. Listez les comportements non couverts et relevez l’effort nécessaire pour ajouter des tests comparables. Utilisez les rapports de test pour établir la couverture initiale.
2. Consultez les statistiques. Repérez les tâches concernées dans la catégorie Ingénierie logicielle. Pour la même période, examinez les crédits consommés et les répartitions disponibles par modèle et par niveau de raisonnement.
3. Examinez les tests. Demandez à un ingénieur de vérifier que les assertions détectent les défaillances visées. Relevez les résultats instables, l’allongement du temps d’exécution et le temps consacré à la réécriture ou à la maintenance des tests.
4. Réutilisez la méthode si elle réduit l’effort nécessaire pour intégrer des tests utiles. Si les tests réussissent sans détecter la défaillance, précisez le comportement attendu et réessayez.

Refactorisation du code

Codex aide-t-il l’équipe à mener une refactorisation à terme tout en préservant le comportement attendu ?

Choisissez une modification bien délimitée, par exemple le remplacement d’une API obsolète dans l’ensemble d’un package. Convenez des points d’appel concernés et de la manière dont l’équipe vérifiera le résultat.

1. Délimitez le périmètre. Notez les points d’appel à mettre à jour et l’effort nécessaire pour effectuer manuellement une modification comparable. Précisez quels chiffres sont des estimations, surtout si le travail avait été reporté.
2. Consultez les statistiques. Pour la même période, examinez les tâches concernées dans la catégorie Ingénierie logicielle et les crédits qu’elles ont consommés. Si la consommation paraît inhabituelle, consultez les répartitions disponibles par modèle et par niveau de raisonnement.
3. Validez la modification. Examinez le diff, exécutez les vérifications pertinentes et recherchez les points d’appel oubliés ou les changements de comportement. Tenez compte du temps de revue, des corrections et des correctifs ultérieurs dans votre évaluation de l’effort.
4. Étendez la refactorisation à un autre package si elle satisfait aux vérifications convenues. S’il reste trop de retouches à faire, commencez par réduire le périmètre de la modification ou par fournir un exemple fonctionnel.

Recherche sur les comptes clients

ChatGPT Work aide-t-il les commerciaux à préparer des fiches de synthèse fiables sur leurs comptes clients avec moins d’efforts ?

Choisissez une équipe commerciale qui prépare régulièrement de telles fiches. Convenez des éléments à inclure dans chaque fiche, par exemple l’historique du compte, les priorités actuelles et les questions à poser au client.

1. Comparez des fiches similaires. Relevez le temps de préparation et de relecture avant et pendant l’essai. Appliquez les mêmes critères de qualité et choisissez des comptes qui demandent un travail de recherche comparable.
2. Consultez les statistiques. Dans la catégorie Ventes, repérez les tâches de recherche et de planification liées aux comptes clients. Utilisez le filtre de groupe disponible pour cibler l’équipe. Pour la même période, examinez les crédits consommés, les modèles choisis et, si ces données sont disponibles, l’activité des plugins et des skills.
3. Examinez les fiches avec les commerciaux. Vérifiez les faits à partir des documents sources et déterminez si les recherches aident les commerciaux à préparer leurs échanges. Tenez compte du temps consacré aux corrections et vérifiez si les commerciaux consacrent le temps gagné aux échanges avec les clients ou à leur suivi.
4. Partagez la méthode si elle permet de produire des fiches fiables avec moins d’efforts. S’il manque des éléments de contexte importants, améliorez les documents sources ou mettez un skill à la disposition de toute l’équipe. Utilisez les données du CRM pour évaluer toute évolution ultérieure des opportunités qualifiées ou des ventes. Les statistiques seules ne permettent pas d’établir un lien avec le workflow.

Planification des stocks

ChatGPT Work aide-t-il l’équipe à établir des plans de gestion des stocks fiables en réduisant le travail manuel ?

Choisissez un cycle de planification récurrent, par exemple la constitution de stocks pour un événement. Convenez des produits et des sites à prendre en compte, ainsi que des données de vente et de stock que l’équipe utilisera.

1. Documentez le processus actuel. Mesurez le temps consacré à la collecte des données, à la préparation du plan et à sa correction. Relevez les ruptures de stock et les excédents lors de cycles comparables.
2. Consultez les statistiques. Repérez la catégorie et les tâches qui correspondent au travail de planification de l’équipe. Examinez les crédits consommés et le nombre d’utilisateurs actifs pour la même période. Confirmez cette correspondance avec l’équipe avant d’attribuer l’activité de la catégorie à ce workflow.
3. Comparez le plan aux résultats réels. Demandez au responsable des stocks de vérifier les quantités et les hypothèses, et de repérer les données manquantes. Tenez compte du temps de vérification et de correction. À la fin du cycle, comparez les stocks prévus aux ventes et aux stocks restants.
4. Réutilisez le workflow si les plans sont fiables et demandent moins d’efforts. Si les ruptures de stock ou les excédents augmentent, réexaminez les données de départ et les hypothèses. Utilisez les données de stock et d’achat pour évaluer les éventuelles réductions de coûts.

Consignez l’évaluation. Notez le cas d’usage, la personne responsable et la période de référence. Indiquez la situation de départ, les résultats, les crédits consommés et les limites de l’évaluation. Notez les changements convenus avec l’équipe et fixez une date pour en faire le bilan. Appuyez-vous sur les données de l’équipe pour comptabiliser le travail achevé et précisez quels chiffres sont des estimations.

Pour évaluer le retour sur investissement, comparez la valeur de l’amélioration aux coûts de l’IA, de la mise en place, de la formation et de l’accompagnement dans la durée. Tenez compte du temps consacré à vérifier et à corriger le travail. Le temps gagné ne se traduit pas automatiquement par une économie financière. Vérifiez comment l’équipe utilise le temps libéré.

Avant de relever les limites d’utilisation, examinez les limites actuelles, la consommation et le travail qui nécessite davantage de capacité. La consommation de crédits n’entraîne pas automatiquement un supplément sur la facture. Consultez Utilisation et coût de ChatGPT Work.

Les statistiques d’utilisation vous aident à évaluer le retour sur votre investissement dans ChatGPT Work et Codex. Elles présentent l’activité et les crédits consommés dans le périmètre sélectionné. Les équipes qui effectuent le travail peuvent expliquer ce qui a changé, si les résultats se sont améliorés et quelle valeur cette amélioration représente. Appuyez-vous sur les statistiques et sur les retours des équipes pour décider quels workflows déployer plus largement et où renforcer l’accompagnement.