Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Zusammenarbeiten und teilen

Nutzungsanalysen für ChatGPT Work in Codex

Erfahre, wie dein Team ChatGPT Work und Codex nutzt, wofür es Credits verbraucht und wie du den Nutzen seiner Arbeitsabläufe bewerten kannst.

In der Admin-Konsole siehst du unter „Einblicke“, wofür Teams ChatGPT Work und Codex nutzen und wo sie Credits verbrauchen. Öffne in der Workspace-Übersicht eine Kategorie, um die zugehörigen Aufgaben und Nutzungsdaten zu sehen. Prüfe vor einem Vergleich, welche Daten die jeweilige Ansicht umfasst.

Wähle anhand dieser Ansichten Arbeitsabläufe aus, die du gemeinsam mit den Verantwortlichen bewerten möchtest. Vergleiche Nutzung und Ausgaben mit den Aufzeichnungen des Teams. So kannst du beurteilen, ob der Aufwand sinkt, die Arbeit den Qualitätsanforderungen entspricht oder das Team bessere Ergebnisse erzielt.

Analyseansichten

Die Admin-Konsole bietet Analysen für ChatGPT Work und Codex. Unter „Nutzung“ siehst du Aktivität und Verbrauch. Unter „Einblicke“ ist die Nutzung nach Kategorien und Aufgaben gegliedert. Für die Softwareentwicklung zeigt „Code Review“, welche Reviews stattgefunden haben und welche Probleme dabei aufgefallen sind.

Auf dem Tab „Anwendungsfälle“ findest du die Kategorien mit ihren Kennzahlen. Die Screenshots zeigen Beispieldaten.

Wenn du den Tokenverbrauch untersuchst, verwende die Token-Kennzahlen unter „Nutzung“. Der Anteil an den Nachrichten, der Anteil an den Credits und der Anteil an den Token messen jeweils etwas anderes. Behalte die jeweilige Bezeichnung bei, wenn du Ergebnisse vergleichst oder weitergibst.

Einblicke öffnen

Wähle in der Admin-Konsole deinen Workspace aus und öffne Analysen > Einblicke. Dafür brauchst du Zugriff auf die Analysen dieses Workspaces. Welche Ansichten und Daten du siehst, hängt von deinen Berechtigungen und den aktivierten Funktionen ab.

Prüfe den Workspace, den Zeitraum und die verfügbaren Filter, bevor du die Ergebnisse auswertest. Verwende für Vergleiche dieselben Einstellungen. Unter „Einblicke“ reichen die Daten nur bis zum Beginn der Klassifizierung zurück.

Anwendungsfälle und Aufgaben

In der Übersicht kannst du mit „Anwendungsfälle / Aufgaben“ zwischen übergeordneten Kategorien und einzelnen Tätigkeiten wechseln. Klappe auf dem Tab „Anwendungsfälle“ eine Kategorie auf, um die zugehörigen Aufgaben zu sehen.

Die Übersicht der Anwendungsfälle zeigt für die zehn Kategorien mit dem höchsten Verbrauch den jeweiligen Anteil an den Credits. Wechsle für mehr Details zu „Aufgaben“.

Wähle im Diagramm einen Anwendungsfall oder eine Aufgabe aus, um die Details zu öffnen. In der Tabelle „Anwendungsfälle“ kannst du auch Kategorien und Aufgaben außerhalb der Top 10 vergleichen.

Eine Kategorie kann mehrere Arbeitsabläufe umfassen. Sieh dir die zugehörigen Aufgaben an, bevor du die Kategorie als einzelnen Geschäftsprozess betrachtest. Falls ein Teil der Aktivität keiner Kategorie zugeordnet ist, weise bei der Darstellung der Ergebnisse darauf hin.

Nachrichten, Credits und aktive Personen

Betrachte in der Tabelle die Spalten „Nachrichten“, „Credits“ und „Aktive Personen“ zusammen, um die Nutzung je Kategorie oder Aufgabe einzuordnen. Erscheint ein Hinweis auf eine Stichprobe, beziehen sich die angezeigten Zahlen auf die erfasste Stichprobe. Rechne sie nicht auf die Gesamtaktivität im Workspace hoch.

Klappe einen Anwendungsfall auf, um die zugehörigen Aufgaben zu vergleichen. In diesem Beispiel ist „Softwareentwicklung“ aufgeklappt.

Unter Nachrichten siehst du, wie viele Nachrichten einer Kategorie oder Aufgabe zugeordnet sind. Aus der Zahl der Nachrichten geht nicht hervor, wie viel Arbeit das Team erledigt hat.

Anteil an den Credits gibt an, welcher Anteil der verbrauchten Credits auf eine Kategorie oder Aufgabe entfällt. Betrachte diesen Anteil zusammen mit den Credits und der Anzahl der Nachrichten, um zu sehen, wo der größte Verbrauch anfällt.

Unter Aktive Personen siehst du, wie viele Personen in einer Kategorie oder bei einer Aufgabe aktiv waren. Vergleiche diese Zahl mit der Anzahl der Nachrichten. So siehst du, wie viele Personen eine Kategorie nutzen und wie viel Aktivität dabei entsteht.

Entfällt ein großer Anteil der Credits auf eine Kategorie, prüfe die Aufgaben, Modelle und Einstellungen. Komplexere Aufgaben oder eine andere Modellwahl können den Verbrauch erklären. Sieh dir an, was das Team erreicht hat, bevor du beurteilst, ob sich der Einsatz der Credits lohnt.

Sind in einer Kategorie nur wenige Personen aktiv, frage sie, wie sie die Kategorie nutzen und wo sie auf Schwierigkeiten stoßen. Vielleicht können andere von ihrem Arbeitsablauf profitieren oder sie brauchen mehr Unterstützung.

Kategoriedetails

Öffne die Details einer Kategorie. Rechts erscheint ein Seitenbereich mit den Aufgaben und einer Aufschlüsselung der Nutzung.

Der Seitenbereich „Softwareentwicklung“ zeigt die Aufgaben und schlüsselt den Verbrauch nach Modell, Reasoning-Aufwand und Geschwindigkeit auf.

Sieh dir die Aufgaben der Kategorie an und prüfe, wie viele Credits auf jede Aufgabe entfallen. Die Aufschlüsselung nach Modell, Reasoning-Aufwand und Geschwindigkeit zeigt für jede Option ihren Anteil an den Credits innerhalb der ausgewählten Kategorie oder Aufgabe. Ändert sich der Verbrauch, frage das Team, ob sich die Arbeit oder die Einstellungen geändert haben.

Prüfe, sofern verfügbar, wie oft Skills und Plugins für die Kategorie oder Aufgabe aufgerufen wurden. Die Zahlen umfassen Aufrufe in ChatGPT Work und Codex für den ausgewählten Zeitraum und die eingestellten Filter. Aufrufe, Nachrichten und erledigte Aufgaben sind unterschiedliche Messgrößen.

Kennzeichne Schätzungen auch dann als solche, wenn du Ergebnisse weitergibst. Dieselben Credits können sowohl Skills als auch Plugins zugerechnet werden. Addiere die Werte aus diesen Ansichten deshalb nicht, um die Gesamtinvestition zu berechnen. Wie du Credits und ihre Auswirkungen auf die Abrechnung einordnest, erfährst du in Nutzung und Kosten von ChatGPT Work.

Code Review

Wenn du die Arbeit in der Softwareentwicklung auswertest, öffne Code Review. Dort siehst du, welche Kennzahlen zu Reviews für deinen Workspace verfügbar sind.

  • Unter Geprüfte PRs siehst du, wie viele Pull Requests geprüft wurden. Ein Review bedeutet nicht zwangsläufig, dass der Pull Request zusammengeführt wurde oder die Änderungen ausgerollt wurden.
  • Unter Gefundene Probleme siehst du die Ergebnisse dieser Reviews. Frage die am Review Beteiligten, welche Hinweise hilfreich waren und zu Maßnahmen geführt haben.
  • Probleme nach Priorität, Reaktionen und Stimmung der Reaktionen geben Aufschluss über die gefundenen Probleme und darüber, wie die Beteiligten darauf reagiert haben.
„Geprüfte PRs“ zeigt die Review-Aktivität im Zeitverlauf. Das Diagramm zeigt Beispieldaten.

Ein Wert von null kann bedeuten, dass es keine Aktivität gab oder dass Daten fehlen. Prüfe den Zeitraum und ob die relevanten Reviews erfasst sind, bevor du den Wert interpretierst.

Nutzen bewerten

Wähle einen Arbeitsablauf, für den dein Team ChatGPT Work oder Codex nutzt. Vereinbare mit der fachlich verantwortlichen Person, welches Ergebnis ihr verbessern wollt und wie ihr die Verbesserung messt. Vergleiche die Daten unter „Einblicke“ mit den Unterlagen des Teams, etwa Kundenbriefings, Bestandsplänen oder Pull Requests. Beziehe diejenigen in die Bewertung ein, die die Arbeit ausführen.

Lege einen einheitlichen Berichtszeitraum fest und achte auf Hinweise zu Stichproben. Eine Kategorie kann mehrere Arbeitsabläufe umfassen. Die Zahl der Aktivitäten sagt nichts darüber aus, wie viel Arbeit abgeschlossen wurde. Die folgenden Beispiele zeigen, wie du den Nutzen anhand von Nutzungsdaten und konkreten Arbeitsergebnissen untersuchst.

Fehler beheben

Hilft Codex dem Entwicklungsteam, Fehler mit weniger Aufwand für Fehlersuche und Nacharbeit zu beheben?

Wähle einen Fehlertyp, der in einem bestimmten Dienst wiederholt auftritt, etwa die fehlerhafte Verarbeitung von Eingaben. Sieh dir die zugehörigen Issues, Korrekturen und Regressionstests gemeinsam mit einer Person aus dem Entwicklungsteam an, die den Code kennt.

So gehst du vor
  1. Vergleiche ähnliche Fehlerbehebungen. Erfasse bei Fehlern vergleichbarer Komplexität die Zeit für Fehlersuche, Umsetzung und Review. Unterscheide die tatsächliche Arbeitszeit von Wartezeiten bis zum Review oder Release.
  2. Prüfe die Einblicke. Öffne „Softwareentwicklung“ und suche nach Aufgaben, die für die Fehlersuche relevant sind. Prüfe die Credits und die Zahl der aktiven Personen für den Vergleichszeitraum.
  3. Bestätige das Ergebnis. Prüfe, ob der Test den Fehler reproduziert und nach der Korrektur erfolgreich durchläuft. Frage nach, was das Entwicklungsteam korrigiert hat, und halte fest, ob Issues wieder geöffnet wurden oder Regressionen aufgetreten sind.
  4. Gib den Arbeitsablauf weiter, wenn bestätigte Fehlerbehebungen insgesamt weniger Aufwand erfordern. Bleibt der Aufwand für Nacharbeit hoch, beschreibe die Schritte zur Reproduktion genauer oder ergänze den Kontext zum Repository. Vergleiche die Ergebnisse erneut.

Tests ergänzen

Hilft Codex dem Team, wichtige Fehlerfälle mit weniger manueller Arbeit durch Tests abzudecken?

Wähle ein Modul mit einer bekannten Lücke in der Testabdeckung. Vereinbare vor dem Vergleich, welche Verhaltensweisen und Fehlerfälle die Tests abdecken sollen.

Beispiel für Kategoriedetails. Wähle das Bild aus, um es zu vergrößern.
So gehst du vor
  1. Beschreibe die Lücke. Liste auf, welche Verhaltensweisen noch nicht getestet werden, und erfasse den Aufwand für vergleichbare zusätzliche Tests. Halte anhand der Testberichte fest, wie hoch die Testabdeckung zu Beginn ist.
  2. Prüfe die Einblicke. Suche unter „Softwareentwicklung“ nach passenden Aufgaben. Prüfe für denselben Zeitraum die Credits und die verfügbaren Aufschlüsselungen nach Modell und Reasoning-Aufwand.
  3. Prüfe die Tests. Lass jemanden aus dem Entwicklungsteam prüfen, ob die Assertions die vorgesehenen Fehlerfälle erkennen. Halte instabile Testergebnisse, zusätzliche Laufzeit und den Zeitaufwand für die Überarbeitung oder Pflege der Tests fest.
  4. Nutze das Vorgehen erneut, wenn sich aussagekräftige Tests mit weniger Aufwand integrieren lassen. Laufen die Tests erfolgreich durch, obwohl der Fehler vorliegt, präzisiere das erwartete Verhalten und versuche es erneut.

Code refaktorieren

Hilft Codex dem Team, ein Refactoring abzuschließen und dabei das erwartete Verhalten zu erhalten?

Wähle eine klar abgegrenzte Änderung, etwa eine veraltete API in einem ganzen Paket zu ersetzen. Vereinbare, welche Aufrufstellen dazugehören und wie das Team das Ergebnis prüfen wird.

So gehst du vor
  1. Lege den Umfang fest. Halte fest, welche Aufrufstellen aktualisiert werden sollen und wie aufwendig eine vergleichbare manuelle Änderung ist. Kennzeichne Schätzungen, besonders wenn das Team die Arbeit zuvor zurückgestellt hat.
  2. Prüfe die Einblicke. Sieh dir für denselben Zeitraum die relevanten Aufgaben unter „Softwareentwicklung“ und die dafür verbrauchten Credits an. Fällt der Verbrauch auf, prüfe die verfügbaren Aufschlüsselungen nach Modell und Reasoning-Aufwand.
  3. Prüfe die Änderung. Sieh dir den Diff an, führe die relevanten Prüfungen aus und achte auf übersehene Aufrufstellen oder Änderungen im Verhalten. Rechne den Aufwand für das Review, Korrekturen und spätere Fehlerbehebungen mit ein.
  4. Weite das Refactoring auf ein weiteres Paket aus, wenn die Änderung die vereinbarten Prüfungen besteht. Ist noch zu viel Nacharbeit nötig, grenze die Änderung ein oder stelle zunächst ein funktionierendes Beispiel bereit.

Kundenrecherche

Hilft ChatGPT Work dem Vertrieb, mit weniger Aufwand sachlich korrekte Kundenbriefings zu erstellen?

Wähle ein Vertriebsteam, das regelmäßig Briefings erstellt. Vereinbare, was jedes Briefing enthalten soll, etwa den bisherigen Verlauf der Kundenbeziehung, aktuelle Prioritäten und Fragen für das Kundengespräch.

So gehst du vor
  1. Vergleiche ähnliche Briefings. Erfasse vor und während des Testzeitraums die Zeit für Vorbereitung und Prüfung. Verwende dieselben Qualitätskriterien und wähle Kundenkonten mit vergleichbarem Rechercheaufwand.
  2. Prüfe die Einblicke. Suche unter „Vertrieb“ nach Aufgaben zur Kundenrecherche und -planung. Grenze die Ansicht mit dem verfügbaren Gruppenfilter auf das Team ein. Prüfe für denselben Zeitraum die verbrauchten Credits, die Modellwahl und, soweit erfasst, die Nutzung von Skills und Plugins.
  3. Prüfe die Briefings gemeinsam mit dem Vertriebsteam. Gleiche die Fakten mit den Originalunterlagen ab und beurteile, ob die Recherche bei der Gesprächsvorbereitung hilft. Rechne Korrekturen in den Aufwand ein und verfolge, ob das Team die gewonnene Zeit für Kundengespräche oder deren Nachbereitung nutzt.
  4. Gib das Vorgehen weiter, wenn korrekte Briefings weniger Aufwand erfordern. Fehlt wichtiger Kontext, verbessere die Ausgangsunterlagen oder stelle dem Team einen gemeinsamen Skill bereit. Prüfe anhand der CRM-Daten, ob sich später die Zahl qualifizierter Verkaufschancen oder die Verkaufsergebnisse ändern. Die Daten unter „Einblicke“ allein belegen diesen Zusammenhang nicht.

Bestandsplanung

Hilft ChatGPT Work dem Team, mit weniger manueller Arbeit verlässliche Bestandspläne zu erstellen?

Wähle einen wiederkehrenden Planungszyklus, etwa die Bestandsplanung für eine Veranstaltung. Vereinbare, welche Produkte und Standorte einbezogen werden und welche Verkaufs- und Bestandsdaten das Team verwendet.

So gehst du vor
  1. Erfasse den bisherigen Ablauf. Miss, wie lange das Team braucht, um Unterlagen zusammenzutragen, den Plan zu erstellen und ihn zu korrigieren. Halte Engpässe und Überbestände aus vergleichbaren Planungszyklen fest.
  2. Prüfe die Einblicke. Suche die Kategorie und die Aufgaben, die zur Planungsarbeit des Teams passen. Prüfe für denselben Zeitraum die Credits und die Zahl der aktiven Personen. Bestätige die Zuordnung gemeinsam mit dem Team, bevor du die Nutzung in dieser Kategorie dem Arbeitsablauf zurechnest.
  3. Vergleiche den Plan mit den tatsächlichen Ergebnissen. Lass die für den Bestand verantwortliche Person die Mengen und Annahmen prüfen und nach fehlenden Daten suchen. Rechne den Aufwand für Prüfung und Korrekturen mit ein. Vergleiche nach dem Planungszyklus den geplanten Bestand mit den verkauften Mengen und dem Restbestand.
  4. Nutze den Arbeitsablauf erneut, wenn die Pläne verlässlich sind und weniger Aufwand erfordern. Nehmen Engpässe oder Überbestände zu, prüfe die Ausgangsdaten und Annahmen erneut. Beurteile mögliche Kostensenkungen anhand der Bestands- und Einkaufsdaten.

Dokumentiere die Bewertung. Halte den Anwendungsfall, die verantwortliche Person und den Berichtszeitraum fest. Gib die Ausgangswerte, Ergebnisse, verbrauchten Credits und Einschränkungen an. Dokumentiere die mit dem Team vereinbarten Änderungen und einen Termin, an dem ihr sie überprüft. Ermittle anhand der Teamunterlagen, wie viel Arbeit abgeschlossen wurde, und kennzeichne Schätzungen.

Um den ROI zu bewerten, vergleiche den Wert der Verbesserung mit den Kosten für KI, Einrichtung, Schulung und laufende Unterstützung. Berücksichtige auch die Zeit für Prüfung und Korrekturen. Zeitersparnis senkt nicht automatisch die Ausgaben. Prüfe, wie das Team die gewonnene Zeit nutzt.

Bevor du die Nutzungslimits erhöhst, prüfe die aktuellen Limits, den Verbrauch und die Aufgaben, die mehr Kapazität erfordern. Verbrauchte Credits führen nicht automatisch zu zusätzlichen Kosten auf der Rechnung. Weitere Informationen findest du in Nutzung und Kosten von ChatGPT Work.

Die Nutzungsanalysen helfen dir, den Ertrag deiner Investition in ChatGPT Work und Codex zu beurteilen. Sie zeigen die Nutzung und die verbrauchten Credits für den ausgewählten Bereich. Die Teams, die mit diesen Tools arbeiten, können erklären, was sich geändert hat, ob sich die Ergebnisse verbessert haben und welchen Wert die Verbesserung hat. Entscheide anhand der Daten und der Erfahrungen der Teams, welche Arbeitsabläufe du ausweiten möchtest und wo mehr Unterstützung nötig ist.