如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

在 Codex 中查看 ChatGPT 工作的使用洞察

瞭解 ChatGPT 工作與 Codex 的使用情形和點數消耗,並評估團隊工作流程的價值

管理主控台的「洞察」可協助你瞭解各團隊用 ChatGPT 工作和 Codex 處理哪些工作,以及點數花在哪裡。在工作區總覽中開啟類別,即可查看其中的任務與使用情形。比較結果前,請先確認各檢視畫面顯示的範圍。

利用這些檢視畫面找出值得評估的工作流程,再與流程負責人一起評估。對照使用量、支出與團隊紀錄,瞭解完成工作是否更省力、品質是否達標,或成果是否有所改善。

分析檢視畫面

管理主控台提供 ChatGPT 工作與 Codex 的分析資料。「使用量」顯示使用活動與消耗量。「洞察」依類別和任務彙整使用量。若要檢視工程工作,可在「程式碼審查」中查看審查活動及發現的問題。

「使用案例」分頁列出各類別及其指標。螢幕截圖使用範例資料。

若要查看 Token 用量,請使用「使用量」中的 Token 指標。訊息占比、點數占比與 Token 占比各有不同意義。比較或分享結果時,請保留各指標的原有名稱。

開啟「洞察」

在管理主控台中選取工作區,然後開啟分析 > 洞察。你必須具備該工作區分析資料的存取權。可見的檢視畫面與資料取決於你的權限及已啟用的功能。

查看結果前,請先確認工作區、日期範圍與可用的篩選條件。比較活動時,請使用一致的範圍與條件。「洞察」的歷史資料只涵蓋開始分類之後的活動。

使用案例與任務

在「總覽」中,使用「使用案例 / 任務」切換鈕,即可切換顯示大類或更具體的活動。在「使用案例」分頁中展開類別,即可查看其中的任務。

「使用案例」總覽顯示前 10 大類別的點數占比。切換至「任務」即可查看更具體的活動。

在圖表中選取使用案例或任務,即可開啟詳細資料。若要一併比較前 10 名以外的類別與任務,請使用「使用案例」表格。

一個類別可能涵蓋多個工作流程。將類別視為單一業務流程前,請先查看其中的任務。若有部分活動未分類,請在說明結果時註明這項限制。

訊息、點數與活躍使用者

對照表格中的「訊息」、「點數」與「活躍使用者」,即可瞭解各類別或任務的使用情形。若畫面顯示抽樣提示,所列數量只反映抽樣活動。請勿按比例放大這些數字來推估整個工作區的活動總量。

展開使用案例即可比較其中的任務。此範例展開了「軟體工程」類別。

訊息顯示與類別或任務相關的訊息數量。單憑訊息數量無法得知團隊完成了多少工作。

點數占比顯示某個類別或任務消耗的點數占總消耗量的比例。搭配「點數」和「訊息」一起查看,即可瞭解點數主要花在哪裡。

活躍使用者顯示在某個類別或任務中有使用活動的人數。搭配「訊息」一起查看,即可對照各類別的使用人數與活動量。

若某個類別的點數占比偏高,請查看其中的任務、模型與設定。工作較複雜或選用的模型不同,都可能是該類別點數用量較高的原因。判斷這些點數是否花得值得前,請先檢視團隊的工作成果。

若某個類別的活躍使用者很少,請詢問這些使用者如何使用,以及在哪些環節遇到困難。他們可能有值得分享的工作流程,也可能需要更多支援。

類別詳細資料

開啟類別詳細資料,即可在右側面板查看其中的任務與使用量明細。

「軟體工程」面板顯示各項任務,以及依模型、推理與速度劃分的明細。

查看類別中的任務,以及每項任務消耗的點數。模型、推理與速度明細顯示所選類別或任務中各選項的點數占比。若消耗量有所變化,請詢問團隊工作內容或這些設定是否有變動。

若有相關資料,請查看該類別或任務的外掛程式與技能呼叫次數。這些數字涵蓋所選日期範圍內符合篩選條件的 ChatGPT 工作與 Codex 活動。呼叫次數與訊息數量、已完成的任務數量是不同的指標。

分享分析結果時,請清楚標示哪些數字是估算值。歸入外掛程式和技能的點數可能重疊,因此請勿將兩個檢視畫面中的點數相加來計算總投入。如需瞭解如何解讀點數及其對帳單的影響,請參閱 ChatGPT 工作的使用量與費用。

程式碼審查

若要檢視工程工作,請開啟程式碼審查,查看工作區提供的審查指標。

  • 已審查的 PR 顯示 pull request 的審查活動。已審查的 pull request 不一定已合併或部署。
  • 發現的問題顯示這些審查找出的問題。請向審查人員確認哪些發現有幫助,以及他們針對哪些問題採取了行動。
  • 依優先順序分類的問題、反應與反應的情緒傾向有助於進一步瞭解審查發現,以及人們如何回應。
「已審查的 PR」顯示各時段的審查活動。此範例使用示範資料。

數量為零可能表示沒有活動,也可能是報表資料不完整。解讀數字前,請確認日期範圍,以及報表是否納入相關審查。

評估價值

選擇團隊在 ChatGPT 工作或 Codex 中使用的一項工作流程。與業務負責人商定要改善的成果,以及衡量方式。將「洞察」與團隊紀錄對照,例如客戶摘要、庫存計畫或 pull requests。請實際執行工作的人員一起參與評估。

採用一致的報告期間,並留意是否有抽樣提示。一個類別可能涵蓋多個工作流程,而活動次數無法衡量已完成的工作量。以下範例說明如何結合使用資料與工作流程中的實際紀錄來評估價值。

修正錯誤

Codex 是否能讓工程師在修正錯誤時,少花些力氣調查和返工?

從一項服務中選出一種反覆出現的錯誤,例如輸入處理不當。與熟悉該段程式碼的工程師一起檢視問題、修正內容與迴歸測試。

評估方式
  1. 比較類似的修正。 針對複雜度相近的錯誤,記錄調查、實作與審查所花的時間。將實際投入的工時與等待審查或發布的時間分開計算。
  2. 查看「洞察」。 開啟「軟體工程」,找出與錯誤調查相關的任務。查看比較期間內的點數與活躍使用者人數。
  3. 確認修正結果。 確認測試能重現錯誤,並在修正後通過。詢問工程師修正了哪些內容,並記下重新開啟的問題或發生的迴歸問題。
  4. 如果經驗證的修正所需總工時較少,就分享這套工作流程。 如果返工仍然費時,請改善重現步驟或補充程式碼庫的上下文,再次比較。

新增測試

Codex 是否能讓團隊用較少人力撰寫測試,涵蓋重要的失敗情境?

選擇一個已知有測試覆蓋缺口的模組。比較結果前,先商定哪些行為與失敗情境需要測試。

類別詳細資料範例。選取圖片即可放大。
評估方式
  1. 界定測試缺口。 列出尚未涵蓋的行為,並記錄新增類似測試所需的工時。根據測試報告記下起始覆蓋率。
  2. 查看「洞察」。 在「軟體工程」中找出相關任務。查看同一期間的點數,以及可用的模型與推理明細。
  3. 檢查測試。 請工程師確認測試斷言能偵測到預期的失敗情境。記下測試結果是否不穩定、執行時間增加了多少,以及改寫或維護測試所花的時間。
  4. 如果納入有效測試所需的工時減少,就沿用這個做法。 如果測試未偵測到應該發現的錯誤卻仍然通過,請釐清預期行為後再試一次。

重構程式碼

Codex 是否能協助團隊完成重構,同時維持預期行為?

選擇一項範圍明確的變更,例如在整個套件中替換已棄用的 API。商定哪些呼叫位置納入範圍,以及團隊將如何驗證結果。

評估方式
  1. 界定範圍。 記下要更新的呼叫位置,以及手動進行類似變更所需的工時。請標明估算值,尤其是先前曾延後執行的工作。
  2. 查看「洞察」。 查看同一期間內「軟體工程」的相關任務及其點數用量。如果消耗量明顯異於平常,請查看可用的模型與推理明細。
  3. 驗證變更。 檢視程式碼差異,執行相關檢查,確認是否遺漏呼叫位置或改變了行為。計算工時時,請納入審查、更正與後續修正。
  4. 如果重構通過商定的檢查,就將做法推廣到另一個套件。 如果仍有太多收尾工作,請先縮小變更範圍,或提供可運作的範例。

客戶研究

ChatGPT 工作是否能讓業務人員用較少工時準備準確的客戶摘要?

選擇一個定期撰寫客戶摘要的業務團隊。商定每份摘要應包含哪些內容,例如客戶往來紀錄、目前優先事項,以及要向客戶詢問的問題。

評估方式
  1. 比較類似的客戶摘要。 分別記錄試用前與試用期間準備及審閱摘要所花的時間。選擇所需研究深度相近的客戶,並採用相同的品質標準。
  2. 查看「洞察」。 在「銷售」類別下找出客戶研究與規劃任務。使用可用的群組篩選條件,只查看該團隊的活動。查看同一期間的點數、模型選擇,以及可取得的外掛程式或技能活動資料。
  3. 與業務人員一起審閱摘要。 對照原始紀錄查核事實,並評估研究內容是否有助於準備與客戶的對談。將更正資料的時間計入工時,並追蹤省下的時間是否用於與客戶對談或後續聯繫。
  4. 如果準備準確的摘要所需工時減少,就分享這個做法。 如果缺少重要背景資訊,請改善來源資料或提供共用技能。使用 CRM 紀錄評估後續符合資格的商機或銷售業績是否有變化。僅憑「洞察」無法確立這項關聯。

庫存規劃

ChatGPT 工作是否能協助團隊減少人工處理,並擬定可靠的庫存計畫?

選擇一項週期性的規劃工作,例如為活動備貨。商定要納入哪些產品與地點,以及團隊將使用哪些銷售與庫存紀錄。

評估方式
  1. 記錄現行流程。 衡量蒐集紀錄、擬定計畫與修正計畫所花的時間。記下過往類似週期中缺貨或庫存過剩的情形。
  2. 查看「洞察」。 找出與團隊規劃工作相符的類別與任務。查看同一期間的點數與活躍使用者人數。將該類別的使用量歸入這項工作流程前,請先與團隊確認兩者確實相符。
  3. 對照計畫與實際結果。 請庫存負責人核對數量與假設,並確認是否缺少資料。將審閱與修正所花的時間計入工時。週期結束後,將計畫備貨量與實際銷量及剩餘庫存相比。
  4. 如果計畫可靠且所需工時減少,就沿用這套工作流程。 如果缺貨或庫存過剩的情形增加,請重新檢視輸入資料與假設。使用庫存與採購紀錄評估成本是否降低,以及降低了多少。

記錄評估結果。 註明使用案例、負責人與報告期間,並列出基準、結果、點數用量與限制。記下與團隊商定的調整事項,以及檢視這些調整的日期。根據團隊紀錄統計已完成的工作量,並標明估算值。

評估投資報酬率時,請將改善所帶來的價值與 AI、設定、培訓及持續支援的成本相比。請一併計入審閱與修正工作成果所花的時間。省下時間不一定能減少現金支出,請確認團隊如何運用騰出的人力。

提高使用量上限前,請先檢視目前的上限、消耗量,以及哪些工作需要更多額度。消耗點數不一定會產生額外的帳單費用。請參閱 ChatGPT 工作的使用量與費用。

使用洞察是評估 ChatGPT 工作與 Codex 投資報酬的依據之一。這些資料顯示所選範圍內的使用情形與點數消耗。實際執行工作的團隊則能說明工作有哪些改變、成果是否改善,以及改善帶來多少價值。結合兩者,即可判斷哪些工作流程值得推廣,以及團隊在哪些環節需要更多支援。