管理控制台的“洞察”可帮助您了解各团队用 ChatGPT 工作和 Codex 做哪些工作,以及额度花在了哪里。在工作空间概览中打开某个类别,即可查看该类别下的任务及其使用情况。比较结果前,请先核对各视图显示的统计范围。
通过这些视图,您可以找出值得评估的工作流,并与相应负责人一起评估。将使用情况和支出与团队记录结合起来,了解完成工作是否更省力、质量是否达标,以及结果是否有所改善。
分析视图
管理控制台提供 ChatGPT 工作和 Codex 的分析数据。“使用情况”显示使用活动和消耗量。“洞察”按类别和任务汇总使用情况。对于工程工作,您可以在“代码审查”中查看审查活动及发现的问题。
如果您关注的是 Token,请查看“使用情况”中提供的 Token 指标。消息占比、额度占比和 Token 占比衡量的是不同内容。比较或分享结果时,请保留相应的指标名称。
打开洞察
在管理控制台中选择您的工作空间,然后打开分析 > 洞察。您需要拥有该工作空间分析数据的访问权限。您能看到哪些视图和数据,取决于您的权限及已启用的功能。
查看结果前,请核对工作空间、日期范围和可用的筛选条件。比较使用活动时,请保持这些条件一致。“洞察”的历史数据从开始对活动分类时算起。
使用场景和任务
在“概览”中,使用“使用场景 / 任务”切换控件,按大类或更具体的活动查看数据。在“使用场景”选项卡中,展开某个类别即可查看其中的任务。
在图表中选择某个使用场景或任务,即可打开详情。要比较前 10 名以外的类别和任务,请使用“使用场景”表格。
一个类别可能包含多个工作流。在将其视为单一业务流程前,请先查看其中的任务。如果部分活动尚未分类,请在说明结果时注明这一局限。
消息、额度和活跃用户
请结合表格中的“消息数”“额度”和“活跃用户数”了解各类别或任务的使用情况。如果页面提示数据经过抽样,显示的计数仅反映样本中的活动。请勿按比例放大这些数字来估算整个工作空间的活动总量。
消息数显示与某个类别或任务相关的消息数量。仅凭消息数无法判断团队完成了多少工作。
额度占比显示某个类别或任务消耗的额度占总消耗量的比例。结合“额度”和“消息数”,可以看出额度主要花在了哪些工作上。
活跃用户数显示在某个类别或任务中有使用活动的人数。结合“消息数”,可以对照查看有多少人使用该类别,以及产生了多少活动。
如果某个类别的额度占比较大,请查看其中的任务、使用的模型和相关设置。工作较为复杂或选用的模型不同,都可能是该类别额度消耗较多的原因。先了解团队取得了哪些成果,再判断这些消耗是否值得。
如果某个类别的活跃用户较少,请询问这些用户如何使用它,以及在哪些环节遇到了困难。他们可能有值得分享的工作流,也可能需要更多支持。
类别详情
打开某个类别的详情,即可在右侧面板中查看其中的任务及使用情况明细。
查看该类别中的任务以及每项任务消耗的额度。按模型、推理和速度划分的明细显示各选项在选定类别或任务中的额度占比。如果消耗量发生变化,请向团队了解工作内容或这些设置是否有变化。
如果有相关数据,请查看该类别或任务中的插件和技能调用次数。统计范围涵盖所选日期和筛选条件下 ChatGPT 工作和 Codex 中的活动。调用次数与消息数、已完成的任务数是不同的指标。
分享分析结果时,请明确标注哪些数值是估算值。归入插件和技能的额度可能有重叠,请勿将两个视图中的数值相加来计算总投入。有关如何解读额度及其对账单的影响,请参阅 ChatGPT 工作的使用情况与成本。
代码审查
如果您正在评估工程工作,请打开代码审查,查看工作空间中可用的审查指标。
- 已审查的 PR 数反映 pull request 的审查活动。经过审查的 pull request 未必已经合并或部署。
- 发现的问题数显示这些审查发现了多少问题。请向审查人员了解哪些发现有帮助,以及他们针对哪些问题采取了行动。
- 按优先级划分的问题、反馈表情和反馈情绪有助于进一步了解发现的问题以及大家对此的反应。
计数为零可能表示没有活动,也可能是因为报告未涵盖相关数据。解读计数前,请核对日期范围,并确认相关审查是否已纳入统计。
评估价值
选择团队在 ChatGPT 工作或 Codex 中使用的一个工作流。与业务负责人商定希望改善的结果以及衡量方式。查看“洞察”时,请同时参考团队记录,例如客户简报、库存计划或 pull requests。邀请实际开展这项工作的人员参与评估。
使用一致的报告周期,并留意抽样提示。一个类别可能包含多个工作流,活动计数也无法衡量已完成的工作量。以下示例说明如何结合使用数据和工作流中的实际记录评估价值。
修复缺陷
Codex 是否帮助工程师减少了修复缺陷时的排查和返工?
选择某个服务中反复出现的一类缺陷,例如输入处理不正确。与熟悉这部分代码的工程师一起查看问题记录、修复内容和回归测试。
- 比较类似的修复。 对于复杂程度相近的缺陷,记录排查、实施修复和审查所用的时间。将实际投入工作的时间与等待审查或发布的时间分开记录。
- 查看洞察。 打开“软件工程”,查找与缺陷排查相关的任务。查看所比较时段内的额度消耗和活跃用户数。
- 确认修复结果。 确认测试能复现缺陷,并在修复后通过。询问工程师具体纠正了哪些问题,并记录重新打开的问题或出现的回归问题。
- 如果经验证的修复所需的总投入减少,请分享该工作流。 如果返工量仍然很大,请完善复现步骤或补充代码仓库的上下文,然后再次比较。
添加测试
Codex 是否帮助团队以更少的人工投入覆盖了重要的失败场景?
选择一个已知测试覆盖不全的模块。比较结果前,先商定哪些行为和失败场景需要测试。
- 明确覆盖缺口。 列出尚未覆盖的行为,并记录添加同类测试所需的投入。根据测试报告记录初始覆盖情况。
- 查看洞察。 在“软件工程”下找到相关任务。查看同一时段内的额度消耗,以及可用的模型和推理明细。
- 检查测试。 请工程师确认断言能检测出目标故障。记录不稳定的测试结果、增加的运行时间,以及重写或维护测试所花的时间。
- 如果团队能以更少的投入合入有效的测试,请复用这一做法。 如果发生目标故障时测试仍能通过,请明确预期行为后再试。
重构代码
Codex 是否帮助团队在保持预期行为的同时完成了重构?
选择一项范围明确的改动,例如在某个包中全面替换已弃用的 API。商定需要修改哪些调用点,以及团队将如何验证结果。
- 确定范围。 记录需要更新的调用点,以及手动完成类似改动所需的投入。如果使用了估算值,请明确标注,尤其是这项工作之前曾被推迟时。
- 查看洞察。 查看同一时段内相关的“软件工程”任务及其额度消耗。如果消耗量明显异常,请查看可用的模型和推理明细。
- 验证改动。 审查代码差异,运行相关检查,确认是否有遗漏的调用点或行为变化。计算工作投入时,请计入审查、更正和后续修复。
- 如果重构通过了商定的检查,请将这一做法推广到另一个包。 如果还有大量收尾工作,请先缩小改动范围,或提供一个可运行的示例。
客户调研
ChatGPT 工作是否帮助销售人员以更少的投入编写出准确的客户简报?
选择一个定期编写客户简报的销售团队。商定每份简报应包含哪些内容,例如客户的历史情况、当前的优先事项以及需要向客户询问的问题。
- 比较类似的简报。 记录试用前和试用期间编写、审核简报所用的时间。选择所需调研程度相近的客户,并采用相同的质量标准。
- 查看洞察。 在“销售”下查找客户调研和规划任务。使用可用的群组筛选条件,将范围限定为该团队。查看同一时段内的额度消耗、模型选择,以及可用的插件或技能活动数据。
- 与销售人员一起审核简报。 对照原始记录核实事实,并评估调研内容能否帮助销售人员为客户沟通做好准备。将更正所用的时间计入投入,并跟踪节省的时间是否用于客户沟通或后续跟进。
- 如果编写准确的简报所需的投入减少,请分享这一做法。 如果缺少重要背景,请完善源材料或提供团队可共用的技能。使用 CRM 记录评估后续合格商机或销售业绩的变化。仅凭“洞察”无法确定这些变化与该做法之间的关系。
库存规划
ChatGPT 工作是否帮助团队以更少的人工投入制定出可靠的库存计划?
选择一项定期开展的库存规划工作,例如为活动备货。商定计划涵盖哪些产品和地点,以及团队将使用哪些销售和库存记录。
- 记录现有流程。 统计收集记录、制定计划和修正计划所用的时间。记录类似周期内出现的缺货或库存过剩情况。
- 查看洞察。 找到与团队规划工作相符的类别和任务。查看同一时段内的额度消耗和活跃用户数。将该类别的使用量归入这个工作流之前,先与团队确认两者是否对应。
- 对照实际结果检查计划。 请库存负责人核实数量和假设,并检查是否缺少数据。将审核和更正计入工作投入。周期结束后,将计划备货量与实际销量和剩余库存进行比较。
- 如果计划可靠且制定计划所需的投入减少,请复用该工作流。 如果缺货或库存过剩的情况增多,请重新检查输入数据和假设。使用库存和采购记录评估成本是否降低以及降低了多少。
记录评估结果。 注明使用场景、负责人和报告周期,列出基准、结果、额度消耗和局限。记录与团队商定的改动,以及复查这些改动的日期。根据团队记录统计已完成的工作量,并标明估算值。
评估投资回报率时,请将改进带来的价值与 AI、配置、培训和持续支持的成本进行比较,并计入审核和更正工作成果所花的时间。节省时间并不一定意味着节省了实际开支,还需要了解团队如何利用腾出的时间。
提高使用限额前,请查看当前限额和消耗量,并了解哪些工作需要更高的限额。消耗额度并不一定会在账单上产生额外费用。请参阅 ChatGPT 工作的使用情况与成本。
使用情况洞察可为评估 ChatGPT 工作和 Codex 的投资回报提供部分依据。它显示所选范围内的使用情况和额度消耗。实际开展工作的团队可以说明工作发生了哪些变化、结果是否有所改善,以及这些改进有多大价值。结合两方面的信息,您可以判断哪些工作流值得推广,以及团队在哪些方面需要更多支持。