관리자 콘솔의 인사이트에서는 팀이 어떤 업무에 ChatGPT Work와 Codex를 활용하고 어디에 크레딧을 쓰는지 확인할 수 있습니다. 워크스페이스 개요에서 카테고리를 열어 해당 작업과 사용량을 살펴보세요. 결과를 비교하기 전에 각 화면에 표시된 집계 범위를 확인하세요.
이 화면에서 평가할 워크플로우를 찾고 담당자와 함께 살펴보세요. 사용량과 지출을 팀의 업무 기록과 함께 보면 업무에 드는 노력이 줄었는지, 결과물이 품질 기준을 충족하는지, 성과가 개선되었는지 파악할 수 있습니다.
분석 화면
관리자 콘솔에서는 ChatGPT Work와 Codex의 분석 데이터를 제공합니다. 사용량 화면에서는 활동 내역과 사용량을 확인할 수 있습니다. 인사이트에서는 사용량을 카테고리와 작업별로 보여 줍니다. 엔지니어링 업무의 경우 코드 리뷰 화면에서 리뷰 활동과 발견된 이슈를 확인할 수 있습니다.
토큰 사용량을 살펴보려면 사용량 화면의 토큰 지표를 사용하세요. 메시지 비중, 크레딧 비중, 토큰 비중은 각각 다른 지표입니다. 결과를 비교하거나 공유할 때는 각 지표의 이름을 그대로 사용하세요.
인사이트 열기
관리자 콘솔에서 워크스페이스를 선택하고 분석 > 인사이트를 여세요. 해당 워크스페이스의 분석 데이터에 접근할 권한이 필요합니다. 볼 수 있는 화면과 데이터는 권한과 활성화된 기능에 따라 달라집니다.
결과를 살펴보기 전에 워크스페이스, 날짜 범위, 사용 가능한 필터를 확인하세요. 활동을 비교할 때는 같은 조건을 적용하세요. 인사이트에서는 분류가 시작된 시점부터의 기록만 확인할 수 있습니다.
사용 사례와 작업
개요 화면에서 사용 사례 / 작업 전환 버튼을 사용하면 상위 카테고리와 세부 활동을 번갈아 볼 수 있습니다. 사용 사례 탭에서 카테고리를 펼치면 해당 카테고리의 작업이 표시됩니다.
차트에서 사용 사례나 작업을 선택하면 세부 정보를 볼 수 있습니다. 상위 10개 외의 카테고리와 작업까지 비교하려면 사용 사례 표를 이용하세요.
한 카테고리에 여러 워크플로우가 포함될 수 있습니다. 카테고리 전체를 하나의 업무 프로세스로 간주하기 전에 어떤 작업이 포함되어 있는지 확인하세요. 분류되지 않은 활동이 있다면 결과를 설명할 때 이 한계도 명시하세요.
메시지, 크레딧, 활성 사용자
각 카테고리나 작업의 사용 현황을 파악하려면 표의 메시지, 크레딧, 활성 사용자 지표를 함께 살펴보세요. 샘플링 안내가 표시되면 화면의 수치는 표본에 포함된 활동만 집계한 것입니다. 이 수치를 비례 환산해 워크스페이스 전체 활동량을 추정하지 마세요.
메시지 항목은 카테고리나 작업과 관련된 메시지 수를 보여 줍니다. 메시지 수만으로는 팀이 얼마나 많은 업무를 완료했는지 알 수 없습니다.
크레딧 비중 항목은 크레딧 사용량 중 해당 카테고리나 작업이 차지하는 비율을 보여 줍니다. 크레딧 및 메시지 지표와 함께 살펴보면 사용량이 어디에 집중되어 있는지 파악할 수 있습니다.
활성 사용자 항목은 카테고리나 작업에서 활동한 사람 수를 보여 줍니다. 메시지 지표와 함께 보면 카테고리를 이용하는 사람 수와 해당 카테고리의 활동량을 비교할 수 있습니다.
크레딧 비중이 큰 카테고리는 작업, 모델, 설정을 확인하세요. 업무가 더 복잡하거나 선택한 모델이 달라서 크레딧 사용량이 많을 수 있습니다. 사용한 크레딧만큼 가치가 있었는지 판단하기 전에 팀이 어떤 성과를 냈는지 살펴보세요.
활성 사용자가 적은 카테고리는 사용자에게 어떻게 활용하고 있고 어떤 점이 어려운지 물어보세요. 다른 사람과 공유할 만한 워크플로우가 있거나 추가 지원이 필요할 수 있습니다.
카테고리 세부 정보
카테고리 세부 정보를 열면 오른쪽 패널에서 작업 목록과 항목별 사용량을 확인할 수 있습니다.
카테고리에 속한 작업과 각 작업에 사용된 크레딧을 살펴보세요. 모델, 추론, 속도별 내역에는 선택한 카테고리나 작업의 크레딧 사용량에서 각 옵션이 차지하는 비중이 표시됩니다. 사용량이 달라졌다면 업무 내용이나 설정에 변화가 있었는지 팀에 물어보세요.
카테고리나 작업의 플러그인 및 스킬 호출 횟수가 제공되면 함께 확인하세요. 이 수치에는 선택한 날짜 범위와 필터 조건에 해당하는 ChatGPT Work 및 Codex 활동이 포함됩니다. 호출 횟수는 메시지 수나 완료된 작업 수와 다릅니다.
분석 결과를 공유할 때는 추정치를 명확히 표시하세요. 플러그인과 스킬에 배분된 크레딧은 서로 겹칠 수 있으므로 총투자액을 계산할 때 두 화면의 수치를 합산하지 마세요. 크레딧 사용량을 해석하는 방법과 사용량이 청구 금액에 미치는 영향은 ChatGPT Work 사용량 및 비용을 참고하세요.
코드 리뷰
엔지니어링 업무를 살펴보려면 코드 리뷰를 열어 워크스페이스에서 제공하는 리뷰 지표를 확인하세요.
- 리뷰한 PR 항목은 pull request 리뷰 활동을 보여 줍니다. 리뷰한 pull request가 모두 병합되거나 배포된 것은 아닙니다.
- 발견된 이슈 항목은 해당 리뷰에서 발견한 이슈를 보여 줍니다. 어떤 이슈가 유용했고 실제 조치로 이어졌는지 리뷰어에게 확인하세요.
- 우선순위별 이슈, 반응, 반응의 긍정·부정 경향 지표를 보면 발견된 이슈와 이에 대한 사람들의 반응을 더 잘 이해할 수 있습니다.
집계값이 0이면 실제 활동이 없었거나 집계에서 누락되었을 수 있습니다. 수치를 해석하기 전에 날짜 범위를 확인하고 관련 리뷰가 집계 대상에 포함되었는지 살펴보세요.
가치 평가하기
팀이 ChatGPT Work나 Codex에서 사용하는 워크플로우를 하나 선택하세요. 어떤 성과를 개선하고 어떻게 측정할지 업무 책임자와 합의하세요. 인사이트를 고객사 요약 자료, 재고 계획, pull requests 등 팀의 업무 기록과 함께 검토하세요. 실제 업무를 수행하는 사람들도 평가에 참여하도록 하세요.
같은 집계 기간을 적용하고 샘플링 안내가 있는지 확인하세요. 한 카테고리에 여러 워크플로우가 포함될 수 있으며, 활동 건수로는 완료된 업무량을 측정할 수 없습니다. 아래 예시에서는 사용 데이터와 실제 업무 기록을 함께 활용해 워크플로우의 가치를 평가하는 방법을 살펴봅니다.
버그 수정
Codex를 사용하면 엔지니어가 버그를 해결할 때 원인 조사와 재작업에 드는 노력이 줄어드나요?
한 서비스에서 반복적으로 발생하는 버그 유형을 하나 선택하세요. 예를 들어 입력을 잘못 처리하는 버그가 있을 수 있습니다. 해당 코드를 잘 아는 엔지니어와 함께 이슈, 수정 사항, 회귀 테스트를 검토하세요.
- 비슷한 수정 사례를 비교하세요. 복잡도가 비슷한 버그를 대상으로 원인 조사, 구현, 리뷰에 걸린 시간을 기록하세요. 직접 작업한 시간과 리뷰나 릴리스를 기다린 시간은 구분하세요.
- 인사이트를 확인하세요. 소프트웨어 엔지니어링 카테고리를 열고 버그 조사와 관련된 작업을 찾으세요. 비교 대상 기간의 크레딧 사용량과 활성 사용자 수를 확인하세요.
- 수정 결과를 확인하세요. 테스트로 버그를 재현할 수 있는지, 수정 사항을 적용하면 테스트가 통과하는지 확인하세요. 엔지니어가 어떤 부분을 바로잡았는지 물어보고, 다시 열린 이슈나 회귀가 있으면 기록하세요.
- 버그가 해결되었고 해결까지 들인 총노력이 줄었다면 워크플로우를 공유하세요. 재작업이 여전히 많다면 버그 재현 절차를 개선하거나 리포지터리 컨텍스트를 보강한 후 다시 비교하세요.
테스트 추가
Codex를 사용하면 팀이 수작업을 줄이면서 중요한 실패 사례를 테스트할 수 있나요?
테스트 커버리지에 공백이 있는 모듈을 선택하세요. 결과를 비교하기 전에 어떤 동작과 실패 사례를 테스트해야 하는지 합의하세요.
- 테스트가 필요한 부분을 정리하세요. 테스트에서 빠진 동작을 나열하고, 비슷한 테스트를 추가하는 데 드는 노력을 기록하세요. 테스트 보고서에서 시작 시점의 커버리지를 확인해 기록하세요.
- 인사이트를 확인하세요. 소프트웨어 엔지니어링 카테고리에서 관련 작업을 찾으세요. 같은 기간의 크레딧 사용량과 제공되는 모델별·추론별 내역을 확인하세요.
- 테스트 내용을 검토하세요. 테스트의 검증문이 의도한 실패를 포착하는지 엔지니어에게 확인을 요청하세요. 결과가 일관되지 않은 테스트, 늘어난 실행 시간, 테스트를 다시 작성하거나 유지보수하는 데 걸린 시간을 기록하세요.
- 유용한 테스트를 코드에 반영하는 데 드는 노력이 줄었다면 같은 방법을 다시 활용하세요. 실패를 포착하지 못한 채 테스트가 통과한다면 기대하는 동작을 명확히 한 후 다시 시도하세요.
코드 리팩터링
Codex를 사용하면 팀이 기대하는 동작을 유지하면서 리팩터링을 마칠 수 있나요?
패키지 하나에서 사용 중단 예정(deprecated) API를 교체하는 일처럼 범위가 명확한 변경 사항을 하나 선택하세요. 어떤 호출 지점을 변경하고 팀이 결과를 어떻게 검증할지 합의하세요.
- 범위를 정하세요. 수정할 호출 지점과 비슷한 변경을 수작업으로 수행할 때 드는 노력을 기록하세요. 특히 이전에 미뤄 둔 작업이라면 추정치를 명확히 표시하세요.
- 인사이트를 확인하세요. 같은 기간에 소프트웨어 엔지니어링 카테고리에서 수행한 관련 작업과 각 작업의 크레딧 사용량을 살펴보세요. 사용량이 눈에 띄게 다르면 제공되는 모델별·추론별 내역을 확인하세요.
- 변경 사항을 검증하세요. 코드 차이를 검토하고 관련 검사를 실행해 빠진 호출 지점이나 달라진 동작이 있는지 확인하세요. 작업에 들인 노력을 집계할 때는 리뷰, 수정, 후속 보완 작업도 포함하세요.
- 리팩터링 결과가 합의한 검증 기준을 충족하면 다른 패키지로 확대하세요. 정리해야 할 부분이 너무 많이 남았다면 먼저 변경 범위를 좁히거나 실제로 동작하는 예시를 제공하세요.
고객사 조사
ChatGPT Work를 사용하면 영업 담당자가 정확한 고객사 요약 자료를 작성하는 데 드는 노력이 줄어드나요?
정기적으로 고객사 요약 자료를 작성하는 영업팀을 선택하세요. 고객사와의 거래 이력, 현재 우선순위, 고객에게 물어볼 질문 등 각 자료에 포함할 내용을 합의하세요.
- 비슷한 요약 자료를 비교하세요. 시범 사용 전과 시범 사용 기간에 자료 작성과 검토에 걸린 시간을 기록하세요. 비슷한 수준의 조사가 필요한 고객사를 대상으로 같은 품질 기준을 적용하세요.
- 인사이트를 확인하세요. 영업 카테고리에서 고객사 조사 및 계획 작업을 찾으세요. 제공되는 그룹 필터로 해당 팀의 활동만 살펴보세요. 같은 기간의 크레딧 사용량, 선택한 모델, 확인 가능한 플러그인 또는 스킬 활동을 살펴보세요.
- 영업 담당자와 함께 요약 자료를 검토하세요. 원본 기록과 대조해 사실관계를 확인하고 조사 내용이 고객과의 대화를 준비하는 데 도움이 되는지 평가하세요. 자료를 수정하는 데 든 노력도 포함하고, 절약한 시간을 고객 상담이나 후속 업무에 사용하는지 추적하세요.
- 정확한 요약 자료를 작성하는 데 드는 노력이 줄었다면 이 방법을 공유하세요. 중요한 배경 정보가 빠졌다면 원본 자료를 보강하거나 팀이 함께 사용할 스킬을 제공하세요. 이후 유효 영업 기회나 매출에 변화가 있는지는 CRM 기록으로 평가하세요. 인사이트만으로는 그 변화가 워크플로우와 관련이 있는지 판단할 수 없습니다.
재고 계획
ChatGPT Work를 사용하면 팀이 수작업을 줄이면서 신뢰할 수 있는 재고 계획을 세울 수 있나요?
행사에 필요한 재고를 준비하는 일처럼 주기적으로 반복되는 계획 업무를 선택하세요. 대상 제품과 장소, 팀이 사용할 판매 및 재고 기록을 합의하세요.
- 현재 절차를 기록하세요. 기록 수집, 계획 작성, 계획 수정에 걸리는 시간을 측정하세요. 비슷한 계획 주기에 재고 부족이나 과잉이 있었는지도 기록하세요.
- 인사이트를 확인하세요. 팀의 계획 업무에 해당하는 카테고리와 작업을 찾으세요. 같은 기간의 크레딧 사용량과 활성 사용자 수를 확인하세요. 해당 카테고리의 사용량을 이 워크플로우의 사용량으로 집계하기 전에 실제 업무와 일치하는지 팀에 확인하세요.
- 계획과 실제 결과를 비교하세요. 재고 담당자에게 수량과 가정이 타당한지, 누락된 데이터가 있는지 확인해 달라고 요청하세요. 검토와 수정에 든 노력도 포함하세요. 계획 주기가 끝나면 계획한 재고량을 실제 판매량 및 남은 재고량과 비교하세요.
- 신뢰할 수 있는 계획을 세우는 데 드는 노력이 줄었다면 워크플로우를 다시 활용하세요. 재고 부족이나 과잉이 늘었다면 입력 데이터와 가정을 다시 살펴보세요. 비용이 줄었는지는 재고 및 구매 기록으로 평가하세요.
평가 내용을 기록하세요. 사용 사례, 담당자, 집계 기간을 명시하세요. 비교 기준, 결과, 크레딧 사용량, 평가의 한계도 포함하세요. 팀과 합의한 변경 사항과 이를 검토할 날짜를 기록하세요. 완료된 업무는 팀의 기록을 바탕으로 집계하고 추정치는 따로 표시하세요.
투자수익률(ROI)을 평가하려면 개선으로 얻은 가치와 AI 사용, 초기 설정, 교육, 지속적인 지원에 든 비용을 비교하세요. 결과물을 검토하고 수정하는 데 걸린 시간도 포함하세요. 시간이 절약되었다고 해서 곧바로 현금 지출이 줄어드는 것은 아닙니다. 팀이 확보한 시간을 어떻게 활용하는지 확인하세요.
사용 한도를 높이기 전에 현재 한도와 사용량을 확인하고 어떤 업무에 추가 용량이 필요한지 살펴보세요. 사용한 크레딧이 곧바로 청구서의 추가 요금으로 이어지는 것은 아닙니다. ChatGPT Work 사용량 및 비용을 참고하세요.
사용 인사이트는 ChatGPT Work와 Codex에 대한 투자 성과를 파악하는 데 쓰이는 자료 중 하나입니다. 인사이트에서는 선택한 범위 내의 사용 현황과 크레딧 사용량을 확인할 수 있습니다. 실제 업무를 수행하는 팀은 무엇이 달라졌는지, 성과가 개선되었는지, 그 개선이 어느 정도의 가치가 있는지 설명할 수 있습니다. 인사이트와 팀의 설명을 함께 고려해 어떤 워크플로우를 확대하고 어느 부분에서 팀에 추가 지원을 제공할지 결정하세요.