개요

데이터 분석의 목적은 데이터를 바탕으로 의사결정을 내릴 수 있도록 돕는 것입니다. 분석 자체에서 그치지 않고 누군가가 다음 행동을 결정하는 데 쓸 수 있는 결과물을 만들어야 합니다. 경영진을 위한 차트, 제품 팀을 위한 실험 결과 보고서, 연구자를 위한 모델 평가 결과, 일상적인 운영에 참고할 대시보드가 그 예입니다.

R for Data Science 덕분에 널리 알려진 분석 방식은 여러 단계를 반복하는 것입니다. 먼저 데이터를 불러와 정리한 다음, 데이터 변환과 시각화, 모델링을 반복하면서 데이터를 충분히 이해한 뒤 결과를 공유합니다.

ChatGPT Work는 이런 워크플로우에 잘 맞습니다. 데이터를 정제하고, 가설을 탐색하고, 분석을 수행하고, 재현 가능한 결과물을 만드는 데 활용할 수 있습니다. 목표는 한 번 쓰고 마는 노트북을 만드는 데 그치지 않고, 다른 사람이 검토하고 신뢰할 수 있으며 직접 다시 실행할 수 있는 분석을 만드는 것입니다.

분석할 질문 정하기

데이터로 답하고 싶은 질문을 하나 정하세요. 질문이 구체적일수록 어떤 데이터가 필요하고, 무엇을 확인해야 하며, 어떤 형태로 답을 제시할지 정하기 쉽습니다.

분석 예시: 고속도로 인근의 주택 가치

이 글에서는 다음 질문을 예로 들어 분석 과정을 살펴봅니다.

고속도로와 가까운 주택은 멀리 있는 주택보다 평가액이 얼마나 낮을까요?

한 데이터셋에는 주택 평가액이나 매매가가 있고, 다른 데이터셋에는 위치, 필지 또는 고속도로와의 거리에 관한 정보가 있다고 가정해 보세요. 모델을 실행하는 것만으로는 충분하지 않습니다. 입력 데이터를 신뢰할 수 있는지 확인하고, 데이터를 어떻게 조인했는지 기록하고, 조건을 바꿔도 결과가 유지되는지 검증한 뒤 다른 사람이 사용할 수 있는 결과물을 만들어야 합니다.

CSV 파일이나 Excel 통합 문서를 첨부하거나, @google-drive로 사용이 승인된 Google 스프레드시트를 지정하세요. 데이터가 컴퓨터에 저장되어 있다면 데스크톱 앱을 사용할 수도 있습니다.

ChatGPT Work

데이터 불러오기

먼저 파일을 첨부하고 ChatGPT에 내용을 살펴봐 달라고 요청하세요. 그러면 다음과 같은 기본적인 사항을 확인할 수 있습니다.

• 각 파일은 어떤 형식인가요?
• 각 데이터셋은 무엇을 나타내는 것으로 보이나요?
• 어떤 열이 목표 변수, 식별자, 날짜, 위치 또는 측정값에 해당할 수 있나요?
• 어디에서 뚜렷한 데이터 품질 문제가 보이나요?

아직 결론을 요청하지 마세요. 먼저 어떤 데이터가 있는지 목록으로 정리하고 각각 설명해 달라고 하세요.

입력 데이터 정리 및 병합하기

실제 분석 작업의 대부분은 여기서 시작합니다. 데이터셋이 두 개 이상인데 기본 키가 명확하지 않으면, 단순히 병합하는 과정에서 데이터가 누락되거나 중복 레코드가 생길 수 있습니다.

병합을 실행하기 전에 ChatGPT에 다음 사항을 점검해 달라고 요청하세요.

• 후보 키의 값이 고유한지 확인합니다.
• 결측값의 비율을 계산하고 데이터 형식의 차이를 파악합니다.
• 대소문자, 공백, 주소 표기처럼 차이가 분명한 형식을 통일합니다.
• 시험 삼아 조인을 실행하고 일치율을 보고합니다.
• 최종 병합 파일을 작성하기 전에 가장 안전한 병합 방법을 제안합니다.

주소 표기를 통일해 키로 쓰거나, 여러 열을 조합해 필지 식별자를 만들거나, 위치를 기준으로 조인하는 등 적절한 연결 기준을 찾아야 할 수 있습니다. 이때는 병합을 승인하기 전에 ChatGPT에 각 방법의 장단점과 예외 사례를 설명해 달라고 하세요.

차트로 데이터 탐색하기

모델을 선택하기 전에 차트로 데이터의 특성을 파악하세요. 고속도로 예시에서는 가까운 주택과 멀리 떨어진 주택을 비교하고, 이상치와 결측값의 분포를 살펴보세요. 겉으로 드러난 차이가 각 집단에 포함된 지역의 구성이나 주택 규모, 그 밖의 요인 때문일 가능성도 확인하세요.

각 차트는 처음에 정한 질문에 답하는 데 도움이 되어야 합니다. 다른 사람이 분석 내용을 살펴볼 수 있도록 유용한 비교 결과를 저장하세요.

질문에 맞는 모델 만들기

모든 분석에 복잡한 모델이 필요한 것은 아닙니다. 해석하기 쉬운 기준 모델부터 시작하세요.

고속도로 예시에서는 회귀 모델이나 작동 방식을 쉽게 이해할 수 있는 다른 모델로 시작하는 것이 좋습니다. 주택 규모, 연식, 위치 등 관련 요인을 통제하면서 고속도로와의 거리가 주택 가치와 어떤 관계가 있는지 추정하세요.

ChatGPT에 다음 사항을 명확히 설명해 달라고 요청하세요.

• 목표 변수와 특성을 어떻게 정의했는지
• 어떤 통제 변수를 포함해야 하며 그 이유는 무엇인지
• 데이터 누수 위험은 무엇이며 무엇을 분석에서 제외했는지
• 데이터 분할 방식, 평가 방법 또는 불확실성 추정 방법을 어떻게 선택했는지
• 분석 결과를 쉬운 말로 풀면 어떤 의미인지

첫 모델의 성능이 낮아도 얻을 수 있는 정보가 있습니다. 모델이나 특성, 조인 품질, 질문 자체 중 어디에 문제가 있는지 파악하는 데 도움이 됩니다.

결과 공유하기

분석은 다른 사람이 결과를 활용할 수 있어야 의미가 있습니다. ChatGPT에 독자와 용도에 맞는 결과물을 만들어 달라고 요청하세요.

• 기술 협업자를 위한 Markdown 메모
• 후속 업무에 사용할 스프레드시트 또는 CSV 파일
• 의사결정자를 위해 서식을 갖춘 문서 또는 PDF
• 분석을 재사용하기 위한 노트북, 대시보드 또는 정적 보고서

결과를 해석할 때 주의할 점도 포함해 달라고 하세요. 조인 품질이 떨어지거나, 표본 편향이 있거나, 모델의 가정이 성립한다고 보기 어렵다면 결과물에 이를 분명히 밝혀야 합니다.

선택 사항: Python 환경 설정하기

프로젝트에 재사용할 스크립트나 노트북이 필요하다면 ChatGPT에 기존 Python 환경을 사용하거나 재현 가능한 간단한 환경을 설정해 달라고 요청하세요. 원본 파일은 그대로 두고 분석 내용, 차트, 최종 보고서는 별도로 저장하세요. ChatGPT Work에서 첨부 파일을 분석할 때는 Python을 미리 설정할 필요가 없습니다.

추천 프롬프트

데이터셋 불러오고 내용 파악하기

조인 전에 병합 방법 점검하기

해석하기 쉬운 첫 모델 만들기

이해관계자에게 공유할 결과 정리하기