EDA(Exploratory Data Analysis)란 무엇인가요?

EDA(Exploratory Data Analysis, 탐색적 데이터 분석)**는 본격적인 데이터 분석이나 머신러닝 모델링에 앞서, 데이터를 다양한 각도에서 관찰하고 핵심 특성을 파악하는 초기 분석 과정입니다. 시각화와 요약 통계를 통해 데이터의 구조와 숨겨진 패턴을 직관적으로 이해하는 것이 목적입니다.

EDA의 핵심 목적 및 주요 수행 내용

• 데이터 구조 및 특성 파악 : 데이터의 행과 열, 변수들의 데이터 타입 등을 확인하여 데이터 셋의 전체적인 규모와 형태를 파악합니다.
  (예: 우리 쇼핑몰 고객은 20대가 많은가, 40대가 많은가?)
• 이상치(Outlier) 및 결측치(Missing Value) 발견: 정상적인 범위를 벗어난 이상한 값이나 비어있는 데이터를 찾아내어, 이를 처리(제거, 대체 등)할 방법을 결정합니다.
  (예: 고객 나이가 200살로 입력된 경우)
• 변수 간의 관계 및 패턴 발견: 변수들 간의 상관관계, 분포 형태를 분석하여 데이터가 표현하는 현상을 깊이 있게 이해합니다.
  (예: '비가 오는 날'과 '파전 판매량'의 관계)
• 가설 검증 및 수정: 데이터를 직접 탐색하면서 새로운 가설을 세우거나 기존 가설을 검증하여, 향후 분석가의 방향성을 올바르게 설정합니다.

EDA 진행 순서

데이터를 파악할 때는 숲에서 나무로 들어가는 순서를 따르는 것이 좋습니다.
1.데이터 전체 형태 파악:**숲을 보는 단계.

• 데이터가 몇 행(Row), 몇 열(Column)로 이루어져 있는지, 각 열의 데이터 타입(숫자형, 문자형, 날짜형 등)은 무엇인지 확인합니다.

2.결측치 및 이상치 점검:**청소 전 상태 확인

• 비어있는 값이나 비정상적으로 크거나 작은 값을 찾아냅니다. 이 단계에서 데이터를 어떻게 정제(Cleaning)할지 결정합니다.

3.단일 변수 분석 (Univariate Analysis):**나무 하나하나 살펴보기.

• 하나의 변수(열)에만 집중하여 분포를 확인합니다. 평균, 중앙값, 최빈값을 계산하고, 히스토그램을 그려 데이터가 어떻게 퍼져 있는지 확인합니다.

4.다중 변수 분석 (Multivariate Analysis):**나무들 사이의 관계 보기.

• 두 개 이상의 변수 간의 관계를 분석합니다. 상관계수를 구하거나 산점도를 그려 변수들이 서로 어떤 영향을 미치는지 확인합니다.

시각화 툴과 그래프 별 시각적 의미

숫자로만 이루어진 표를 눈으로 읽는 것은 불가능에 가깝습니다. 그래서 그래프를 그려 시각적으로 패턴을 찾습니다.

주요 시각화 툴:

• Python: Matplotlib, Seaborn, Plotly (가장 널리 쓰이는 프로그래밍 기반 툴

상황별 딱 맞는 그래프 선택 가이드그래프 종류언제 사용하는가?

그래프 종류 언제 사용하는가? 설명 및 예시

막대 그래프 (Bar Chart)	범주형 데이터의 크기 비교	여러 집단의 차이를 한눈에 볼 때 씁니다. (예: 지역별 월간 매출액 비교, A/B 테스트 결과 비교)
선 그래프 (Line Chart)	시간에 따른 추세 확인	데이터가 시간 흐름에 따라 어떻게 변하는지 볼 때 씁니다. (예: 최근 1년간의 웹사이트 방문자 수 변화)
히스토그램 (Histogram)	연속된 데이터의 분포 확인	특정 구간에 데이터가 얼마나 몰려 있는지 봅니다. (예: 우리 서비스 유저들의 연령대 분포, 학생들의 시험 점수 분포)
산점도 (Scatter Plot)	두 변수 간의 상관관계 확인	두 숫자가 서로 비례/반비례 하는지 점을 찍어 확인합니다. (예: 광고비 지출액과 매출액의 관계

<aside>
💡

이상치(Outlier)를 찾을 때 가장 좋은 그래프:

상자 수염 그림 (Box Plot)

다른 사람에게 설명할 때 가장 유용한 개념이 바로 Box Plot입니다. 이 그래프는 데이터의 '정상 범위'를 시각적으로 정의해주기 때문에 이상치를 찾을 때 독보적입니다.

• 왜 이상치에 어울리나요? Box Plot은 데이터를 크기순으로 나열했을 때, 상위 25%와 75% 지점을 박스로 만듭니다. 그리고 통계적으로 '이 범위를 벗어나면 비정상(이상치)이다'라고 규정하는 선(수염)을 긋습니다. 이 선 바깥에 찍히는 점들이 바로 이상치입니다.
• 예시 설명: "우리 회사 직원들의 연봉을 Box Plot으로 그렸더니, 대부분 박스 안에 모여 있는데 저 멀리 위에 점 하나가 동떨어져 찍혀 있네? 확인해 보니 CEO의 연봉이구나. 평균을 왜곡할 수 있으니 데이터 분석에서는 이 값을 제외하거나 따로 처리해야겠다."
  </aside>

EDA가 비즈니스에 주는 도움 (예시)

EDA는 단순히 '분석을 위한 준비'를 넘어, 그 자체로 비즈니스 문제를 해결하기도 합니다.

비즈니스 예시: 이탈 고객 예측 프로젝트
한 구독 서비스 회사에서 "최근 구독을 취소하는 고객이 늘고 있으니, AI로 이탈 고객을 예측해 방어하자!"라고 결정했습니다.

AI 개발 전, 데이터 분석가가 EDA를 진행했습니다.

1. 고객 가입일, 나이, 결제 수단, 서비스 이용 시간 등을 시각화해 보았습니다.
2. EDA 결과, 놀라운 사실을 발견합니다. "가입 후 3일 이내에 앱을 2번 이하로 켠 고객의 90%가 한 달 뒤 구독을 취소한다"는 뚜렷한 패턴(관계)을 찾아낸 것입니다.

결과: 복잡하고 비싼 AI 모델을 당장 만들 필요가 없었습니다. 비즈니스 팀은 EDA 결과를 바탕으로, "가입 후 3일간 앱 접속 유도 푸시 알림과 혜택 제공"이라는 즉각적이고 명확한 마케팅 액션을 실행하여 이탈률을 크게 낮췄습니다.