240205 MON 머신러닝 심화 - 데이터 분석 프로세스

 

 

파이썬 데이터 분석 프로세스 실습 w. 타이타닉

 

 

📌 예측 모델링 프로세스

 

 

 

📌 세분화

w. titanic

1. 데이터 로드 & 분리
   • train / test 데이터 분리
2. 탐색적 데이터 분석(EDA)
   • 분포확인 & 이상치 확인
3. 데이터 전처리
   • 결측치 처리
     • 수치형: Age
     • 범주형: Embarked
     • 삭제 : Cabin, Name
   • 전처리
     • 수치형: Age, Fare, Sibsp+Parch
     • 범주형
       • 레이블 인코딩: Pclass, Sex
       • 원- 핫 인코딩: Embarked
4. 모델 수립
5. 평가

 

 

 

📌 데이터 분석 프로세스 (정리)

 

 

 

1. 데이터 수집

 

✅ 프로세스

• Data Source
  • OLTP Database(OnLine Transaction Processing): 온라인 뱅킹,쇼핑, 주문 입력 등 동시에 발생하는 다수의 트랜잭션(데이터베이스 작업의 단위) 처리 유형
  • Enterprise Applications: 회사 내 데이터 (ex 고객 관계 데이터, 제품 마케팅 세일즈)
  • Third - Party: Google Analytics와 같은 외부소스에서 수집되는 데이터
  • Web/Log: 사용자의 로그데이터
• Data Lake: 원시 형태의 다양한 유형의 데이터를 저장
• Data Warehouse: 보다 구조화된 형태로 정제된 데이터를 저장
• Data Marts: 회사의 금융, 마케팅, 영업 부서와 같이 특정 조직의 목적을 위해 가공된 데이터
• BI/Analytics: business Intelligence(BI)는 의사결정에 사용될 데이터를 수집하고 분석하는 프로세스

 

 

✅ 실제 데이터 수집

• 사내 데이터가 있다면
  • SQL 혹은 Python 을 통해 데이터 마트를 생성
• 사내 Data가 없다면, 데이터 수집 필요
  • 방법1: CSV, EXCEL 파일 다운로드
  • 방법2: API를 이용한 데이터 수집
  • 방법3: Data Crawling

 

 

 

2. EDA (탐색적 데이터 분석, Exploratory Data Analysis)

데이터의 시각화, 기술통계 등의 방법을 통해 데이터를 이해하고 탐구하는 과정

 

✅ 기술통계 EDA 예시: .describe()

include = 'all' 옵션을 통해 범주형 데이터도 확인 가능

import seaborn as sns

tips = sns.load_dataset('tips')
tips.describe(include = 'all')

 

 

 

✅ 시각화 EDA 예시

 

countplot: 범주형 자료의 빈도 수 시각화 (x축: 범주형 자료, y축: 자료의 빈도수)

ex) 상점에서 판매되는 제품의 카테고리별 판매수

 

 

barplot: 범주형 자료의 시각화 (x축: 범주형 자료, y축: 연속형 자료)

ex) 연령대별 평균소득 비교

 

 

boxplot: 수치형 & 범주형 자료의 시각화 (x축: 수치형 or 범주형, y축: 수치형)

데이터의 분포, 중앙값, 사분위 수, 이상치 등을 한눈에 표현

ex) 여러 그룹 간 시험 점수 분포 비교

 

 

histogram: 수치형 자료 빈도 시각화 (x축: 수치형, y축: 자료의 빈도수)

연속형 분포를 나타내고 싶을 때, 데이터가 몰려있는 구간 파악 용이

ex) 고객 연령 분포

 

 

scatterplot: 수치형 간 시각화 (x축: 수치형, y축: 수치형)

두 연속형 변수 간 관계를 시각적으로 파악

ex) 키와 몸무게 간 관계

 

 

pairplot: 전체 변수에 대한 시각화 (x, y축: 범주형 or 수치형)

한 번에 여러 개의 변수를 동시에 시각화하고 싶을 때

 

 

 

3. 데이터 전처리

전체 분석 프로세스에서 90%를 차지 할 정도로 노동, 시간 집약적인 단계

 

✅ 이상치 (Outlier)

관측된 데이터 범위에서 많이 벗어난 아주 작은/큰 값

 

• ESD (Extreme Studentized Deviation) 이용한 이상치 발견
  • 데이터가 정규분포를 따른다고 가정할 때, 평균에서 표준편차의 3배 이상 떨어진 값
  • 모든 데이터가 정규 분포를 따르지 않을 수 있기 때문에 다음 상황에서는 제한됨
    • 데이터가 크게 비대칭일 때( → Log변환 등을 노려볼 수 있음)
    • 샘플 크기가 작을 경우

# ESD를 이용한 이상치 발견
import numpy as np
mean = np.mean(data)
std = np.std(data)
upper_limit = mean + 3*std
lower_limit = mean - 3*std

 

 

• IQR (InterQuartile Range, 사분범위) 이용한 이상치 발견
  • ESD와 동일하게 데이터가 비대칭적이거나 샘플사이즈가 작은 경우 제한됨
  • Box plot: 데이터의 사분위 수를 포함하여 분포를 보여주는 시각화 그래프, 상자-수염 그림이라고도 함
    • 사분위 수: 데이터를 순서에 따라 4등분 한 것

 

# IQR을 이용한 이상치 발견
Q1 = df['column'].quantile(0.25)
Q3 = df['column'].qunatile(0.75)
IQR = Q3 - Q1
uppper_limit = Q3 + 1.5*IQR
lower_limit = Q1 - 1.5*IQR

 

⛔ 여기서 잠깐 - 조건필터링을 통한 이상치 삭제 (boolean indexing) 
도메인과 비즈니스 맥락에 따라 이상치의 기준이 달라짐
즉 이상치는 주관적인 값이므로, 삭제 여부는 분석가의 결정에 따름
➡️ 이상치 삭제 시 품질은 좋아질 수 있지만 정보 손실을 동반하기 때문에 주의가 필요함

⛔ 여기서 잠깐 - 이상 탐지 (Anomaly Detection)
데이터에서 패턴을 다르게 보이는 개체 또는 자료를 찾는 방법
ex) 사기탐지, 사이버 보안

 

• 이상치 확인 실습

파이썬 이상치 확인 실습

 

 

 

✅ 결측치 (Missing Value)

존재하지 않는 데이터

 

• 수치형 데이터
  • 평균 값 대치: 대표적인 대치 방법
  • 중앙값 대치: 데이터에 이상치가 많아 평균 값이 대표성이 없다면 중앙 값을 이용 (ex. 이상치는 평균을 왜곡함)
• 범주형 데이터
  • 최빈값 대치
• 사용 함수
  • 간단한 삭제 & 대치
    • df.dropna(axis = 0): 행 삭제
    • df.dropna(axis = 1): 열 삭제
    • Boolean Indexing
    • df.fillna(value): 특정 값으로 대치(평균, 중앙, 최빈값)
  • 알고리즘 이용
    • sklearn.impute.SimpleImputer:평균, 중앙, 최빈값으로 대치
      • SimpleImputer.statistics_ : 대치한 값 확인 가능
    • sklearn.impute.IterativeImputer: 다변량대치(회귀 대치)
    • sklearn.impute.KNNImputer: KNN 알고리즘을 이용한 대치
• 결측치 확인 실습

파이썬 결측치 확인 실습

 

 

 

✅ 인코딩(Encoding): 범주형 데이터 전처리

어떤 정보를 정해진 규칙에 따라 변환하는 것

 

• 레이블 인코딩(Label Encoding): 문자열 범주형 값을 고유한 숫자로 할당 (ex. 1등급 0, 2등급 1, 3등급 2)
  • 특징
    • 장점: 모델이 처리하기 쉬운 수치형으로 데이터 변환
    • 단점: 순서 간 크기에 의미가 부여되어 모델이 잘못 해석할 수 있음
  • 사용 함수
    • sklearn.preprocessing.LabelEncoder
    • 메소드
      • fit: 데이터 학습
      • transform: 정수형 데이터로 변환
      • fit_transform: fit과 transform을 연결하여 한번에 실행
      • inverse_transform : 인코딩된 데이터를 원래 문자열로 변환
    • 속성
      • classes_: 인코더가 학습한 클래스(범주)

 

• 원-핫 인코딩(One-Hot Encoding): 각 범주를 이진 형식으로 변환 (ex. 빨강 [1,0,0], 파랑 [0,1,0], 초록 [0,0,1]
  • 특징
    • 장점: 각 범주가 독립적으로 표현되어, 순서가 중요도를 잘못 학습하는 것을 방지, 명목형 데이터에 권장
    • 단점: 범주 개수가 많을 경우 차원이 크게 증가(차원의 저주) , 모델의 복잡도를 증가, 과적합 유발
  • 사용 함수
    • pd.get_dummies
    • sklearn.preprocessing.OneHotEncoder
    • 메소드(LabelEncoder와 동일)
      • categories_: 인코더가 학습한 클래스(범주)
      • get_feature_names_out(): 학습한 클래스 이름(리스트)

 

• 인코딩 실습

파이썬 인코딩 실습

 

 

✅ 스케일링(Scaling): 수치형 데이터 전처리

서로 단위 값이 다른 데이터들을 보정

 

• 표준화(Standardization): 각 데이터에 평균을 빼고 표준편차를 나누어 평균을 0 표준편차를 1로 조정하는 방법
  
  • $ x_{new} = \frac{x-x_{mean}}{x_{std}} $
  • 함수: sklearn.preprocessing.StandardScaler
    • 메소드
      • fit : 데이터학습(평균과 표준편차를 계산)
      • transform: 데이터 스케일링 진행
    • 속성
      • mean_: 데이터의 평균 값
      • scale_, var_: 데이터의 표준 편차,분산 값
      • n_features_in_: fit 할 때 들어간 변수 개수
      • feature_names_in_: fit 할 때 들어간 변수 이름
      • n_samples_seen_ : fit 할 때 들어간 데이터의 개수
  • 장점
    • 이상치가 있거나 분포가 치우쳐져 있을 때 유용
    • 모든 특성의 스케일을 동일하게 맞춤, 많은 알고리즘에서 좋은 성능
  • 단점
    • 데이터의 최소-최대 값이 정해지지 않음

 

• 정규화(Normalization): 데이터를 0과 1사이 값으로 조정(최소값 0, 최대값 1)
  • $ x_{norm} = \frac{x-x_{min}}{x_{max}-x_{min}} $
  • 함수: sklearn.preprocessing.MinMaxScaler *표준화와 공통인 것은 기재 생략함
    • 속성
      • data_min_: 원 데이터의 최소값
      • data_max_: 원 데이터의 최대값
      • data_range_: 원 데이터의 최대-최소 범위
  • 장점
    • 모든 특성의 스케일을 동일하게 맞춤
    • 최대-최소 범위가 명확함
  • 단점
    • 이상치에 영향을 많이 받을 수 있음 (= 이상치가 없을 때 유용)
  • •  

 

• 로버스트 스케일링(Robust Scaling): 중앙값과 IQR을 사용하여 스케일링
  • $ x_{robust} = \frac{x-median}{IQR} $
  • 함수: sklearn.preprocessing.RobustScaler
    • 속성
      • center_: 훈련 데이터의 중앙값
  • 장점: 이상치의 영향에 덜 민감
  • 단점: 표준화와 정규화에 비해 덜 사용됨

 

• 스케일링 실습

파이썬 스케일링 실습

 

 

 

4. 데이터 분리

 

✅ 과적합 (Overfitting)

데이터를 과도하게 학습하여 해당 문제는 잘 맞추지만 새로운 데이터를 제대로 예측/분류하지 못하는 현상

 

• 예측/분류를 위해 모형의 복잡도를 설정
  • 모형이 지나치게 복잡할 때 : 과대 적합이 될 수 있음
  • 모형이 지나치게 단순할 때: 과소 적합이 될 수 있음

• 과적합의 원인
  • 모델의 복잡도(상기 예시)
  • 데이터 양이 충분하지 않음
  • 학습 반복이 많음(딥러닝의 경우)
  • 데이터 불균형

 

 

 

 

✅ 과적합 해결: 테스트 데이터의 분리

 

• 학습 데이터(Train Data): 모델을 학습(fit)하기 위한 데이터
• 테스트 데이터(Test Data): 모델을 평가 하기 위한 데이터
• 함수 및 파라미터 설명
  • sklearn.model_selection.train_test_split
    • 파라미터
      • test_size: 테스트 데이터 세트 크기
      • train_size: 학습 데이터 세트 크기
      • shuffle: 데이터 분리 시 섞기
      • random_state: 호출할 때마다 동일한 학습/테스트 데이터를 생성하기 위한 난수 값. 수행할 때 마다 동일한 데이터 세트로 분리하기 위해 숫자를 고정 시켜야 함
    • 반환 값(순서 중요)
      • X_train, X_test, y_train, y_test

• 실습

파이썬 테스트 데이터 분리 실습

 

 

 

5. 교차 검증과 GridSearch

 

✅ 교차 검증 (Cross Validation)

데이터 셋을 여러 개의 하위 집합으로 나누어 돌아가면서 검증 데이터로 사용하는 방법

고정된 테스트 데이터가 존재하여 과적합에 취약하다는 단점을 보완하기 위함

 

• K-Fold Validation: Train Data를 K개의 하위 집합으로 나누어 모델을 학습시키고 모델을 최적화 하는 방법
  
  • 특징: 데이터가 부족한 경우 유용 (반복 학습)
  • K: 분할 갯수
    • Split 1: 학습용(Fold 2~5), 검증용(Fold1)
    • Split 2: 학습용(Fold1, 3~5), 검증용(Fold2)
    • Split 5까지 반복 후 최종 평가
  • 함수
    • sklearn.model_selection.KFold
    • sklearn.model_selection.StrifiedKFold: 불균형한 레이블(Y)을 가지고 있을 때 사용

 

 

✅ GridSearchV: Hyper Parameter 적용하기

Hyper Parameter(하이퍼 파라미터): 모델을 구성하는 입력 값 중 사람이 임의적으로 바꿀 수 있는 입력 값

Grid Search: 하이퍼 파라미터의 값을 자동화해주는 메소드