240131 WED 머신러닝 기초 - 선형회귀

 

 

1️⃣ 머신러닝이란?

 

✅ 용어 정리

• AI: 인공지능
• 머신러닝: 관측된 패턴을 기반으로 의사 결정을 하기 위한 알고리즘
• 딥러닝: 인공신경망을 이용한 머신러닝
• 데이터 사이언스: AI를 포괄하여, 통계학 + 컴퓨터공학을 바탕으로 발전한 융합학문
• 데이터 분석: 데이터 집계, 통계 분석, 머신러닝을 포함한 작업

AI ⊃ 머신러닝 ⊃ 딥러닝

 

 

✅ 종류

 

 

✅ 적용 분야

• 금융: 신용평가, 사기탐지, 주식 예측
• 헬스케어: 질병 예측, 환자 데이터 분석
• 이커머스: 고객 구매 패턴 분석, 추천 시스템, 가격 최적화, 장바구니 분석
• 자연어처리: 번역, 챗봇, 텍스트분석
• 이미지 & 영상처리: 얼굴인식, 이미지 생성

 

 

2️⃣ 선형회귀

종속 변수 $Y$와 한 개 이상의 독립 변수 (또는 설명 변수) $X$와의 선형 상관 관계를 모델링하는 회귀분석 기법

선형 회귀 - 위키백과, 우리 모두의 백과사전

 

 

✅ 선형회귀 가정

선형성 (Linearity)

종속 변수(Y)와 독립 변수(X) 간에 선형 관계가 존재해야 함

 

등분산성

오차의 분산이 모든 수준의 독립 변수에 대해 일정해야 함

 

정규성 (Normality)

오차 항은 정규 분포를 따라야 함

 

 

독립성 (Independence)

X 변수는 서로 독립적이어야 함

⛔ 여기서 잠깐 - 다중공산성 문제
회귀분석에서 독립변수(X)간의 강한 상관관계가 나타나는 것
ex) 키, 체중으로 다른 발 사이즈를 예측한다면, 키와 체중은 서로 연관있는 변수이기 때문에 다중공선성 문제가 생김

➡️ 해결 방법
1. 서로 상관관계가 높은 변수 중 하나만 선택(산점도 혹은 상관관계 행렬)
2. 두 변수를 동시에 설명하는 차원축소(Principle Component Analysis, PCA) 실행하여 변수 1개로 축소

 

 

✅ 용어 정리

• 공통
  • $Y$: 종속 변수, 결과 변수 (=알고 싶은 값)
  • $X$: 독립 변수, 원인 변수, 설명 변수
• 통계학에서 사용하는 선형회귀 식
  • $\beta_0$: 편향(Bias)
  • $\beta_1$: 회귀 계수
  • $\varepsilon$: 오차(에러), 모델이 설명하지 못하는 Y의 변동성

$$ Y = \beta_0 + \beta_1X + \varepsilon $$

• 머신러닝/딥러닝에서 사용하는 선형회귀 식
  • $w$: 가중치
  • b: 편향(Bias)

$$ Y = wX + b $$

 

➡️ 두 식 모두 회귀계수 혹은 가중치를 값을 알면, $X$가 주어졌을 때 $Y$를 알 수 있음을 의미

 

⛔ 여기서 잠깐 - 가중치
가중치($w$)를 알게 되면 $X$값에 대하여 $Y$값을 예측할 수 있음, 그럼 가중치는 어떻게 구하는가?
➡️ 데이터가 충분히 있다면 가중치를 '추정'할 수 있음 (머신러닝을 관통하는 분석 대상)

⛔ 여기서 잠깐 - 회귀 vs 분류
회귀: 숫자($y$) 맞추기
분류: 범주(ex. $y=0$, $y=1$) 맞추기

 

 

 

3️⃣ 회귀분석 평가 지표

 

✅ MSE (Mean Squared Error)

$$MSE = \frac{\sum\limits_{i=1}^n (y_i - \hat{y_i})^2}{n}$$

 

• 에러 정의방법
  1. 정의) 에러 = 실제 데이터 - 예측 데이터 ➡️ $\varepsilon = y_i - \hat{y_i}$
  2. 에러를 제곱하여 모두 양수로 만들기, 다 합치기  ➡️ $\sum\limits_{i=1}^n (y_i - \hat{y_i})^2$
  3. 데이터만큼 나누기  ➡️ $\frac{\sum\limits_{i=1}^n (y_i - \hat{y_i})^2}{n}$

 

 

✅ 기타 평가 지표

• RMSE: MSE에 Root를 씌워 제곱 된 단위를 다시 맞추기

$$RMSE = \sqrt{\frac{\sum\limits_{i=1}^n (y_i - \hat{y_i})^2}{n}}$$

• MAE: 절대값을 이용하여 오차 계산하기

$$MAE = \frac{1}{n}\sum\limits_{i=1}^n{\left\vert y_i - \hat{y_i} \right\vert}$$

 

 

4️⃣ 선형회귀만의 평가 지표: R Square

전체 모형에서 회귀선으로 설명할 수 있는 정도

 

✅ 용어 정리

• $y_{i}$: 특정 데이터의 실제 값
• $\bar{y}$: 평균 값
• $\hat{y}$: 예측, 추정한 값

$$R^2 = \frac{SSR}{SST} = \frac{SSR}{SSR+SSE}$$

Total = Regression + Error

 

 

 

5️⃣ 다중선형회귀

다수의 $X$로부터 $Y$를 예측

 

 

✅ 수치형 데이터 vs 범주형 데이터

 

 

 

6️⃣ 요약

• 장점
  • 직관적이며 이해하기 쉽다. X-Y관계를 정량화 할 수 있다.
  • 모델이 빠르게 학습된다(=가중치 계산이 빠르다).
• 단점
  • X-Y간의 선형성 가정이 필요하다.
  • 평가지표가 평균(mean)포함 하기에 이상치에 민감하다.
  • 범주형 변수를 인코딩시 정보 손실이 일어난다.
• Python 패키지
  • sklearn.linear_model.LinearRegression