240201 THU 머신러닝 기초 - 로지스틱회귀

 

 

1️⃣ 로지스틱회귀

독립 변수의 선형 결합을 이용하여 사건의 발생 가능성(확률)을 예측하는 데 사용되는 통계 기법

로지스틱 회귀 - 위키백과, 우리 모두의 백과사전

 

 

✅ 범주형 $Y$에서 선형함수의 한계

$X$가 연속형 변수, $Y$가 특정 값이 될 확률

➡️ 선형회귀로 설명하기 어려움

➡️ 확률은 0과 1 사이인데, 예측 값이 확률 범위를 넘어갈 수 있기 때문

 

 

✅ 로짓 w. 오즈비(Odds ratio)

오즈비: A와 B 사이의 연관성의 강도,  B가 있을 때 A의 승산과 B가 없을 때 A의 승산의 비율

ex) 도박이 성공할 확률이 80%라면,  오즈비는 80%/20%  = 4 ➡️ 1번 실패하면 4번은 성공

Odds ratio - Wikipedia

$$odds\ ratio) = \frac{P}{1-P}$$

 

⛔ P는 0과 1 사이의 확률값인데, P가 증가할수록 오즈비가 급격하게 증가하여 선형성을 따르지 않게 됨

➡️ 로그를 씌워 완화 = 로짓(Logit)

어떤 값을 가져오더라도 반드시 특정 사건이 일어날 확률(Y값이 특정 값일 확률)이 0과 1안으로 들어오게 함

$$Logit = \log(\frac{P}{1-P})$$

 

 

✅ 로지스틱함수

$$Logit = \log(\frac{P}{1-P})$$

 

➡️ P에 대해 정리

$$P = \frac{1}{1+e^{-Logit}}$$

 

➡️ 로짓과 기존 선형회귀의 우변을 합치기

$$log(\frac{P}{1-P}) = w_0+w_1X$$

 

➡️ 양변에 자연지수 $e$ 취하기

$$\frac{P}{1-P} = e^{w_{0} + w_{1}X}$$

 

= $X$값이 $w_1$만큼 증가하면, 오즈비는 $e^{w_1}$만큼 증가한다.

 

 

✅ 정리

로지스틱 함수는 가중치 값을 안다면 $X$값이 주어졌을 때 해당 사건이 일어날 확률 $P$를 계산할 수 있음

 

확률 0.5를 기준으로,

• 0.5보다 높으면 사건이 일어남 ➡️ $P(Y) = 1$
• 0.5보다 낮으면 사건이 일어나지 않음 ➡️ $P(Y) = 0$

판단하여 분류 예측에 사용

 

 

 

2️⃣ 분류 평가 지표

 

✅ 혼동 행렬 (confusion Mix)

실제 값과 예측 값에 대한 모든 경우의 수를 표현한 2x2 행렬

 

• 표기법
  • 실제와 예측이 같으면 True / 다르면 False
  • 예측을 양성으로 했으면 Positive / 음성으로 했으면 Negative
• 해석
  • TP: 실제로 예측과 같으면서, 양성으로 올바르게 분류된 수
  • FP: 실제로 예측과 다르지만, 양성으로 잘못 분류된 수
  • FN: 실제로 예측과 다르지만, 음성으로 잘못 분류된 수
  • TN: 실제로 예측과 같으면서, 음성으로 올바르게 분류된 수
• 지표

1. 정밀도(Precision): 모델이 양성 1로 예측한 결과 중 실제 양성의 비율(모델의 관점)

$$정밀도(precision) = \frac{TP}{TP+FP}$$

 

2. 재현율(Recall): 실제 값이 양성인 데이터 중 모델이 양성으로 예측한 비율(데이터의 관점)

$$재현율(Recall) = \frac{TP}{TP+FN}$$

 

3. f1-Score: 정밀도와 재현율의 조화 평균

$$f1-score = 2*\frac{정밀도*재현율}{정밀도+재현율}$$

 

4. 정확도(Accuracy)

$$정확도(Accuracy) = \frac{TP+TN}{TP+TN+FP+FN}$$

 

 

 

3️⃣ 다중 로지스틱회귀

-

 

 

 

4️⃣ 요약

로지스틱회귀는 선형회귀의 아이디어에서 종속 변수($Y$)만 가공한 것이기 때문에 장,단점을 똑같이 가져감

• 장점: 직관적이며 이해하기 쉽다.
• 단점: 복잡한 비선형 관계를 모델링 하기 어려울 수 있음
• Python 패키지: sklearn.linear_model.LogisticRegresson

 

 

 

5️⃣ 머신러닝 기초 마무리

✅ 선형회귀 vs 로지스틱회귀

		선형회귀(회귀)	로지스틱회귀(분류)
공통점		모델 생성이 쉬움
		가중치(혹은 회귀계수)를 통한 해석이 쉬움
		X변수에 범주형, 수치형 변수 둘 다 사용 가능
차이점	Y(종속변수)	수치형	범주형
	평가척도	Mean Square Error R Square(선형 회귀만)	Accuracy F1 - score
	sklearn 모델 클래스	sklearn.linear_model.linearRegression	sklearn.linear_model.LogistricRegression
	sklearn 평가 클래스	sklearn.metrics.mean_squared_error skelarn.metrics.r2_score	sklearn.metrics.accuracy_score skelearn.metrics.f1_score

 

 

✅ 데이터 분석 프로세스