240207 WED 프로젝트 기록 - 전처리 & EDA 진행

금융 CSS(신용평가모델) 개발을 주제로 팀 프로젝트에 착수했다. 간단하게 전처리와 EDA를 진행했는데, 범주형 데이터들 다 건드렸더니 저녁 시간이 훌쩍 넘어 있었다.

 

 

고민의 흔적들 ㅎ.. 주피터 노트북에는 깜빡하고 안 적었는데, 신용등급(A, B, …, G) 또한 int 타입 그대로 둘지, 수치형으로 바꾸는 게 나을지 고민 중이다.

 

그리고 수치형 데이터들은 어디부터 어떻게 확인해야 할지 감이 안 잡힌다. 신용등급과의 관계를 좀 보고 싶은데 무작정 pairplot 쓰려니 데이터가 너무 많다. 일단 오늘은 여기까지만 해 두고, 내일 다시 뜯어봐야 할 것 같다.

 

요즘 코테를 많이 못 풀고 있고, 하필 플젝 기간이 ADsP 준비 기간이랑 겹쳤다. 할 게 산더미라 여유가 없지만 자기효능감은 최대치인 나날들 (ㅋㅋ)

 

아 그리고 깃헙에 플젝 레포지토리를 팠다. 일단 오늘 작성한 코드만이라도 백업하려다가 또 폴더 구분하고 어쩌고 하기가 좀 피곤해서 다음으로 미루기로 했다. 아래는 오늘 씹고 뜯고 맛보고 즐겼던 내용 😇

 

 

PJT: 금융 CSS(신용평가모델) 개발¶

이해원

함수 목록

• get_loan_month: 대출기간 전처리
• get_work_year: 근로기간 전처리

In [ ]:

import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt 
import seaborn as sns 
import sklearn 

plt.rcParams['font.family'] ='D2Coding'

In [ ]:

train_df = pd.read_csv('C:/Users/LOVE/Downloads/vscode/CSS/train.csv')
test_df = pd.read_csv('C:/Users/LOVE/Downloads/vscode/CSS/test.csv')

train_df

Out[ ]:

	ID	대출금액	대출기간	근로기간	주택소유상태	연간소득	부채_대비_소득_비율	총계좌수	대출목적	최근_2년간_연체_횟수	총상환원금	총상환이자	총연체금액	연체계좌수	대출등급
0	TRAIN_00000	12480000	36 months	6 years	RENT	72000000	18.90	15	부채 통합	0	0	0.0	0.0	0.0	C
1	TRAIN_00001	14400000	60 months	10+ years	MORTGAGE	130800000	22.33	21	주택 개선	0	373572	234060.0	0.0	0.0	B
2	TRAIN_00002	12000000	36 months	5 years	MORTGAGE	96000000	8.60	14	부채 통합	0	928644	151944.0	0.0	0.0	A
3	TRAIN_00003	14400000	36 months	8 years	MORTGAGE	132000000	15.09	15	부채 통합	0	325824	153108.0	0.0	0.0	C
4	TRAIN_00004	18000000	60 months	Unknown	RENT	71736000	25.39	19	주요 구매	0	228540	148956.0	0.0	0.0	B
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
96289	TRAIN_96289	14400000	36 months	10+ years	MORTGAGE	210000000	9.33	33	신용 카드	0	974580	492168.0	0.0	0.0	C
96290	TRAIN_96290	28800000	60 months	10+ years	MORTGAGE	132000000	5.16	25	주택 개선	0	583728	855084.0	0.0	0.0	E
96291	TRAIN_96291	14400000	36 months	1 year	MORTGAGE	84000000	11.24	22	신용 카드	0	1489128	241236.0	0.0	0.0	A
96292	TRAIN_96292	15600000	36 months	5 years	MORTGAGE	66330000	17.30	21	부채 통합	2	1378368	818076.0	0.0	0.0	D
96293	TRAIN_96293	8640000	36 months	10+ years	RENT	50400000	11.80	14	신용 카드	0	596148	274956.0	0.0	0.0	C

96294 rows × 15 columns

In [ ]:

print(train_df.shape, test_df.shape)

(96294, 15) (64197, 14)

1. EDA & 전처리¶

In [ ]:

train_df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 96294 entries, 0 to 96293
Data columns (total 15 columns):
 #   Column        Non-Null Count  Dtype  
---  ------        --------------  -----  
 0   ID            96294 non-null  object 
 1   대출금액          96294 non-null  int64  
 2   대출기간          96294 non-null  object 
 3   근로기간          96294 non-null  object 
 4   주택소유상태        96294 non-null  object 
 5   연간소득          96294 non-null  int64  
 6   부채_대비_소득_비율   96294 non-null  float64
 7   총계좌수          96294 non-null  int64  
 8   대출목적          96294 non-null  object 
 9   최근_2년간_연체_횟수  96294 non-null  int64  
 10  총상환원금         96294 non-null  int64  
 11  총상환이자         96294 non-null  float64
 12  총연체금액         96294 non-null  float64
 13  연체계좌수         96294 non-null  float64
 14  대출등급          96294 non-null  object 
dtypes: float64(4), int64(5), object(6)
memory usage: 11.0+ MB

(1) 기술통계 확인¶

In [ ]:

train_df.describe(include='all')

Out[ ]:

	ID	대출금액	대출기간	근로기간	주택소유상태	연간소득	부채_대비_소득_비율	총계좌수	대출목적	최근_2년간_연체_횟수	총상환원금	총상환이자	총연체금액	연체계좌수	대출등급
count	96294	9.629400e+04	96294	96294	96294	9.629400e+04	96294.000000	96294.000000	96294	96294.000000	9.629400e+04	9.629400e+04	96294.000000	96294.000000	96294
unique	96294	NaN	2	16	4	NaN	NaN	NaN	12	NaN	NaN	NaN	NaN	NaN	7
top	TRAIN_00000	NaN	36 months	10+ years	MORTGAGE	NaN	NaN	NaN	부채 통합	NaN	NaN	NaN	NaN	NaN	B
freq	1	NaN	64479	31585	47934	NaN	NaN	NaN	55150	NaN	NaN	NaN	NaN	NaN	28817
mean	NaN	1.830400e+07	NaN	NaN	NaN	9.392672e+07	19.379590	25.304827	NaN	0.345681	8.225035e+05	4.282282e+05	54.380584	0.005805	NaN
std	NaN	1.032908e+07	NaN	NaN	NaN	9.956871e+07	33.569559	12.088566	NaN	0.919119	1.027745e+06	4.402111e+05	1414.769218	0.079966	NaN
min	NaN	1.200000e+06	NaN	NaN	NaN	0.000000e+00	0.000000	4.000000	NaN	0.000000	0.000000e+00	0.000000e+00	0.000000	0.000000	NaN
25%	NaN	1.020000e+07	NaN	NaN	NaN	5.760000e+07	12.650000	17.000000	NaN	0.000000	3.075720e+05	1.346160e+05	0.000000	0.000000	NaN
50%	NaN	1.680000e+07	NaN	NaN	NaN	7.800000e+07	18.740000	24.000000	NaN	0.000000	5.976960e+05	2.870040e+05	0.000000	0.000000	NaN
75%	NaN	2.400000e+07	NaN	NaN	NaN	1.128000e+08	25.540000	32.000000	NaN	0.000000	1.055076e+06	5.702160e+05	0.000000	0.000000	NaN
max	NaN	4.200000e+07	NaN	NaN	NaN	1.080000e+10	9999.000000	169.000000	NaN	30.000000	4.195594e+07	5.653416e+06	75768.000000	4.000000	NaN

메모

• 범주형
  • 대출기간: 2개(36m, 60m). 'months' 삭제
  • 근로기간: '+', 'years' 등 삭제
  • 주택소유상태: 4개. 원핫인코딩 (행렬로?) ?
  • 대출 목적: 12개. 원핫인코딩 (행렬로?) ? 너무 많은 듯
• 수치형
  • 최근 2년간 연체 횟수: MAX 30, MIN 0, MEAN 0.3, STD 0.9 -> 이상치 확인
  • 총연체금액: MAX 75768, MIN 0, MEAN 54, STD 1414 -> 이상치 확인
  • 연체계좌수: MAX 4, MEAN 0.005, STD 0.079 -> 이상치 확인

가설 소스

1. 총계좌수-연체계좌수-대출등급
2. 부채대비소득비율-대출등급
3. 대출금액-연간소득-총상환원금-대출등급

(2) 범주형 자료 확인 & 변환¶

In [ ]:

for i in train_df[['대출기간', '근로기간', '주택소유상태', '대출목적', '대출등급']].columns:
    print(train_df[i].value_counts())

대출기간
36 months    64479
60 months    31815
Name: count, dtype: int64
근로기간
10+ years    31585
2 years       8450
< 1 year      7774
3 years       7581
1 year        6249
Unknown       5671
5 years       5665
4 years       5588
8 years       4888
6 years       3874
7 years       3814
9 years       3744
10+years       896
<1 year        370
3               89
1 years         56
Name: count, dtype: int64
주택소유상태
MORTGAGE    47934
RENT        37705
OWN         10654
ANY             1
Name: count, dtype: int64
대출목적
부채 통합     55150
신용 카드     24500
주택 개선      6160
기타         4725
주요 구매      1803
의료         1039
자동차         797
소규모 사업      787
이사          506
휴가          466
주택          301
재생 에너지       60
Name: count, dtype: int64
대출등급
B    28817
C    27623
A    16772
D    13354
E     7354
F     1954
G      420
Name: count, dtype: int64

In [ ]:

# 대출기간
def get_loan_month(mt):
    return int(mt.strip().replace('months', ''))

train_df['대출기간'] = train_df['대출기간'].apply(get_loan_month)
train_df[['대출기간']]

Out[ ]:

	대출기간
0	36
1	60
2	36
3	36
4	60
...	...
96289	36
96290	60
96291	36
96292	36
96293	36

96294 rows × 1 columns

In [ ]:

# 근로기간
def get_work_year(yr):
    if yr in ['<1 year', '< 1 year']:
        return 0
    elif yr in ['1 year', '1 years']:
        return 1
    elif yr in ['10+ years', '10+years']:
        return 10
    # 'Unknown'은 NaN으로 대체
    elif yr == 'Unknown':
        return np.nan
    # 그 외는 숫자만 추출
    else:
        return int(''.join(filter(str.isdigit, yr)))

train_df['근로기간'] = train_df['근로기간'].apply(get_work_year)
train_df[['근로기간']]

Out[ ]:

	근로기간
0	6.0
1	10.0
2	5.0
3	8.0
4	NaN
...	...
96289	10.0
96290	10.0
96291	1.0
96292	5.0
96293	10.0

96294 rows × 1 columns

In [ ]:

# 시각화
ctgr_list = ['대출기간', '근로기간', '주택소유상태', '대출목적']

def ctgr_value_counts(iumn_name):
    for uniq in list(train_df[iumn_name].unique()):
        cond_unique = (train_df[iumn_name]==uniq)
        print(uniq)
        print(train_df.loc[cond_unique]['대출등급'].value_counts())
        print()

for i in ctgr_list:
    plt.figure(figsize=(10,6))
    sns.countplot(data=train_df, x=i, hue='대출등급', hue_order=['A', 'B', 'C', 'D', 'E', 'F', 'G'])     
    plt.legend(loc='best')
    plt.show()
    ctgr_value_counts(iumn_name=i)

36
대출등급
B    22883
C    16935
A    15952
D     6485
E     1895
F      270
G       59
Name: count, dtype: int64

60
대출등급
C    10688
D     6869
B     5934
E     5459
F     1684
A      820
G      361
Name: count, dtype: int64

6.0
대출등급
B    1157
C    1124
A     650
D     543
E     296
F      85
G      19
Name: count, dtype: int64

10.0
대출등급
B    9865
C    9105
A    6009
D    4385
E    2331
F     649
G     137
Name: count, dtype: int64

5.0
대출등급
B    1679
C    1646
A     986
D     736
E     475
F     119
G      24
Name: count, dtype: int64

8.0
대출등급
B    1417
C    1364
A     867
D     707
E     385
F     128
G      20
Name: count, dtype: int64

nan
Series([], Name: count, dtype: int64)

9.0
대출등급
B    1137
C    1049
A     621
D     545
E     289
F      85
G      18
Name: count, dtype: int64

2.0
대출등급
C    2495
B    2493
A    1454
D    1107
E     695
F     170
G      36
Name: count, dtype: int64

1.0
대출등급
B    1867
C    1860
A    1031
D     927
E     481
F     110
G      29
Name: count, dtype: int64

3.0
대출등급
B    2302
C    2225
A    1315
D    1028
E     608
F     153
G      39
Name: count, dtype: int64

7.0
대출등급
B    1138
C    1103
A     619
D     535
E     318
F      79
G      22
Name: count, dtype: int64

4.0
대출등급
B    1659
C    1577
A     969
D     796
E     440
F     122
G      25
Name: count, dtype: int64

0.0
대출등급
C    2447
B    2361
A    1317
D    1173
E     658
F     162
G      26
Name: count, dtype: int64

RENT
대출등급
C    11478
B    11200
D     5653
A     5268
E     3056
F      855
G      195
Name: count, dtype: int64

MORTGAGE
대출등급
B    14518
C    13106
A     9640
D     6163
E     3452
F      883
G      172
Name: count, dtype: int64

OWN
대출등급
B    3099
C    3038
A    1864
D    1538
E     846
F     216
G      53
Name: count, dtype: int64

ANY
대출등급
C    1
Name: count, dtype: int64

부채 통합
대출등급
C    16349
B    15680
D     8529
A     8036
E     4979
F     1311
G      266
Name: count, dtype: int64

주택 개선
대출등급
B    1845
C    1689
A    1225
D     805
E     425
F     145
G      26
Name: count, dtype: int64

주요 구매
대출등급
C    503
B    479
A    372
D    238
E    150
F     53
G      8
Name: count, dtype: int64

휴가
대출등급
C    196
B    119
D     78
A     40
E     27
F      4
G      2
Name: count, dtype: int64

의료
대출등급
C    375
B    238
D    197
A    104
E     91
F     27
G      7
Name: count, dtype: int64

자동차
대출등급
B    258
C    213
A    174
D     87
E     46
F     15
G      4
Name: count, dtype: int64

신용 카드
대출등급
B    8917
A    6424
C    6036
D    2092
E     877
F     137
G      17
Name: count, dtype: int64

소규모 사업
대출등급
C    249
D    192
E    158
B     75
F     64
G     30
A     19
Name: count, dtype: int64

기타
대출등급
C    1705
B    1080
D     916
E     478
A     356
F     147
G      43
Name: count, dtype: int64

이사
대출등급
C    203
D    131
B     86
E     50
F     18
A     13
G      5
Name: count, dtype: int64

주택
대출등급
C    85
D    68
E    63
B    36
F    29
G    12
A     8
Name: count, dtype: int64

재생 에너지
대출등급
D    21
C    20
E    10
F     4
B     4
A     1
Name: count, dtype: int64

(3) 수치형 자료 확인 & 변환¶

In [ ]:

train_df.describe()

Out[ ]:

	대출금액	대출기간	근로기간	연간소득	부채_대비_소득_비율	총계좌수	최근_2년간_연체_횟수	총상환원금	총상환이자	총연체금액	연체계좌수
count	9.629400e+04	96294.000000	90623.000000	9.629400e+04	96294.000000	96294.000000	96294.000000	9.629400e+04	9.629400e+04	96294.000000	96294.000000
mean	1.830400e+07	43.929466	6.007791	9.392672e+07	19.379590	25.304827	0.345681	8.225035e+05	4.282282e+05	54.380584	0.005805
std	1.032908e+07	11.288582	3.728511	9.956871e+07	33.569559	12.088566	0.919119	1.027745e+06	4.402111e+05	1414.769218	0.079966
min	1.200000e+06	36.000000	0.000000	0.000000e+00	0.000000	4.000000	0.000000	0.000000e+00	0.000000e+00	0.000000	0.000000
25%	1.020000e+07	36.000000	2.000000	5.760000e+07	12.650000	17.000000	0.000000	3.075720e+05	1.346160e+05	0.000000	0.000000
50%	1.680000e+07	36.000000	6.000000	7.800000e+07	18.740000	24.000000	0.000000	5.976960e+05	2.870040e+05	0.000000	0.000000
75%	2.400000e+07	60.000000	10.000000	1.128000e+08	25.540000	32.000000	0.000000	1.055076e+06	5.702160e+05	0.000000	0.000000
max	4.200000e+07	60.000000	10.000000	1.080000e+10	9999.000000	169.000000	30.000000	4.195594e+07	5.653416e+06	75768.000000	4.000000

¶

In [ ]:

# 시각화
num_list = ['대출금액', '연간소득', '부채_대비_소득_비율', '총계좌수', '최근_2년간_연체_횟수', '총상환원금', '총상환이자', '총연체금액', '연체계좌수']

for i in num_list:
    fig, ax = plt.subplots(ncols=2, nrows=1, figsize=(14, 6))
    sns.histplot(data=train_df, x=i, hue='대출등급', ax=ax[0])
    sns.boxplot(data=train_df, y=i, x='대출등급', order=['A', 'B', 'C', 'D', 'E', 'F', 'G'], ax=ax[1])
    plt.show()

*#262c36 → transparent