231221 THU 파이썬 복습 (1) 파이썬 데이터 분석 및 시각화 기초

0. 참고

 

(1) matplotlib API Reference

(2) 위키독스

 

 

1. Colab 사용 팁

 

(1) pandas에서 엑셀 파일 열기

titanic = pd.read_excel('파일이름.xlsx',engine='openpyxl')

 

(2) 파일 경로로 열기

titanic = pd.read_table('파일경로',sep=',')

 

 

 

2. 데이터 분석에 필요한 파이썬 기초

 

(1) 변수 : 데이터를 담는 컨테이너

(2) 리스트 : 인덱스(순서, 0부터 시작)가 있는 데이터들의 모음집

(3) 딕셔너리 : 쌍 (key-value)으로 이루어진 데이터들의 모음집

#변수 선언
x=5, y=3, z="hello"

#변수 호출
print(x+y)
print(z)


#리스트 선언 w. 대괄호 []
a_list=[1, 2, 3]
b_list=[1, 2, 'hello', 4]
list_ex=[3, 4, [5, 6], 7]

#리스트 호출
a_list[1]       # 2 출력
b_list[2]       # hello 출력
list_ex[2]      # [5, 6] 출력
list_ex[2][0]   # 5 출력


#딕셔너리 선언 w. 중괄호 {}
student_age={'Jack':32, 'Mark':22, 'John':25}
dic_exercise = {'name':'bob','age':21,'height':180}

#딕셔너리 호출
student_age{'John'}      # 25 출력
dic_exercise['height']   # 180 출력

 

 

 

3. 데이터 분석에 필요한 시각화 기초

 

(1) 데이터 분석 기본 세팅 & 분석

 

• dropna() : 결측값이 있는 행 제거
• head() : 테이블 상단 일부 출력
• corr : 상관관계 분석
• 데이터프레임.corr(method='A') : 테이블에서 A 방법으로 상관계수 구하기

import pandas as pd                                    #pandas 사용 선언 
titanic = pd.read_table('/content/train.csv',sep=',')  #titanic 테이블 가져오기
titanic = titanic.dropna()                             #결측값(null)이 있는 행을 제거
titanic.head()                                         #테이블의 상단 일부를 출력 
corr = titanic.corr(method='pearson')                  #피어슨 방법으로 상관계수 구하기
corr = corr[corr.Survived !=1]                         #상관계수 Survived 요소가 1(최대)이 아닌 수만 불러오기
corr                                                   #조회

 

 

(2) 분석 결과 시각화

 

• 데이터프레임.drop([삭제할 레이블 명], axis='row/column') : 행/열 삭제
• plot() : 그래프로 나타내기
• plot.bar() : 막대그래프로 나타내기

import matplotlib.pyplot as plt                 #matplotlib 사용 선언
corr = corr.drop(['PassengerId'], axis ='rows') #Passenger Id 행 제거
corr['Survived'].plot.bar()                     #Survived 열 지정 후 막대그래프로 조회

 

 

(3) 최종 코드

import pandas as pd                               #pandas 라이브러리 사용 선언 
import matplotlib.pyplot as plt                   #matplotlib 라이브러리 사용 선언 
titanic = pd.read_table('/train.csv',sep=',')     #titanic 테이블 가져오기

# 1.Null(공백) 데이터 파악하기
print(titanic.isnull().sum())

# 2. 공백 데이터 제거하기
titanic = titanic.dropna()

#상관계수 구하기
corr=titanic.corr(method='pearson')

#survived 1인 요소 제외하기
corr = corr[corr.Survived !=1]

#passengerId 열 삭제 하기
corr = corr.drop(['PassengerId'], axis ='rows')

#생존율 상관관계 바 그래프 생성하기
corr['Survived'].plot.bar()

#x축 레이블 45도 회전하기
plt.xticks(rotation=45)

 

분석 결과
성별	1일수록(=여성) 생존 확률이 높다
좌석 등급	낮을수록(1등급에 가까울수록) 생존 확률이 높다
요금	비쌀수록 생존 확률이 높다

 

 

 

4. 데이터 분석에 필요한 시각화 한 걸음 더

 

(1) 라이브러리 추가

 

• numpy : 데이터 연산을 도와준다.
• seaborn : matplotlib 시각화를 도와준다.

 

 

(2) 최종 코드

 

• hist(bins=막대그래프 폭, figsize=(가로길이, 세로길이), grid=True/False) : 히스토그램 만들기
• cut(array, bins=[], label=[]) : 데이터 구간 나누기

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

titanic = pd.read_table('/train.csv',sep=',')  #titanic 테이블 가져오기
titanic = titanic.dropna()                     #null값 제거
titanic.head()
titanic.describe()                             #데이터 통계치 요약

#첫 번째 그래프 - 나이별로 히스토그램 구하기
titanic['Age'].hist(bins=40,figsize=(18,8),grid=True)

#나이별 구분 및 각 나이별 생존율 확인 하기
titanic['Age_cat'] = pd.cut(titanic['Age'],bins=[0,3,7,15,30,60,100],include_lowest=True,labels=['baby','children','teenage','young','adult','old'])

#연령대를 기준으로 평균 값 구하기
titanic.groupby('Age_cat').mean()

#그래프 크기 설정
plt.figure(figsize=(14,5))

# 바 그래프 그리기 (x축 = Age_cat, y축 = Survived)
sns.barplot(x='Age_cat',y='Survived',data=titanic)

# 두 번째 그래프 나타내기
plt.show()