[Pandas] 기초 활용_Titanic

NaN Data

---

머신러닝과 같은 데이터를 이용한 작업을 할 때, 누락 데이터를 처리하는 것은 데이터 품질을 높일 뿐 아니라,

 

성능 향상과도 매우 밀접한 관련이 있다. NaN(Not a Number) 즉, 누락 데이터를 확인하고 처리하는 방법은

 

필수적으로 알고있어야 한다.

---

 

 

seaborn으로 데이터 불러오기

 

 

seaborn에는 여러 data가 집합해있다. 약어로 sns라고 하며 이를 통해 titanic에 관련된 데이터를 불러올 수 있다.

 

이렇게 불러온 data는 그 양이 많아 한 눈에 담기 어려운데, 이때 사용할 수 있는 메서드가 head( ), tail( ) 함수이다.

 

예시에서 확인 할 수 있듯이 tail( )은 기본 값으로 data의 맨 끝에 존재하는 5개의 data를 불러온다.

 

head( ) 메서드는 이와 반대로 앞에서 5개의 data를 불러오는 함수이다.

 

# data 불러오기
import seaborn as sns

df = sns.load_dataset('titanic')
df.tail()

	survived	pclass	sex	age	sibsp	parch	fare	embarked	class	who	adult_male	deck	embark_town	alive	alone
886	0	2	male	27.0	0	0	13.00	S	Second	man	True	NaN	Southampton	no	True
887	1	1	female	19.0	0	0	30.00	S	First	woman	False	B	Southampton	yes	True
888	0	3	female	NaN	1	2	23.45	S	Third	woman	False	NaN	Southampton	no	False
889	1	1	male	26.0	0	0	30.00	C	First	man	True	C	Cherbourg	yes	True
890	0	3	male	32.0	0	0	7.75	Q	Third	man	True	NaN	Queenstown	no	True

 

 

' data ' . info( )

 

 

이름 그대로 정보를 불러오는 메서드로 사용 시 각 열(column)의 총 개수와 그 유효 데이터(Non-null count)가

 

몇 개 존재하는지 확 인 할 수 있다.

 

# 요약 정보를 통해 누락 데이터 확인

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 15 columns):
 #   Column       Non-Null Count  Dtype   
---  ------       --------------  -----   
 0   survived     891 non-null    int64   
 1   pclass       891 non-null    int64   
 2   sex          891 non-null    object  
 3   age          714 non-null    float64 
 4   sibsp        891 non-null    int64   
 5   parch        891 non-null    int64   
 6   fare         891 non-null    float64 
 7   embarked     889 non-null    object  
 8   class        891 non-null    category
 9   who          891 non-null    object  
 10  adult_male   891 non-null    bool    
 11  deck         203 non-null    category
 12  embark_town  889 non-null    object  
 13  alive        891 non-null    object  
 14  alone        891 non-null    bool    
dtypes: bool(2), category(2), float64(2), int64(4), object(5)
memory usage: 80.6+ KB

 

 

value_counts( )

 

 

info를 통해 각 열마다 존재하는 유효 데이터를 탐색했다면, 어떤 열(column)이 전체 대비 누락 데이터가 많은지도

 

파악할 수 있는데, titanic의 경우 'deck'과 'age' 데이터에 유효 데이터 수가 적은걸 확인할 수 있었다.

 

이때 value_counts( ) 메서드를 이용한다면 보다 정확하게 해당 열의 누락 데이터 수와 유효 데이터를 알아볼 수 있다.

 

# value_count()메소드를 통해 누락률이 많은 열 탐색

nan_df = df['deck'].value_counts(dropna=False)
nan_df

NaN    688
C       59
B       47
D       33
E       32
A       15
F       13
G        4
Name: deck, dtype: int64

 

 

 

isnull( )

 

 

isnull( ), notnull( ) 메서드 역시 누락 데이터를 확인할 수 있는 메서드인데, isnull( )의 경우 전체 데이터에서 

 

누락된 데이터에는 True를 반환하고 유효 데이터에는 False를 반환한다.

 

notnull( ) 데이터는 isnull( )과 반대로 작동된다.

# isnull == data가 null,NaN 일 때 해당 되는 원소를 True로 반환

df.head().isnull()

	survived	pclass	sex	age	sibsp	parch	fare	embarked	class	who	adult_male	deck	embark_town	alive	alone
0	False	False	False	False	False	False	False	False	False	False	False	True	False	False	False
1	False	False	False	False	False	False	False	False	False	False	False	False	False	False	False
2	False	False	False	False	False	False	False	False	False	False	False	True	False	False	False
3	False	False	False	False	False	False	False	False	False	False	False	False	False	False	False
4	False	False	False	False	False	False	False	False	False	False	False	True	False	False	False

 

 

isnull( ). sum(axis = )

 

 

info( ) 메서드와 value_counts( ) 메서드를 조합하지 않고 전체 누락 데이터 개 수를 파악하는 함수이다.

 

axis = 를 통해 행, 열을 조절할 수 있다.

# isnull().sum(axis = ) 를 사용하면 한 번에 누락 데이터의 개 수 파악 가능

df.isnull().sum(axis=0)

survived         0
pclass           0
sex              0
age            177
sibsp            0
parch            0
fare             0
embarked         2
class            0
who              0
adult_male       0
deck           688
embark_town      2
alive            0
alone            0
dtype: int64

 

 

dropna( axis = , thresh = )

 

 

NaN data를 구했다면 이제 그 데이터를 제거하는 방법을 알아보자

 

보통 데이터 처리를 할 때 'deck'과 같이 지나치게 누락 데이터가 많을 경우 그 데이터를 제거해야

 

데이터 품질 향상에 도움이 된다.

 

예시의 코드를 읽어보면 dropna(axis=1, thresh = 445)를 통해 제거할 축을 지정하고, 기준을 정해

 

누락 데이터가 절반을 넘을 경우 제거한다고 입력했다.

 

 

# dropna(axis = , thresh = )를 사용 축을 지정한다.
# thresh 옵션을 통해 누락률이 전체 데이터 절반이 넘는 열을 제거

ndf = df.dropna(axis=1, thresh=445)
ndf.columns
ndf

	survived	pclass	sex	age	sibsp	parch	fare	embarked	class	who	adult_male	embark_town	alive	alone
0	0	3	male	22.0	1	0	7.2500	S	Third	man	True	Southampton	no	False
1	1	1	female	38.0	1	0	71.2833	C	First	woman	False	Cherbourg	yes	False
2	1	3	female	26.0	0	0	7.9250	S	Third	woman	False	Southampton	yes	True
3	1	1	female	35.0	1	0	53.1000	S	First	woman	False	Southampton	yes	False
4	0	3	male	35.0	0	0	8.0500	S	Third	man	True	Southampton	no	True
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
886	0	2	male	27.0	0	0	13.0000	S	Second	man	True	Southampton	no	True
887	1	1	female	19.0	0	0	30.0000	S	First	woman	False	Southampton	yes	True
888	0	3	female	NaN	1	2	23.4500	S	Third	woman	False	Southampton	no	False
889	1	1	male	26.0	0	0	30.0000	C	First	man	True	Cherbourg	yes	True
890	0	3	male	32.0	0	0	7.7500	Q	Third	man	True	Queenstown	no	True

 

 

 

데이터 .dropna(subset=[' 열 선택 '], how='any', axis = 0)

 

 

데이터 품질 향상을 위해 누락 데이터가 많은 데이터를 제거하는 게 좋지만,

 

그렇다고 너무 많은 데이터를 제거하는 것 역시 데이터 품질에 좋은 영향을 끼치진 않는다.

 

두 번째로 누락률이 높았던 'age' 열을 제거하는 게 아닌, 정재하여 데이터 품질을 향상해 보자

 

dropna( ) 메서드는 여러 옵션을 가지고 있는데 그중 how 옵션은 누락 데이터만을 제거하는 게 가능하다.

 

how='any'를 입력하여 누락 데이터를 제거하자.

 

# 누락 데이터가 두 번째로 많은 'age'열을 dropna() 메소드의 how 옵션을 이용하여 
# 누락 데이터를 가진 행만 제거
# how='any'를 사용하면 누락 데이터가 존재하는 모든 행을 제거한다.

ndf2 = ndf.dropna(subset=['age'], how='any',axis = 0)
print(ndf2.isnull().sum(axis=0))
print()
print(ndf2.notnull().sum(axis=0))

survived       0
pclass         0
sex            0
age            0
sibsp          0
parch          0
fare           0
embarked       2
class          0
who            0
adult_male     0
embark_town    2
alive          0
alone          0
dtype: int64

survived       714
pclass         714
sex            714
age            714
sibsp          714
parch          714
fare           714
embarked       712
class          714
who            714
adult_male     714
embark_town    712
alive          714
alone          714
dtype: int64

 

median( )

 

dropna how를 통해 누락 데이터를 제거했다면 비어 있는 데이터 값은 평균값과 같은 대체 데이터로 채워주는 게 좋다.

 

df [ ' 행열 이름 ' ]. median(axis=0) 함수를 사용하면 해당 행/열의 전체 데이터 평균값을 입력한다.

 

 

# 누락 데이터가 445 이상인 데이터 제거
df.dropna(axis=1, thresh=445, inplace=True)

# age열의 누락 데이터를 평균값으로 채우기

age_median = df['age'].median(axis=0)
df['age'].fillna(age_median, inplace = True)
df.isnull().sum(axis= 0)

	survived	pclass	sex	age	sibsp	parch	fare	embarked	class	who	adult_male	embark_town	alive	alone
886	0	2	male	27.0	0	0	13.00	S	Second	man	True	Southampton	no	True
887	1	1	female	19.0	0	0	30.00	S	First	woman	False	Southampton	yes	True
888	0	3	female	28.0	1	2	23.45	S	Third	woman	False	Southampton	no	False
889	1	1	male	26.0	0	0	30.00	C	First	man	True	Cherbourg	yes	True
890	0	3	male	32.0	0	0	7.75	Q	Third	man	True	Queenstown	no	True

 

 

notnull( )

 

유효 데이터에는 True 반환 누락 데이터는 False

# notnull() == 유효한 data 일 경우 True 반환 null, NaN은 False

df.head().notnull()

	survived	pclass	sex	age	sibsp	parch	fare	embarked	class	who	adult_male	deck	embark_town	alive	alone
0	True	True	True	True	True	True	True	True	True	True	True	False	True	True	True
1	True	True	True	True	True	True	True	True	True	True	True	True	True	True	True
2	True	True	True	True	True	True	True	True	True	True	True	False	True	True	True
3	True	True	True	True	True	True	True	True	True	True	True	True	True	True	True
4	True	True	True	True	True	True	True	True	True	True	True	False	True	True	True

 

---