import pandas as pd   # pandas 패키지 불러오기
import numpy as np    # numpy 패키지 불러오기

df = pd.read_csv('bank_customer.csv')

df #  실행시 전체 dataSet 출력

df.info()
# df.index()  # indext에 대한 세부정보 (! 기본RangeIndex는 안됨)  
# df.columns  # columns 세부정보
# df.values

df.head(10)  #  맨위에서 부터 10개 출력
# df.tail(10)  # 맨아래에서 부터 10개 출력

df.T # 데이터 전치 ( Columns <-> index )

df.sort_index(ascending=True) # ascending = False

df.sort_values(by='age',ascending=False)

# df['age']
df[['age','cid']]  # 다중선택 => [[]]

# df.loc[[0,10]]

df[0:10] # 0~9 행 슬라이스  ## df.loc[0:10]

# df[20130101 : 20150202]

# df.loc[3]        # index가 3인 row의 값들을 선택
# df.loc[0:3]      # index 0~2 슬라이싱
# df.loc[[0,3]]

# df.age >300  # 블리언 타입 출력
df.loc[ df.age > 300 ]   # boolean 활용 loc 슬라이싱

def re_index(df):
    return df.age > 300  # age 300 이상 블리언 판별 함수

df.loc[re_index(df)]  #  loc의 행을 함수값으로 줌  

# df.loc[:,['cid','age','job']]  #  loc [행 전체 , 컬럼 사용자지정]

df.loc[35:45,['age','cid']]  # loc [35~45 행, 컬럼 사용자 지정]

df.iloc[0:10,1]   # iloc 사용

# 데이터 프레임에 새로운 col을 추가할 경우 index range에 맞게 값 지정해주는 방법

df_2 = df # 복사본 생성
# df_2['E'] = df['cid']  # df_2[E] 컬럼을 원본읜 cid컬럼 가져와서 생성 (* 행범위 맞추기 위해)
# 이런식으로 만들면 이미 만들어져 있는(범위에 맞게) 컬럼만 사용가능


df_2.loc[:,'E'] = np.array([5] * len(df_2))  # df_2의 E컬럼선택후 np.array로 df_2의 len만큼 5 지정
df_2.loc[0:10,['E']]  ## 확인

#  df2 = df.copy()
#  df2[df2 > 0] = -df2  
#  df2

# df.isnull() # 실행시 전체 dataset 결측값 여부 true / false 형식으로 반환    # notnull 은 반대로 반환

df.isnull().sum()  # 컬럼별 결측값 개수 확인

# df.notnull().sum()  # 컬럼별 결측값을 제외한 값의 개수 확인

df['education'].isnull().sum()   # 특정컬럼 결측값 개수 확인

df.isnull().sum(1)  # row 별 결측값 개수 확인

# df.notnull().sum(1)  # row 별 결측값 제외 개수 확인

df.isnull().sum()

# df_3 = df  #  복사본 생성
# df_3.fillna(value=5)  # 모든 결측값을 5로 대체
# df_3.filna(value="string")  # 모든 결측값을 missing라는 str값으로 대체

# df_4 = df
# df_4.dropna(how='any')  # 결측값을 가지고 있는 모든 행 제거

# df_5 = df
# df_5.isna()   # 데이터프레임의 모든 값을 boolean 형태로 표시하고 결측값만 True값으로

df_5['age'].iloc[:10].apply(np.cumsum)   # np.cumsum함수를 apply 사용하여 적용

df_t = pd.DataFrame({'A' : [1,2,3,4],
                    'C' : pd.Series(1,index=list(range(4)),dtype='float32') })

df_t # testDF 생성

df_t[['A','C']].apply(lambda x: x.max()-x.min(), axis = 0 )  # axis=0 =>  column 기준 함수연산
df_t[['A','C']].apply(lambda x: x.max()-x.min(), axis = 1 )  # axis=1 => row별 함수연산

#  hap 함수정의
def hap(x, y):
    return x + y

# hap함수를 lambda로
(lambda x,y: x + y)(10, 20)

# 1. lambda 함수 생성
# lambda x : x**2

# 2. map 함수 생성 => map(함수,리스트)  ## range(5) => [0,1,2,3,4] 리스트 반환
map(lambda x:x**2,range(5))

# 3. map함수의 결과를 새로운 list에 담아냄
list(map(lambda x : x**2,range(5)))

# from functools import reduce  # reduce import

reduce(lambda x,y : x+y , range(5))
# reduce(lambda x,y : x+y , [0,1,2,3,4])
# reduce(lambda x,y : x+y , "안녕하세요")
# reduce(lambda x,y : x+y , (3,4,5))

list(filter(lambda x : x>5 ,range(10)))

list(filter(lambda x : x, [-1,-2,0,1,2,3,4]))  # 0은 F값이므로 걸러짐 즉, 0이 되는것을 함수에 의해 0(Flase)가 되는것을 filterling

## job 기준 groupby
df_grouped_job = df.groupby(df['job']).max()
df_grouped_job

##  job컬럼 기준 balance 평균
df_grouped_job_balance = df['balance'].groupby(df['job']).mean()
df_grouped_job_balance

## job,marital(2개 컬럼) 기준 balance 평균
df_grouped_job_marital = df['balance'].groupby([df['job'],df['marital']]).mean()
df_grouped_job_marital

# 범주형 data로 변환하기
df_category = pd.DataFrame({"id":[1,2,3,4,5,6], "raw_grade":['a', 'b', 'b', 'a', 'a', 'e']})
df_category

# df_category.info()  # dataset 확인

# 카테고리형으로 변환
df_category['grade'] = df_category['raw_grade'].astype('category')

## 카테고리 이름 변경
# Series.cat.categories
df_category['grade'].cat.categories = ["very good", "good", "very bad"]

df_category

df_category.groupby(df_category['grade']).size()