Pandas 소개

@winuss · September 26, 2020 · 11 min read

Pandas 패키지 소개

Pandas 패키지는 데이터 분석을 할 때 가장 많이 쓰이는 패키지이다. 대부분의 데이터는 시계열(series)이나 표(table)의 형태로 나타낼 수 있는데 Pandas에서는 이러한 표 데이터를 다루기 위한 시리즈(Series) 클래스와 데이터프레임(DataFrame) 클래스를 제공한다.

Series

Series는 numpy에서 제공하는 1차원 배열과 비슷하지만 각 데이터의 의미를 표시하는 인덱스(index)를 붙일 수 있다. 데이터 자체는 값(Value)라고 한다.

Series = Value(값) + Index(인덱스)

import pandas as pd

Series 생성

s = pd.Series([9904312, 3448737, 2890451, 2466052], #값
    index=["서울","부산","인천","대구"]) #인덱스
s
서울    9904312
부산    3448737
인천    2890451
대구    2466052
dtype: int64

만약 인덱스 지정 없이 Series를 만들면 Series의 인덱스는 0부터 시작하는 정수값이 된다.

pd.Series(range(10,14))
0    10
1    11
2    12
3    13
dtype: int64
s.index
Index(['서울', '부산', '인천', '대구'], dtype='object')
s.values
array([9904312, 3448737,  289511,  264544], dtype=int64)
  • name : Series 데이터의 이름
  • index.name : Series 인덱스의 이름
s.name="인구"
s.index.name = "도시"
s
도시
서울    9904312
부산    3448737
인천     289511
대구     264544
Name: 인구, dtype: int64

Series 연산

연산은 Series의 값에만 적용되며 인덱스 값은 변하지 않는다.

s/1000000
서울    9.904312
부산    3.448737
인천    2.890451
대구    2.466052
dtype: float64

Series 인덱싱

인덱스 라벨을 이용한 인덱싱 또는 배열 인덱싱을 이용한 슬라이싱이 가능하다.

s[1], s["부산"]
(3448737, 3448737)

배열 인덱싱을 하면 자료의 순서를 바꾸거나 특정 라벨의 자료만 선택할 수 있다.

s[["서울","대구"]]
서울    9904312
대구    2466052
dtype: int64
s[(250e4 < s) & (s < 500e4)]
부산    3448737
인천    2890451
dtype: int64
print(s)
s[1:3]
서울    9904312
부산    3448737
인천    2890451
대구    2466052
dtype: int64





부산    3448737
인천    2890451
dtype: int64

만약 라벨 값이 영문인 경우에는 마치 속성처럼 점(.)을 이용하여 접근할 수도 있다.

s0 = pd.Series(range(3), index=["a", "b", "c"])
s0
a    0
b    1
c    2
dtype: int64
(s0.a, s0.b)
(0, 1)

Series와 Dictionary 자료형

Series 객체는 라벨 값에 의해 인덱싱이 가능하므로 실질적으로 라벨 값을 키(key)로 가지는 Dictionary 자료형과 같다고 볼수 있다. 따라서 Dictionary 자료형에서 제공하는 in 연산도 가능하고 items 메서드를 이용하면 for 루프를 통해 각 원소의 key와 value에 접근할 수도 있다.

"서울" in s
True
"대전" in s
False
for k, v in s.items():
    print("%s = %d" % (k, v))
서울 = 9904312
부산 = 3448737
인천 = 2890451
대구 = 2466052

또 Dictionary 객체에서 시리즈를 만들수 있다.

s2 = pd.Series({"서울": 9631482, "부산": 3393191, "인천": 2632035, "대전": 1490158})
s2
서울    9631482
부산    3393191
인천    2632035
대전    1490158
dtype: int64

Dictionary의 원소는 순서를 가지지 않으므로 Series의 데이터에도 순서가 보장되지 않는다. 만약 순서를 정하고 싶다면 인덱스를 리스트로 지정해야 한다.

s2 = pd.Series({"서울": 9631482, "부산": 3393191, "인천": 2632035, "대전": 1490158},
               index=["부산", "서울", "인천", "대전"])
s2
부산    3393191
서울    9631482
인천    2632035
대전    1490158
dtype: int64

인덱스 기반 연산

  • s : 2015년 인구 증가
  • s2 : 2010년 인구 증가
ds = s - s2
ds
대구         NaN
대전         NaN
부산     55546.0
서울    272830.0
인천    258416.0
dtype: float64
s.values - s2.values
array([ 6511121, -6182745,   258416,   975894], dtype=int64)

대구와 대전의 경우 s, s1 모두에 준재하지 않기 때문에 계산이 불가능하므로 NaN(Not a Number)값을 가지게 된다. 또한 NaN 값이 float 자료형에서만 가능하므로 다른 계산 결과도 모두 float 자료형이 되었다. NaN이 아닌 값을 구하려면 notnull 메서드를 사용하야 한다.

ds.notnull()
대구    False
대전    False
부산     True
서울     True
인천     True
dtype: bool
ds[ds.notnull()]
부산     55546.0
서울    272830.0
인천    258416.0
dtype: float64

인구 증가율(%)은 다음과 같이 구할 수 있다.

rs = (s-s2)/s2 * 100
rs = rs[rs.notnull()]
rs
부산    1.636984
서울    2.832690
인천    9.818107
dtype: float64

데이터 갱신, 추가, 삭제

인덱싱을 이용하면 딕셔너리처럼 데이터를 갱신하거나 추가 할 수 있다.

rs["부산"] = 1.63
rs
부산    1.630000
서울    2.832690
인천    9.818107
dtype: float64
rs["대구"] = 1.41
rs
부산    1.630000
서울    2.832690
인천    9.818107
대구    1.410000
dtype: float64
del rs["서울"] # 삭제
rs
부산    1.630000
인천    9.818107
대구    1.410000
dtype: float64

DataFrame

시리즈가 1차원 벡터 데이터에 행방향 인덱스(row index)를 붙인 것이라면 데이터프레임 클래스는 2차원 행렬 데이터에 인덱스를 붙인 것과 비슷하다. 2차원이므로 각각의 행 데이터의 이름이 되는 행방향 인덱스(row index) 뿐 아니라 각각의 열 데이터의 이름이 되는 열방향 인덱스(column index)도 붙일 수 있다.

DataFrame 생성

  1. 하나의 열이 되는 데이터를 리스트나 일차원 배열로 준비
  2. 이 각각의 열에 대한 이름(라벨)을 키로 가지는 딕셔너리 생성
  3. 이 데이터를 DataFrame 클래스 생성자에 넣고 열방향 인덱스는 columns, 행방행 인덱스는 index 인수로 지정
data = {
    "2015": [9904312, 3448737, 2890451, 2466052],
    "2010": [9631482, 3393191, 2632035, 2431774],
    "2005": [9762546, 3512547, 2517680, 2456016],
    "2000": [9853972, 3655437, 2466338, 2473990],
    "지역": ["수도권", "경상권", "수도권", "경상권"],
    "2010-2015 증가율": [0.0283, 0.0163, 0.0982, 0.0141]
}
columns = ["지역", "2015", "2010", "2005", "2000", "2010-2015 증가율"]
index = ["서울", "부산", "인천", "대구"]
df = pd.DataFrame(data, index=index, columns=columns)
df
지역 2015 2010 2005 2000 2010-2015 증가율
서울 수도권 9904312 9631482 9762546 9853972 0.0283
부산 경상권 3448737 3393191 3512547 3655437 0.0163
인천 수도권 2890451 2632035 2517680 2466338 0.0982
대구 경상권 2466052 2431774 2456016 2473990 0.0141

앞에서 데이터프레임은 2차원 배열 데이터를 기반으로 한다고 했지만 사실은 공통 인덱스를 가지는 열 시리즈(column series)를 딕셔너리로 묶어놓은 것이라고 보는것이 더 정확하다. 2차원 배열 데이터는 모든 원소와 같은 자료형을 가져야 하지만 데이터프레임은 각 열(column)마다 자료형이 다를 수 있기 때문이다. 위 예제에서도 지역과 인구와 증가율은 각각 문자열, 정수, 부동소수점 실수 이다.

시리즈와 마찬가지로 데이터만 접근하려면 values속성을 사용하고, 열방향 인덱스와 행방향 인덱스는 각각 columns, index 속성으로 접근한다.

df.values
array([['수도권', 9904312, 9631482, 9762546, 9853972, 0.0283],
       ['경상권', 3448737, 3393191, 3512547, 3655437, 0.0163],
       ['수도권', 2890451, 2632035, 2517680, 2466338, 0.0982],
       ['경상권', 2466052, 2431774, 2456016, 2473990, 0.0141]], dtype=object)
df.columns
Index(['지역', '2015', '2010', '2005', '2000', '2010-2015 증가율'], dtype='object')
df.index
Index(['서울', '부산', '인천', '대구'], dtype='object')

시리즈에서 처럼 열방향 인덱스와 행방향 인덱스에 이름을 붙일수 있다.

df.index.name = "도시"
df.columns.name = "특성"
df
특성 지역 2015 2010 2005 2000 2010-2015 증가율
도시
서울 수도권 9904312 9631482 9762546 9853972 0.0283
부산 경상권 3448737 3393191 3512547 3655437 0.0163
인천 수도권 2890451 2632035 2517680 2466338 0.0982
대구 경상권 2466052 2431774 2456016 2473990 0.0141

데이터 프레임은 전치(transpose)를 포함하여 2차원 numpy 배열이 가지는 대부분의 속성이나 메서드를 지원한다.

df.T
도시 서울 부산 인천 대구
특성
지역 수도권 경상권 수도권 경상권
2015 9904312 3448737 2890451 2466052
2010 9631482 3393191 2632035 2431774
2005 9762546 3512547 2517680 2456016
2000 9853972 3655437 2466338 2473990
2010-2015 증가율 0.0283 0.0163 0.0982 0.0141

열 데이터의 갱신, 추가, 삭제

데이터프레임은 열 시리즈의 딕셔너리로 볼수 있으므로 열 단위로 데이터를 갱신하거나 추가, 삭제할 수 있다.

df["2010-2015 증가율"] = df["2010-2015 증가율"] * 100
df
지역 2015 2010 2005 2000 2010-2015 증가율
서울 수도권 9904312 9631482 9762546 9853972 2.83
부산 경상권 3448737 3393191 3512547 3655437 1.63
인천 수도권 2890451 2632035 2517680 2466338 9.82
대구 경상권 2466052 2431774 2456016 2473990 1.41
df["2005-2010 등가율"] = ((df["2010"] - df["2005"])/df["2005"]*100).round(2)
df
지역 2015 2010 2005 2000 2010-2015 증가율 2005-2010 등가율
서울 수도권 9904312 9631482 9762546 9853972 2.83 -1.34
부산 경상권 3448737 3393191 3512547 3655437 1.63 -3.40
인천 수도권 2890451 2632035 2517680 2466338 9.82 4.54
대구 경상권 2466052 2431774 2456016 2473990 1.41 -0.99
del df["2010-2015 증가율"]
df
지역 2015 2010 2005 2000 2005-2010 등가율
서울 수도권 9904312 9631482 9762546 9853972 -1.34
부산 경상권 3448737 3393191 3512547 3655437 -3.40
인천 수도권 2890451 2632035 2517680 2466338 4.54
대구 경상권 2466052 2431774 2456016 2473990 -0.99

열 인덱싱

데이터프레임은 열 시리즈의 딕셔너리와 비슷하다고 하였다. 따라서 데이터프레임을 인덱싱 할 때도 열 라벨(column label)을 키값으로 생각하여 인덱싱을 할 수 있다. 인덱스로 라벨을 넣거나 배열형태로 넣는것도 가능하다.

df["지역"] # Series 반환
서울    수도권
부산    경상권
인천    수도권
대구    경상권
Name: 지역, dtype: object
pandas.core.series.Series
df[["2010", "2015"]]
2010 2015
서울 9631482 9904312
부산 3393191 3448737
인천 2632035 2890451
대구 2431774 2466052

만약 하나의 열만 빼서 데이터프레임 자료형을 유지하고 싶다면 원소가 하나인 리스트를 써서 인덱싱 하면된다.

df[["2010"]] # type(df[["2010"]]) => pandas.core.frame.DataFrame
2010
서울 9631482
부산 3393191
인천 2632035
대구 2431774
df["2010"] # type(df["2010"]) => pandas.core.series.Series
서울    9631482
부산    3393191
인천    2632035
대구    2431774
Name: 2010, dtype: int64

데이터프레임의 열 인덱스가 문자열 라벨을 가지고 있는 경우에는 순서를 나타내는 정수 인덱스를 열 인덱싱에 사용할 수 없다.

try:
    df[0]
except Exception as e:
    print(type(e))
<class 'KeyError'>

다만 원래부터 문자열이 아닌 정수형 열 인덱스를 가지는 경우에는 인덱스 값으로 정수를 사용할 수 있다.

import numpy as np

df2 = pd.DataFrame(np.arange(12).reshape(3, 4))
df2
0 1 2 3
0 0 1 2 3
1 4 5 6 7
2 8 9 10 11
df2[2]
0     2
1     6
2    10
Name: 2, dtype: int32
df2[[1, 2]]
1 2
0 1 2
1 5 6
2 9 10

행 인덱싱

만약 행 단위로 인덱싱을 하고자 하면 항상 슬라이싱(slicing)을 해야 한다. 인덱스의 값이 문자 라벨이면 라벨 슬라이싱도 가능하다.

df[:1]
지역 2015 2010 2005 2000 2005-2010 등가율
서울 수도권 9904312 9631482 9762546 9853972 -1.34
df[1:2]
지역 2015 2010 2005 2000 2005-2010 등가율
부산 경상권 3448737 3393191 3512547 3655437 -3.4
df["서울":"부산"]
지역 2015 2010 2005 2000 2005-2010 등가율
서울 수도권 9904312 9631482 9762546 9853972 -1.34
부산 경상권 3448737 3393191 3512547 3655437 -3.40

개별 데이터 인덱싱

데이터프레임에서 열 라벨로 시리즈를 인덱싱하면 시리즈가 된다. 이 시리즈를 다시 행 라벨로 인덱싱하면 개발 데이터가 나온다.

df["2015"]["서울"]
9904312

지금까지의 데이터프레임 인덱싱 방법을 정리하면 다음과 같다.

인덱싱값 가능 결과 자료형 추가사항
라벨 O 시리즈
라벨 리스트 O 데이터프레임
인덱스데이터(정수) X 열 라벨이 정수인 경우 라벨 인덱싱으로 인정
인덱스데이터(정수 슬라이스) O 데이터프레임

출처 : 데이터사이언스 스쿨(datascienceschool.net)

@winuss
Hello :) Developer notes!