Pandas로 국민청원 데이터 분석하기

Pandas와 NumPy를 import해 옵니다.

import pandas as pd
import numpy as np

csv 데이터를 불러 옵니다.

# AWS 서버에 파일이 있기에 계속 클라우드로 사용 가능. csv : ,로 값들이 구분된 데이터 파일
df = pd.read_csv('https://s3.ap-northeast-2.amazonaws.com/data10902/petition/petition.csv', parse_dates=['start', 'end'])

읽어온 데이터가 몇 행 몇 열인지 봅니다.

df.shape

(211108, 8)

일부 데이터 미리 보기

• 상단 5개의 데이터를 불러옵니다.

# article_id가 1-20까지는 개발자가 테스트용도로 쓰다가 데이터베이스 복구를 하지 않아서 첫 글이 21이 됨
df.head(5)

• 하단 3개의 데이터를 불러옵니다.

df.tail(3)

결측치가 있는지 확인해 봅니다.

# null값이 있는 경우를 count 시켜줌. 현재는 크롤링을 잘해서 0이 나옴
df.isnull().sum()

article_id    0
start         0
end           0
answered      0
votes         0
category      0
title         0
content       1
dtype: int64

데이터 요약하기

• 어떤 컬럼이 있고 어떤 타입인지 출력해 봅니다.

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 211108 entries, 0 to 211107
Data columns (total 8 columns):
article_id    211108 non-null int64
start         211108 non-null datetime64[ns]
end           211108 non-null datetime64[ns]
answered      211108 non-null int64
votes         211108 non-null int64
category      211108 non-null object
title         211108 non-null object
content       211107 non-null object
dtypes: datetime64[ns](2), int64(3), object(3)
memory usage: 12.9+ MB

• 데이터 타입만 따로 뽑아 봅니다.

df.dtypes

article_id             int64
start         datetime64[ns]
end           datetime64[ns]
answered               int64
votes                  int64
category              object
title                 object
content               object
dtype: object

• 컬럼명만 따로 추출해 봅니다.

df.columns

Index(['article_id', 'start', 'end', 'answered', 'votes', 'category', 'title',
       'content'],
      dtype='object')

• 수치형 데이터에 대한 요약을 봅니다.

# 수치형 데이터에 대해서만 보여줌
# df.describe? 하면, 도움말 기능이 나오므로 활용함
df.describe()

• 카테고리(object) 형태의 데이터에 대한 요약을 봅니다.

# object 중 가장 많이 나오는 데이터를 보여줌
# count와 unique가 일치하지 않는 것은 도배글이 많다는 것을 의미함
df.describe(include=np.object)

답변대상 청원 보기

20만건 이상 투표를 받으면 답변 대상 청원이 됩니다.
20만건 이상 투표를 받은 청원의 갯수를 세어보세요.

df_20 = df.loc[df['votes'] > 200000]
df_20.shape

(43, 14)

df_20.category.value_counts()

인권/성평등         11
안전/환경           5
문화/예술/체육/언론     5
기타              5
외교/통일/국방        3
정치개혁            3
성장동력            2
경제민주화           2
보건복지            2
행정              1
반려동물            1
교통/건축/국토        1
미래              1
육아/교육           1
Name: category, dtype: int64

df_20[['title', 'content']].head(3)

• 20만건 이상 투표를 받은 상위 5개의 청원을 head()를 통해 출력해 보세요.

df_20_loc = df.loc[df_20]
df_20_loc.sort_values(by='votes', ascending=False).head()

• 20만건 이상 투표를 받은 청원을 별도의 컬럼을 만들어 줍니다. 컬럼 이름은 answer로 합니다.

df['answer'] = (df['votes'] > 200000) == 1

• df 데이터프레임의 크기를 다시 찍어 보세요. 컬럼 하나가 늘었나요?

df.shape

(211108, 9)

df.dtypes

article_id             int64
start         datetime64[ns]
end           datetime64[ns]
answered               int64
votes                  int64
category              object
title                 object
content               object
answer                  bool
dtype: object

• 새로 생성해 준 answer의 타입은 boolean 타입입니다. int로 변경해 보세요.

df['answer'] = df['answer'].astype('int')

• 답변대상 청원중 아직 답변되지 않은 청원의 수를 계산해 보세요.

df['answer_diff'] = df['answer'] - df['answered']
df['answer_diff'].sum()

16

답변 대상 청원 중 투표를 가장 많이 받은 것

answered_df = df.loc[df['answer'] == 1]
answered_df.sort_values('votes', ascending=False).head(5)

어느 분야의 청원이 가장 많이 들어왔는지?

pandas의 value_counts로 특정 컬럼의 데이터를 그룹화하여 카운된 숫자를 볼 수 있습니다.
어느 분야의 청원이 가장 많이 들어왔는지 찾아보세요.

category = pd.DataFrame(df['category'].value_counts()).reset_index()
category.columns = ['category', 'counts']
category

청원이 가장 많이 들어 온 날은 언제인지 정렬해 보세요.

start_df = pd.DataFrame(df['start'].value_counts()).reset_index()
start_df.columns = ['start', 'counts']
start_df = start_df.sort_values('counts', ascending=False)
print('청원 집계: {}일'.format(start_df.shape[0]))
start_df.head()

청원 집계: 302일

피봇 테이블로 투표를 가장 많이 받은 분야를 찾아보세요.

petitions_unique = pd.pivot_table(df, index=['category'], aggfunc=np.sum)
petitions_best = petitions_unique.sort_values(by='votes', \
                                              ascending=False).reset_index()
petitions_best

투표를 가장 많이 받은 날은 언제일까요?

petitions_start = pd.pivot_table(df, index=['start'], aggfunc=np.sum)
votes_df = petitions_start.sort_values(by='votes', ascending=False)
votes_df.loc[petitions_start['votes'] > 350000]

청원을 많이 받은 날 VS 투표를 많이 받은 날에 대해 각각 상위 5개 목록을 추출해 봅니다.

이때, title, content는 안 나와도 됩니다.

# 두 개의 데이터프레임을 합치기 위해 인덱스를 생성한다.
votes_df = votes_df.reset_index()
hottest_day_df = start_df.merge(votes_df, on='start', how='left')
hottest_day_df.sort_values('counts', ascending=False)[:5]

hottest_day_df.sort_values('votes', ascending=False)[:5]

시계열 데이터 보기

• 월별 청원수를 집계해 보세요.

df['start_month'] = df['start'].dt.month
df['start_day'] = df['start'].dt.day
df['start_hour'] = df['start'].dt.hour
df['start_dow'] = df['start'].dt.dayofweek
df.shape

(211108, 14)

• 청원이 가장 많이 들어온 달은 언제인가요?
• 요일별 청원 수는 어떻게 되나요?

crypto = df[( df.title.str.find('가상화폐') != -1 ) | ( df.content.str.find('가상화폐') != -1  )]
crypto.shape

(7773, 14)

crypto.head()

crypto['category'].value_counts()

경제민주화          1945
미래             1879
성장동력           1398
기타              984
정치개혁            870
행정              338
일자리             108
인권/성평등           65
안전/환경            52
외교/통일/국방         42
교통/건축/국토         31
문화/예술/체육/언론      25
보건복지             13
저출산/고령화대책         8
육아/교육             8
반려동물              5
농산어촌              2
Name: category, dtype: int64

import re
p = r'.*(돌봄|아이|초등|보육).*'
care = df[df['title'].str.match(p) |
           df['content'].str.match(p, flags=re.MULTILINE)]
care.shape

(25735, 14)

위 분석 외에 각자 해보고 싶은 분석을 해보세요.

from plotnine import *

(ggplot(df)
 + aes('category')
 + geom_bar(fill='green')
 + theme(text=element_text(family='NanumBarunGothic'),
        axis_text_x=element_text(rotation=60))
)

/Users/corazzon/codes/jupyter/lib/python3.6/site-packages/statsmodels/compat/pandas.py:56: FutureWarning: The pandas.core.datetools module is deprecated and will be removed in a future version. Please use the pandas.tseries module instead.
  from pandas.core import datetools

<ggplot: (298888168)>

!pip install plotnine