180802_지그재그
ZIGZAG데이터 분석 이야기_크로키닷컴 by. 박인성님
지그재그 & 팀 소개
- 여성 의류 쇼핑몰
- 쇼핑몰 즐켜찾기, 상품 검색, 배송 추적 가능
크로키닷컴 데이터 팀
Raw 데이터를 다양한 분석 니즈에 맞게 추출/변환/적재
사내 다양한 팀과 협업하여 각 팀의 주요 의사결정 지원
서비스 관련 지표 모니터링 및 대시보드 제작/운영
주문 등을 모니터링할 수 있는 대시보드
머신러닝/딥러닝 알고리즘 리서치 및 적용 테스트
데이터 팀 프로젝트 진행 과정
문제 정의
분석 과제 수행이 필요한 주제 선정 (추상적 주제)
주제를 구체화하여 데이터로 정의
"어떤 기능을 잘 쓴다"의 기준? 이걸 살펴보려면 어떤 데이터가 중요할까
데이터 수집 및 전처리
데이터 스토리지에 접속해 이용자 로그 수집
raw데이터의 형태로 많은 데이터가 있음.
앞서 정의했던 구조에 맞게 데이터 전처리 (시간 효율성 고려)
데이터 탐색 및 분석
데이터 탐색을 통해 정의한 문제 분석
설정했던 가설을 분석하는 등 실질적인 분석과정
분석 결과 시각화 (중요 포인트 위주)
모든 포인트들을 모두 시각화 할 수는 없음. 따라서 모든 정보보다는 중요한 포인트를 찝어 시각화
분석 결과 공유
관련 팀원에게 분석 데이터 공유 및 결과 브리핑
다른 팀원들이 잘 이해할 수 있도록 잘 설명하기
분석 결과 피드백 수집 및 후속 분석 기획
데이터 팀 업무 인프라 (feat. 마케팅 팀)
데이터 팀의 툴
- 데이터 처리, 분석 시스템:
- spark: 여러대의 컴퓨터를 통해 데이터를 분산 처리. 파이썬 기반
- 재플린: 주피터 노트북과 비슷한 기업 내 ide
- 서비스 이용자 로그 데이터
- 지그재그 앱
- DB
- 클라우드의 스토리지에 저장
마케팅 팀과의 협업
마케팅 채널을 통한 광고 집행
페이스북, 트위터 등의 광고를 통한 데이터를 기록함
마케팅 성과 측정 솔루션
분석 대상자가 뽑인 후 고유key값(광고ID)이 존재함. 앱에 있는 로그 데이터와 합쳐짐. 마케팅 플랫폼마다 지그재그 앱이 어떤 식으로 사용되고 있는 지 등을 분석할 수 있음.
지그재그 리뉴얼 프로젝트
지그재그 수익 모델이 앱에 반영될 방식을 고민한 결과 앱 첫번째 영역에 광고 영역(상품 추천)을 새롭게 추가하기로 결정 (기존에는 '쇼핑몰 랭킹')
새롭게 개발하는 광고 영역에 적용할 상품 노출 방법 2가지 (A or B)
- A type : 화면 당 노출 상품 9개, 상품 정보 없음
- B type : 화면 당 노출 상품 6개, 상품 정보 있음
- 두가지 모두 해보자! - A /B test 진행 결정
앱에 중대한 변화가 생기는 만큼 다양한 관점의 데이터 탐색/분석을 계획
- 분석 기획 문서를 작성한 후 팀원들과 의견을 공유
- 앱 전체 영역 관점에서는...
- 이용자의 이탈이 존재하는가?
- 이용자의 주요 액션에 변화가 있는가?
- 기존 영역 중 영향을 받는 곳이 있는가? 등
- 광고 영역 관점에서는...
- 상품이 많이 노출되는 타입은 무엇?
- 상품이 많이 클릭되는 타입은 무엇?
- 내 상품 추가를 많이 하는 타입은 무엇?
- 이탈률이 낮은 타입은 무엇인가?
전체 앱 이용자 중 5%를 랜덤 추출하여 리뉴얼 버전 앱 업데이트 배포, 배포 후 이용자 데이터 모니터링
- 구글 플레이스토어 자체에도 이런 기능들이 있음
- 반반씩 A, B 타입을 제공
데이터 분석 결과:
상품이 많이 노출되는 타입은 무엇인가?
A타입이 B타입에 비해 93.7% 더 높은 상품 노출 수를 가짐.
6 -> 9 가 되는 비율(1.5배)보다 훨씬 더 많은 노출을 보였음.(약 2배)
수익이 두 배가 될 수 있음. > A type
B타입이 A타입보다 13.2% 더 높은 노출대비 클릭률을 가짐.(이미지 크기, 상품 정보 여부를 요인으로 추정)
효율로 따졌을 때? > B type
내 상품 추가를 많이 하는 타입은 무엇인가?
- B타입이 A타입에 비해 79.1% 더 높은 내 상품 추가 전환율을 가짐.
화면 당 노출 상품 개수가 많고 상품정보를 제공하지 않는 A타입은 단기적 수익 관점에서 유리할 수 있음.
하지만 상품 관련 정보가 부족한 채 클릭한 이용자가 상품에 만족하지 못할 가능성이 존재함.
화면 당 노출 상품 개수가 적고 상품보를 제공하는 B타입은 단기적 수익관점에서 불리할 수 있음.
하지만 상품 클릭 후 후속 행동이 상대적으로 활발하여 이용자의 상품 만족도 측면에서 유리할 수 있음.
B타입을 선택한 후 다시 개선
B타입 내 개선된 2가지 노출 방법을 이용자에게 A / B 테스트 후 최종 노출 방법 결정(B타입 개선안 두 개)
- 최종적으로 개선안1을 선택
데이터 팀에게 중요한 점
보통 추상적인 분석 과제가 들어옵니다. 과제를 구체화 하는 능력이 중요
데이터로서 표현할 수 있는 능력
데이터 용량 이슈보다, 데이터 처리시간 이슈가 더 중요
쌓이는 데이터는 크게 중요하지 않음. 저장 비용이 가장 저렴한 비용 축에 속함. 더욱 빨리 처리되고 빠른 의사결정을 내릴 수 있는 것이 더 중요하다고 생각
탐색하면서 빈도표, 히스토그램, 박스플롯을 정말 많이 씀.
다른 분들에게도 이정도의 시각화가 가장 잘 받아들여진다고 말씀하심.
보고서에 선형 그래프, 막대 그래프를 정말 많이 씀.
기본적으로 데이터를 알기 쉽게 전달한다는 관점에서는 강력한 도구가 됨.
다른 팀에게 분석 결과를 공유할 때, 최대한 쉽게 전달하는 것이 중요
생각보다 협업하는 다른 팀원들이 데이터에 익숙하지 않은 경우가 있음. 데이터분석에 대한 도메인이 생각보다 적을 수 있음. 스토리 텔링이 중요!
대부분 서버 안에서 작업이 이뤄지기 때문에 엔지니어 파트를 간과하면 안됨.
회사에서는 로컬 컴퓨터보다는 서버 안에서 작업이 이뤄지기 때문에 엔지니어 파트를 이해하는 것이 생각보다 중요함.
Q & A
데이터 팀이 두 분이서 가까이 협업하는 경우 업무분담은?
: 두 명은 너무 부족, 팀 리더 분석 senior를 영입한 상태.
처음에는 최대한 다양한 데이터를 알 수 있도록 작은 프로젝트들을 다양하게 진행해 봄.
문서를 작성해보면서 각자의 과업을 나눔.
하나의 데이터로 여러가지를 도출해 낼 수 있는 기준, 경험이 많은 기준 등으로 업무를 분담.
팀원들과의 커뮤니케이션의 방식도 서로 배우고 공유하며 진행
신규 채용 시, 업무 기술서 등이나 어던 역량의 기준을 제시했었는지?
: JD 1. 데이터에 대해 친화적(거부감이 없음) 2. 첫 대면 시 대화가 잘 통하는 지 3. 데알못이라고 가정한 후 데이터 분석 과정에 대해 가장 쉽고 배려하는 커뮤니케이션을 할 수 있는지 4. 데이터팀에게 필요한 역량 두 가지(끈기, 인지력?)
AB test를 통하여 개선안을 도출 하는 과정에서 의사결정을 주로 누가 했는지?
: 과정 간 팀원들의 의견을 충분히 반영한 대표님의 의견
대부분의 데이터팀의 프로젝트 진행 시,
: 다른 팀으로 부터의 요청을 통한 진행과 데이터 팀 내에서의 분석도 진행 두 가지 모두 공존한 편임.
머신러닝 알고리즘이라던가, 적용되고 추천되는 알고리즘 등을 주체적으로 운영
데이터 분석 시 즐거움이 중요한 요소일 것 같은데, 여성 의류 앱에 종사하게 된 계기?
: 다른 두 군데 스타트업에서의 도메인이 모두 달랐음. 텍스트 기반의 연인대화분석 서비스, 완전 스타트업의 서비스 기획 분야였는데, 분서가로서의 커리어에 고민하던 중 "분석 과정에서 데이터가 잘 쓰이고 있는가"로 초점을 맞춤. 도메인에 대한 지식을 크게 없는 상태였음. 데이터가 매력적이고, 데이터를 통해 회사의 의사결정에 기여할 수 있다면! ㅇㅇ
회사에 들어오기 위해 꼭 알아야 하거나 필요한 엔지니어 파트의 기술?
: 대부분의 서버가 리눅스 체제 내에서 이루어짐. 커맨드 기반의 명령어나 파일 관리 기법 등을 모르는 상태였지만 회사 내에서 배울 수 있었음. 하지만 입사 전 알고 왔으면 좀 더 좋았을 것 같음.
클라우드란 어떤 것이고, 어떤 일을 할 수 있는 지? 등도 회사 내에서 학습했던 것 같음.
인프라에 대한 부분을 분석가 관점에서의 입사 전 사실 알기 어려움.
지그재그 앱의 쇼핑몰 정보를 모두 크롤링하는 기준?
: 쇼핑몰이 먼저 입점 신청을 해야 함. 그럼 개발 팀에서 해당 쇼핑몰의 상품 정보들을 가지고 올 수 있도록 작업을 해 주심.
: 어떤 쇼핑몰 페이지들을 구축하는 데 내부적인 구조가 유사한 경우가 많아서, 처음에 크롤링할 때 이후로도 많이 수정을 거치고 있음.
쇼핑몰의 추천 시스템이 어떤 방식인지?
: 광고영역의 상위 상품에 대해서는 수익비용의 문제는 아님. 랜덤하게 보여지는 형태. 기본적으로는 쇼핑몰을 성장할 수 있도록 도와주는 플랫폼이라고 생각함. 그러기 위해서는 자본에 차등을 두면 안된다고 생각했음.
: 어느정도 소프트한 레벨의 메시지. 매일매일 다른 상품을 보여주는 것에 의의
나이대 별 쇼핑몰 순위릐 기준이 앱활용 시 구매까지의 순위인지?
: 외부포털에 관한 부분도 반영되기도 함.
업무 인프라 중 성과측정 솔루션같은 경우, 인프라가 회사 내부에 반영되도로고 설득하는 과정?
: 마케팅 CMO님의 의견을 많이 반영하는 편. 리더의 위치에서 시작되어 필요한 솔루션이 도입되는 부분이 많음.
회사 설립 과정과 의의?
: 쇼핑몰에 유입되는 데이터 검색량 중 즐겨찾기 기능이 굉장히 많은 영향을 미쳤음. 관리하기도 어렵고, 그러다 보니 한 앱을 통해 여러 쇼핑몰을 즐겨찾기 해 주면 유저들이 편하게 쓰지 않을까 라는 생각에서 시작된 서비스.
: 처음부터는 아니었지만 지그재그 앱이 좀 더 커지며, 수익모델이 발전하고 안정되면서 영세 쇼핑몰의 기회에 대하여 고민해 보게 됨.
첫 직장의 첫 프로젝트에서 가장 힘들었던 점?
: 비트윈 등의 서비스에 제공되는 텍스트 대화 분석기 앱을 개발하는 분야였는데, 싸움을 분별하는 알고리즘을 만드는 프로젝트였음.
데이터가 완벽하지 않음, 모델의 성능을 향상시키는 문제, 서버 호환 문제 등 많은 문제가 있었지만 그로부터 발전했다고 생각
프로젝트 운영의 꿀팁?
: 프로젝트의 결과를 항상 머릿속에 그려보기. 학생시절 캐글분석을 하다 보니 원래의 주제랑 조금 떨어지는 고민을 많이 하게 되었음. 프로젝트의 큰그림을 항상 생각해보는 것이 좋을 듯 싶음.
도메인 지식을 얻기 위한 노력?
: 데이터를 보다 보면 그 분야에 대한 관심이 저절로 생기게 되는 것 같음. 유저분들의 생각을 직접 듣기도 하며 어떤 과정을 통해서 유저들이 쇼핑을 하게되고, 물건을 고르게 되는 지 등을 알게 됨.
: 일상 생활에서도 이런 부분이 관심이 저절로 가게 됨. 도메인 지식이 쌓이고 나면 분석 기획이나 분석 사고를 할 때 도움이 되는 측면이 확실히 있음.
매 월 1일에 주문이 느는 이유?
: 월급 등의 이슈도 있지만 핸드폰 결제 제한이 매 월 1일에 풀림.
illustrator CC 김진영님
폰트
산들, 윤디자인 ... 등
글자
행간 간격, 단락 들여쓰기 중요
컬러
- 에르메스 스카프 색
- 핀터레스트에서 포스터 검색 후 맘에 드는 색 조합 저장해서 스포이드로
- 흑백으로 바꿨을 때 비슷해 보이지 않는 색 조합이 선호됨.