실험계획

실험의 정의

  • 넓은의미 : 지식을 얻기 위한 목표로 하는 모든 활동

    '무엇'인가를 '미리' 해보는 것

  • 좁은의미 : lab에서 이루어지는 행위들(연구를 할 때의 실험)

시나리오1

각자가 컨설턴트라고 생각하고 시뮬레이션 해 보자.

여러분들은 데잇걸즈 과정을 수료한 후 데이터 분석 일을 하고 있습니다. 블로그를 운영하는 중, 검증된 자료를 분석하고 이를 기반으로 의사결정을 하는 것의 중요성에 대한 글을 작성했다. 어느날, 모 이동통신사로부터 프로젝트 제의를 하는 이메일을 받았다.

HR 팀장 : "전국에 5개의 센터, 직원이 2000명 있습니다. 저희 상담사들의 교육을 개선하고 싶은데, 비용은 2500만원입니다. 기간은 3개월정도입니다."

예상 시나리오와 각 경우에 대한 중요 point
1단계) 전화를 다시 걸어 블로그의 어떤 부분을 보고 연락주셨는지, 교육방향을 잡음
  • 처음에 이메일을 보낸다면 부정적인 효과가 있을 수 있다.

  • 많은 경우에 컨설팅을 요청하는 사람은 문제점을 모른다.

  • '어떤 점이 부족하신가요?'는 초보 인터뷰어들이 자주 범하는 실수.
  • '사장님과 연락할 수 있는 방법이 있나요?' 아주 좋은 방법은 아니지만 대표(최고 의사결정자)를 만나는 방법은 의사결정에 좋은 편.
  • 처음부터 관계를 이어나가는 것이 중요함. / 실무자와의 관계도 중요.
  • 1단계에서는 공식적인 대화가 아니라는 느낌을 주며 전화하면 훨씬 진솔한 이야기를 들을 수 있다.

1-1) 메일로 먼저 필요한 기본정보 등을 요구한 후 전화해서 사장님, 실무진들과 간단한 식사 약속을 잡음. (만족도, 상담사들의 수준, 연령대, 상담원 정보 등)

  • 부정적 효과 : 메일 수신자를 수동적으로 만들 수 있기 때문에 상담의 효과가 떨어진다.
  • 적당한 밀당이 필요하다! 처음부터 너무 informal하게 된다면 원치 않는 일을 떠맡을 수 있고, 추후에 일에 대한 핸들링이 어려울 수 있다.
  • 싫으면 싫다고 하는 것을 처음부터 보여주고, 유연하게 대처할 수 있게 하자.

비타민? 진통제?

스타트업 입장에서는 진통제가 좋다. 비타민인 경우, 있어도 되고 없어도 되지만 진통제는 꼭 필요한 것이기 때문.

어떤 데이터를 보여줘야 간절한 사람들이 몰려들까? feedback을 잘 받을 수 있게끔 하는 것이 중요하고, 스타트업의 첫 번째 고객은 그런 사람으로부터 시작해야 한다.

(eg) 공기청정기를 팔기 위한 고객 targeting

  1. 문제가 있는가?

  2. 그 문제가 있다고 인식하는가?

    문제를 이미 인식하고 있는 사람이 설득하기 쉽다.

  3. 그 문제를 중요하게 여기는가?

  4. 해결하려는 노력을 이미 해 보았는가?

    과거에 문제 해결 시도를 안해본 사람은 안 할 확률이 높다.

  5. 그 문제를 해결하기 위해 돈을 써보았는가?

2단계) 식사하며 원하는 정보를 얻었다. (문제는 신입사원의 퇴사율, 한 번에 100명 정도 씩 교육한다고 한다.)
  • 문제점과 교육을 함께 엮어서 목적을 설정하면 좋다.

    교육을 통해 퇴사율을 줄일 수 있을까에 대한 문제를 정의한다.

퇴사가 왜 일어나는가?

  • 사전의 데이터들을 사용하는 것은 굉장한 도움이 된다.

    탈진의 요소들을 측정하여 몇 달 안의 퇴사를 예측하는 선행 연구가 있었다.

    따라서 퇴사 원인을 탈진으로 설정했고, 이것을 줄이는 것을 목적으로 한다.

    탈진을 측정하는 도구를 사용하여 측정해 보기로 한다.

2-2) 설문(39문항)을 진행했더니 탈진관련 항목이 높게 나왔다.

  • 탈진 정도가 퇴사율을 예측하는 정도가 다 다르다.

  • '나는 나를 지원해주는 동료가 있다.' (감정적 지원)

    탈진을 음(-)의 방향으로 예측하지만, 이 시나리오의 경우 실제로는 동료들과 인터렉션이 거의 없었기 때문에 큰 도움이 안되었다.

  • '업무 명확', '스트레스 대처' 항목이 상대적 중요하게 나왔다.

    예상 못한 상황에 대한 대처법을 아는사람과 모르는 사람의 스트레스 정도가 다르다.

2-3) 전문성에 관한 교육과 상담사들과의 인터뷰, 조사도 진행하였다.

  • 해지방어 : 방어를 하면 incentive를 받음
  • 위의 자료들을 바탕으로 역량을 업그레이드 할 수 있는 프로그램을 만들었다.

2-4) 상담이 이루어지는 역량모형을 만들었다.

  1. 고객의 말
  2. 청취가 '업무 지연'에 많은 영향을 미친다.
  3. 이해
  4. 전략
  5. 말하기
3단계) 이동통신사 사장님께 우리의 교육방식이 더 좋다는 것을 증명해보자.
  • 실험을 통해 우리의 방법이 좋은 방법이라는 것을 입증해야 한다.

  • 기존의 상담사 청취방법의 문제점?

    코치들이 90명정도 인터뷰한 결과, 숫자로 된 번호가 청취에서 시간을 끌었다는 점을 발견했다. 우리는 이런 시간을 줄여야 이용자 만족도도 높아진다는 것을 알고 있다.

  • 상담사들이 쉽게 못 알아듣는 예시를 요구한다. (치아교정기, 외국인노동자, 틀니 등)

  • 고객들의 Wow경험을 늘리는것보다 Oh no경험을 없애는 게 중요하다.

3-1) 실험 설계

  1. 콘텐츠 설계하기(프로토타입 설계)
  2. 기존 방식보다 낫다는 것을 검증하기

3-2) 실험 진행하기

  1. 좁은 의미의 실험을 진행한다. o는 실험 x는 개입이라 가정했을 때, o x o로 설계

  2. 시행하는 집단 정하기

    랜덤 vs 자원

  3. RCT(Randomized Controlled Trial)

저렴하게 피드백 받는 방법

1.설문을 잘 만드는 방법

설문을 소수로 인터뷰하고 우리의 설문을 고친다.

이상적인 질문 -> 구체적인 질문

ex. 선생님은 평소에 대형 서점에 얼마나 자주 가세요? -> 실제로이번 달에 대형 서점에 몇 번 갔습니까?

2. 저렴하면서도 진짜 피드백 받는 방법 구하기

  • 세계적인 신발판매사이트 Zappos 사장이 실제로 했던 방법
  • 고민 : 농구화를 어떻게 하면 저렴하게 팔 수 있을까?
    • 신발가게의 농구화 사진을 찍고 인터넷에 판매글을 올림
    • 주문이 들어오면 실제 가게에 가서 물건을 산 후 배송
    • 실제 신발파는 전 과정을 해봄으로써 진실된 피드백을 얻음

시나리오2

여러분이라면 데이터를 어떻게 활용할 것인가요?

모 대기업의 회장, "우리 그룹의 변화를 생기게 하는 6개월 교육을 하려 한다. 조직 전체의 변화 뿐만 아니라 작은 부분도 보자. 직원 하루하루의 일상에서의 변화라는 것을 보자. 직원 하루하루 어떤 변화가 생기는지 . (여기서 변화는 긍정적인 변화) 어떤 사람이 변화를 겪고 만들어 내는가, 어떤 상황에서 변화가 생기는지 궁금하다"

여기서 그룹은 30명이고 모두 자원한 사람이었다. 데이터를 어떻게 활용해야 긍정적인 변화가 언제 어떤 상황에서 생기는지 알 수 있을까?

1. 실험 전 설계
  • 30명은 숫자가 너무 적으니 측정 빈도를 늘려서 데이터를 몇 천개로 늘리는 꼼수가 필요하다.

    • 날마다 측정을 해서 o를 900개의 데이터로 만든다 (30일 x 300개)
    • 스마트폰으로 날마다 퇴근할때 설계를 하게 한다.
    • 사람간의 variance보다 사람 안의 variance가 크다는 통계가 있다. 각각 다른 상황에서 다르게 반응하기 때문이다.
  • x : 독립변수 , y : 예측변수

    • y = 오늘 하루 중 새로운 시도를 얼마나 했는가 or 오늘 하루 얼마나 산만하게 느꼈는가

    • x = 오늘 하루 업무시간 중 가장 기억에 남는 것 3가지를 적어보세요.

      ㄴ 업무에 관련된 일이라 프라이빗하게 느끼지 않으니 객관적으로 잘 적었을 것이다.

2. 실험
  • 알람을 맞춰 정해진 시간에 y값을 먼저 물어보고, 자기 전 x값을 물어봄.

    • 적다보니 아 오늘 기분나빴던 일이 있네 깨달을 수 있게
  • 실험을 지켜보면서 실험 계획을 바꾸는 것도 가능하다 (Action Research : 실행연구) <-> 논문 쓸 때는 엄격히 지켜야 한다. 논문은 가설을 세우고 증명하는 것이기 때문

  • 지켜보면서 계속 학습을 할 수 있다.

  • 기억에 남는 사건의 카테고리화 한다.

    • 상사에게 혼나거나 비난받음 => 비난받음으로 묶는다.

    • 평가자 여러명이 Coding Rule Book을 만든다 => (C1 D2등으로 표기하면 자연어 분석이 필요 없어진다.)

3. 분석
  • 전날과 오늘 새로운 시도를 한 정보가 증가했는지 줄었는지 본다.
    • ex. 일방적 통보를 받은 다음날 새로운 시도가 증가한 경우는 20%, 줄어든 경우는 60%였다 -> 이 데이터는 유의미하다.
    • 사람들이 효과적인 인터렉션을 많이하면 변화가 늘어난다.
    • 회의에서도 효과적 커뮤니케이션 후 변화가 생겼다 -> :sparkles:효과적 커뮤니케이션을 하자고 제안!:sparkles:

Q&A

Q1 . 이 수업을 왜 지금 하는지 모르겠습니다. 분석하는 방법을 배우고 하면 좋을것 같습니다.

A. 사실 계속 새로운 상황이 온다면 다 섞어서 배워야 한다.

코딩도 마찬가지입니다. 데이터타입, 루프, 함수 다 따로따로 단계적으로 배우기 보다는 다 섞여있는 상황에서 필요에 따라 찾아 배우는 것이 효과적이다.

  • <책> ACCELERATED C++:예제로 배우는 진짜배기 C+... : 학생들의 점수 분포를 출력하는 프로그램을 점점 개선해간다.

  • 연습 할 때는 항상 맥락을 가지고 하면 좋습니다

  • 시도를 만들고 싶다면?

    • If ~ then 행동 : if만 붙여도 내가 그 행동을 할 확률이 매우 올라간다.
    • 이빨 닦고 나서 일기써야지 ! (매우좋다) < - > 잠자기 전에 일기써야지 (이건 사후행동에 보면 x)

Q2 . 실험계획을 하다보면 안좋은 결과가 나올 수 도 있는데 안좋은 결과가 나오면 어떡하죠?

A . 통계적 지식은 크게 상관은 없지만 , 고객(audience)는 어려운 통계기법을 써도 그걸 이해하지 못 할 확률이 높다.

안 좋은 결과자체를 '고객의 반응' 을 통해 보는것이 좋다.

빨리빨리 고객의 피드백을 얻어서 실험을 설계하는 편이, 실패를 해도 점점 발전 할 수 있습니다.

Q3 . 컨설팅을 연습 해볼 수 있는 TIP이 있을까요?

A .

  1. 실제로 컨설팅을 해보는것을 훈련하려면 detail하게 context를 정해서 훈련해야 합니다.

    • 내가 실제로 겪고 있는 문제, 고민하는 문제로부터 훈련을 시작하면 좋을 것 같습니다.
    • 먼저 내가 무엇을 잘 아는지, 무엇이 문제인지 적어보세요.
  2. 사람을 많이 활용하세요. ( 전문가로부터 계속 피드백 받으세요 )

    • 우리가 하려는 분야에서 좀 더 나은사람이 누구인지 적어보고, 그 사람들에게 연락해 보세요.

    • 데잇걸즈 수업이라면 데잇걸즈 선생님이나, 운영진 분들이 될 수도 있겠네요.

results matching ""

    No results matching ""