어떤 문제를 풀고자 하시나요?
입사 후, 내가 회사 구성원에게 가장 많이 던진 질문이다. 회사의 현재 상황을 가장 빠르게 파악하고 구성원들이 풀고자 하는 문제를 같이 고민하며 내가 기여할 수 있는 부분을 찾고자 했다. (면접을 볼 때도 가장 많이 했고, 많이 받았던 질문. 이 질문의 효용 가치는 어마어마한 것 같다. 누가 먼저 시작했을까.) 실제로 이 질문을 통해서 각 팀이 현재 가장 중요하게 생각하는 부분과 전체적인 비즈니스 맥락을 파악할 수 있었다.
이후 앱 런칭을 앞두고 있는 상황에서 목표가 무엇인지, 이걸 활용해서 어떤 효과를 기대하고 있을지에 대해서도 많이 묻고 다녔다. 그런데 복잡한 비즈니스로 인해서 뚜렷한 지표가 있지는 않은 상황이었고, 내가 데이터 분석가로서 이 지표를 정의하는데 앞장서야겠다고 마음먹었다. 핵심 지표를 정의하고 구성원 모두가 그것을 위해서 노력할 때 (= 같은 그림을 보고 같은 꿈을 꿀 때) 서비스의 성장이 일어난다고 생각하기 때문이다.
처음에는 단순히 생각했다.
방문자를 늘리고, 활성화를 시키고, 리텐션을 늘린다. 익숙했던 AARRR 구조로 생각하면 되지 않을까?
하지만 사업이 초창기도 아니고, 비즈니스 모델이 내가 기존에 경험해 왔던 것처럼 단순하지는 않았기 때문에 실제로 지표를 정의하는데 많은 어려움이 있었다.
비즈니스에 대한 이해도가 부족하고, 현 상황을 제대로 알지 못하는 상태에서 지표를 정의하는 것은 어불성설이기 때문에 우선적으로 현 상태를 파악하고자 했다. 이 과정을 좀 더 잘 진행할 수 없을까 고민하다 가설나무를 활용해서 먼저 서비스에 대한 진단을 내려보고자 했다. 그렇다면 가설은 뭘까? 이에 대한 내용을 정리한 후 내가 어떻게 활용했는지 적어보고자 한다.
가설과 검증의 사례
1. A(cohort)한 사람들은 B를 좋아할 것이다.
► A(cohort)를 정의, “좋아한다”를 정의 (C보다 B를 좋아한다 or 전환율이 n% 이상이다)
2. A feature가 B feature보다 반응이 좋을 것이다.
► A와 B를 동일한 조건에서 테스트 “반응”을 정의 (전환율 or 리텐션 … 어떤 것이 working 하는지?)
3. 유저들은 우리를 A 때문에 좋아할 것이다.
► A를 경험한 유저와 못한 유저의 전환율/이탈율 차이, Usability test, 이번달 기준으로 경험한 사람과 아닌 사람
4. 우리가 더 빨리 성장하지 못하는 이유는 A때문일 것이다.
► 이탈하는 유저들의 공통점 (설문, 로그 분석)
- 게임 회사의 경우 직전 로그가 이탈의 원인
- 서비스에 따라 다르지만 이탈 사유를 정의하기가 어려움 ► 보완하기 위한 설문조사
- 데이터 분석을 시도하고 어려우면 설문조사를 해보는 것도 방법
사용성 테스트(Usability test)란?
사용성 테스트는 잠재 사용자들에게 테스트를 진행하여 제품을 평가하는 기술이다. 사용성 테스트를 통해서 디자이너들은 UX에서 웹 사이트나 앱이 사용하기에 충분한지 나아가 가능한 문제들을 발견해 낼 수 있다. 사용성 테스트는 보통 개발자에게 프로젝트를 전달하기 전인 UX를 수립하는 단계에서 진행된다. 그렇게 제품이 완성된 후에 수정하는 불필요한 작업들을 최소화시킬 수 있다.
나아가 사용성 테스트는 사용자들이 제품을 사용하는 것을 관찰하며 그들의 니즈와 선호도를 깊게 알아볼 수 있는 좋은 방법이다. 디자이너들은 사용자 중심의 디자인을 만들기 위해 필요한 정보들을 추릴 수 있다. 또한 그렇게 모인 정보들은 UX 디자인에만 쓰이는 것이 아닌 다른 단계의 제품 개발에도 활용할 수 있다.
가설 검증을 위해서 기본적으로 갖춰야할 데이터
- 유저 중심 데이터 기획 : 데이터 식별자가 존재해야함
- 가장 raw 한 단위 = datetime이 있는 로그 (전사적으로 개념 확립하는 것이 중요)
식별자
- 유저 1명당 단일한 표식이 필요
► 주민등록번호 / 전화번호 / 자체부여한 hash값 / 휴대폰 device id / ADID. UUID
- User id가 추적 가능해야 한다
► 식별자가 잘 생겼는지에 대한 판단 :arrow_right: 어떤 코호트든 정의가 가능한가?라는 물음에 대해서 대답이 가능해야 함
ex) 등급 상승에 걸리는 기간이 얼마나 되나요?
작년 vip 중에 올해도 vip등급인 사람이 얼마나 되나요?
매년 vip가 먼저 생기고 없어지는지 추이를 알 수 있을까요?
문제정의: 가설 검증하는 문화의 시작
글로벌 사업이 어떻게 하면 더 성장할 수 있을까요?
► 성장 = 월 방문자수? 매출? Brand awareness?
반응 좋은 상품들엔 어떤 특징이 있나요?
► 어떤 = 가격? 계약기간? PMF?
상품 구매가 저조해진 게 혹시 유저와 핏이 안 맞아서 일까요?
► 저조 = 구매수? 상품 상세페이지 진입 대비 구매율?
► 유저와의 핏 = 직무? 나이대? 구매력? 퍼포먼스 마케팅 타겟?
상품 구매 퍼널을 간소화하면 더 잘 팔리지 않을까요?
► 퍼널간소화 -> 퍼널 시작과 끝이 어디? 뺄 수 있는 부분은 어디?
재택근무를 금지하면 업무 몰입도가 높아지지 않을까요?
► 몰입 = 개발 스프린트 단축? 인당 매출 증가?
가설나무 만들기 🌳
가설을 쪼개면 검증이 간단해진다. 로직트리를 사용해서 가설 검증을 시도한다. 이것을 초기에 시작할수록 더 폭발적인 성장을 할 수 있다.
최종단계까지 가설을 쪼갠다면, 테스트를 해볼 수 있다.
가지뻗기 원칙
► 가설을 MECE하게 쪼개기. 가지들이 서로 겹치지 않으면서 빠짐없이 포괄하는 것
MECE (Mutually Exclusive Collectively Exhaustive)
상호배제 및 전체 포괄 구성 요소들이 중복되지 않으면서 동시에 전체에서 누락되는 것이 없도록 세분화 및 구조화하는 것
해당 개념은 맥킨지에서 처음 사용한 기법으로 바바라 민토(Barbara Minto)라는 사람이 문제 해결을 위해 정보를 논리적으로 구조화하는 프레임워크를 만들었다. 나는 이 개념을 로지컬 씽킹이라는 책을 통해서 접하고, 신세계를 접한 기분이었다. 처음 활용해 볼 때는 어려웠는데, 하면 할수록 수월해지고 실제로도 도움이 (엄청나게) 많이 된다.
http://www.yes24.com/Product/Goods/76899643
로지컬 씽킹 - YES24
출간 즉시 학계와 대중의 돌풍을 일으킨 책!최고의 커뮤니케이션 전문가가 알려주는 논리적 생각의 기술!‘현대 경영학의 창시자’로 불리는 톰 피터스(Tom Peters)는 경영컨설팅사 맥킨지앤드컴
www.yes24.com
가설 구조화를 문화로 만들기
분석가 / 전략팀 / 그로스팀뿐만 아니라 모든 도메인 오너가 가설검증을 생활화해야 한다.
화해팀은 위처럼 전사가 데이터 드리븐 의사결정을 위하여 실험보드를 운영하고 있다고 한다. 나도 이런 데이터가 흐르는 조직문화를 내 손으로 만들고 싶다.
가설 체크리스트
- 가설의 true / false를 데이터로 검증할 수 있나?
- 가설의 true / false를 검증할 데이터가 전부 있나?
- 데이터에 유저 식별자와 datetime이 있나?
► 회원가입 이후의 로그엔 전부 user id가 있나?
► 모든 로그를 남기고 있나? (=raw data에 datetime 있나?)
- 실험내용
- 검증에 쓰일 지표
- 가설 채택/기각 (혹은 실험 성공/실패) 기준
► 이걸 미리 세우지 않을 경우에, 결과가 나왔을 때 이게 어떠한 의미지?라는 기준을 잡기가 애매함
활용하기
앱 지표 정의를 위해서 고민하던 나는, 현재 상황에 대한 진단을 위해서 가설 나무를 그려보았다.
입사하고 얼마 되지 않아 그려본 것이었기 때문에 깊은 내용은 담고 있지 않지만, 그래도 상세한 내용은 블러처리를 하였다. 이 가설 나무를 세울 때 가지의 뿌리에 어떤 것을 적을까 고민했었는데, 결국에는 투자서비스 매출 상승으로 설정했다. 그 이유는 자사 앱의 기능이 투자를 중점적으로 담고 있었기 때문에 본래 고민하던 앱의 지표 설정과도 맥락이 같았기 때문이다.
가설 나무를 쪼개는 기준을 잘 모르겠다면 아래와 같은 기준을 활용해 볼 수 있다.
- 개념적으로 쪼개는 것
- 프로세스적으로 쪼개는 것
- 반대개념으로 쪼개는 것
- 시장과 점유율로 쪼개는 것
- 세그먼트로 쪼개는 것
예를 들어 위 가설나무에서 신규 / 기존으로 나눈 것은 개념적과 반대개념으로 쪼갰다고 볼 수 있으며
그 하위 가지는 프로세스적으로 쪼개는 것으로 볼 수 있다.
이렇게 계속 세분화하여 쪼개다 보면, 이 문제를 해결하기 위한 액션 혹은 문제점에 도달하게 된다. 그럼 이후에는 그걸 테스트해서 검증하거나 어떤 문제가 있는지를 데이터를 통해서 확인해 볼 수 있다. 나는 이 가지들의 끝부분 가운데 하나를 확인해 보기 위해서 여러 가지 그로스 지표(코호트, 리텐션, CC, 세그멘테이션, 인포그래피...)를 바탕으로 분석을 진행했고 결과적으로 어떤 것이 중요한지 확인했다. 이 과정에서 여러 사업부의 구성원들과 대화가 오고 갔고, 서비스에 대해서 고민하면서 스스로 이해도를 많이 높일 수 있었다.
사실 엄청나게 새로운 것을 알아냈다기보다는 기존에 대략적으로 알고 있었던 사실이 수치적으로 어떤 변화를 가져오고 있는지를 확인했고, 이를 바탕으로 앞으로 어떻게 해야 하는가?를 제시하는 것이 나의 역할이라고 생각했다. 그 과정에서 내가 생각했던 것보다 단순하지 않은 비즈니스 상황을 마주했고 이 상황에서도 활용할 수 있는 액션 아이템들을 위해서 끊임없이 고민하고 있다.
결국 정리하자면 이렇다.
지표를 설정하고자 함 > 서비스 파악 필요 > 근본적인 해결을 위한 액션 필요 > 액션 아이템 가능여부 확인 필요 > 가능한 액션에 따라서 목표 지표(의 수준) 설정
그래서 지표 설정을 하려고 했을 뿐인데...라는 제목이 붙었다. 지표를 정의하는 과정은 회사마다, 서비스마다 다를 거라고 생각한다. 자사에서도 물론 활용하고 있는 메인지표가 있지만, 나는 특정 서비스에 지표를 정의하려고 했기 때문에 이런 경험을 하게 됐다. 최근에 활용 가능한 액션 아이템을 많이 고민하다 보니 정작 분석에서는 멀어지고, 사업개발자가 된 기분에 성윤님께 질문을 드렸었는데, 우문현답을 주셨다.
난 사실 액션아이템을 생각하는 것을 매우 좋아한다. 그런데 딥다이브해서 분석하는 것에서 멀어지고 있는 기분이 들어서 이런 질문을 드렸는데, 결국 요는 둘 다 잘하면 된다. 돌아보니 스스로 조바심이 많이 났구나 싶다.
사실 1인 분석가라서 내가 잘하고 있는 건가?라는 생각이 들 때가 있다. 스스로 아직 부족하다는, 모자라다는 생각은 성장을 촉진하지만 때로는 이 생각이 오히려 독이 된다. (괜한 고민에 시간을 빼앗기는 것처럼) 최근에는 그만 겸손하셔도 될 것 같다는 말도 들었다. 남들이 보기에도 스스로 지나치게 부족하다고 생각하는 것이 보였나 보다.
나를 좀 더 믿고 '나 뭐 돼'라는 마인드를 가지는 것이 지금 나에게는 필요하다고 생각한다. 그리고 이런 별 것 아닌 것에도 칭찬을 해주는 동료의 메시지에 기분이 좋아지는 걸 보면 스스로 인정받고 싶은 욕구가 큰 게 아닐까 생각한다. 나 스스로를 좀 더 인정해 주기로 했다.
결론적으로 액션 아이템을 정리해서 전사적으로 실험해 볼 수 있는 것들까지 정해지면, 이 지표설정을 일단락시킬 수 있을 것 같다.
사실 이 글은 좀 더 진행이 되면 상세하게 쓰려고 했는데, 최근에 가장 내 머릿속을 차지하고 있는 것이 이것이라서 일단 풀어냈다. (배우고-써먹고-기록하기 플로우 완성) 액션 아이템들을 잘 진행해서 추후에 다음 파트도 써볼 수 있기를 소망한다. 그리고 최근에 성윤님이 인프런에 PM을 위한 데이터 리터러시 강의를 오픈하셨는데, 지표와 관련돼서 내가 고민했던 부분을 저격한 맞춤 강의라서 스터디와 디스코드를 통해 나의 고민을 해소하고 함께 성장하는 시간을 가지려고 한다.
참고한 자료
myconsultingoffer MECE 상세설명
'데이터 > 그로스' 카테고리의 다른 글
| 회고: 스타트업에서 1인 데이터분석가가 (마음속에) 그로스팀을 만든 사연 (0) | 2023.03.26 |
|---|
