데잇걸즈 동기들과 하는 그로스해킹 스터디의 이번 주 주제는 'A/B 테스팅'이였다.
개인적인 사정때문에 모임 준비는 많이 하진 못했었지만,
모임이 끝나고 아쉬움에 'A/B 테스팅'에 대해 추가로 가지고 있는 자료가 있는지 찾아보던 중 잊으면 안될 내용 같아 새로이 블로그에 정리해본다.
A/B 테스팅, 웹/앱 최적화에 관하여
많은 실무담당자들이 A/B 테스팅을 어디서부터 시작할 것인지 막막해 한다. A/B 테스팅에 대한 아이디어를 어떻게 하면 잘 낼 수 있을지 고민하곤 하는데, A/B 테스트를 시작하기 위해 스스로에게 던저야 할 핵심 질문은 다음과 같다.
- 우리 서비스의 '고릴라 페이지'가 어디인가?
- 우리 서비스의 '캐시카우 페이지'가 어디인가?
- 우리 서비스에서 '가장 낮은 퍼포먼스를 보이는 페이지'가 어디인가?
질문 1. 우리 서비스의 '고릴라 페이지'가 어디인가?
'고릴라 페이지'는 여러 페이지 중 가장 PV(페이지 뷰)가 많고, 인입이 많이 되는 페이지이다.
페이지 뷰, 인입 정도 그리고 페이지 유형을 기준으로 여러 페이지를 비교해가며 우리 서비스의 '고릴라 페이지'를 찾아보자.
이때, 페이지들을 기능(템플릿)별로 묶어서 그 중 가장 PV(페이지 뷰)가 많은 페이지를 건드려야 한다. (하나의 서비스는 수많은 페이지들로 구성이 되어 있기 때문에 기능(템플릿) 별로 묶었을 때, 더욱 빨리 '고릴라 페이지'를 찾을 수 있다.)
이 과정에서 페이지 기능과 타입은 아주 중요하다.
상세 페이지, 검색 결과 페이지, 카테고리 메인 페이지 같은 경우 파라미터를 통해 개별 페이지의 기능(템플릿)을 확인 할 수 있다. (예시, detail.html?no=123과 같은 형태)
이런 템플릿 단위로 페이지들을 묶어 페이지뷰를 계산해 '고릴라 페이지'를 찾아보자.
질문 2. 우리 서비스의 '캐시카우 페이지'가 어디인가?
다음으로 할 작업은 우리 서비스의 페이지들 중 가장 '페이지 밸류'가 높은 페이지를 찾는 것이다.
즉, 가장 돈을 많이 벌어주는, 가장 매출에 기여를 많이 하는 페이지를 찾아보자.
구매 과정에서 서비스의 사용자들이 거치게 되는 모든 페이지들에 구매 금액을 Linear하게 할당하여, 각 페이지 별로 매출 기여도를 확인해 볼 수 있다.(만약 AA를 사용한다면 participation metric을 활용할 수 있으며, GA를 사용한다면 page value metric을 통해 확인해 볼 수 있다. 특히 GA 페이지 리포트에서는 목표 설정 또는 전자상거래 태깅을 했을 경우 page value 지표를 기본으로 확인 할 수 있다.)
질문 3. 우리 서비스에서 '가장 낮은 퍼포먼스를 보이는 페이지'가 어디인가?
마지막으로는 가장 이탈률이 높은 페이지를 찾아보자. 특히, PV(페이지 뷰)는 높으나 Bounce Rate가 높은 페이지를 우선적으로 최적화해야한다.
PV(페이지 뷰)는 좋은 결과를 보이지만 Bounce Rate가 높은 이유는 대부분 태그가 잘못되어 있거나, 페이지의 퀄리티가 좋지 못하거나 하는 이유이다. 이 조건에 맞는 페이지를 찾아보고 개선해 높은 PV(페이지 뷰)가 서비스와 매출에 기여할 수 있도록 하자.
더 나은 서비스를 위해선, '만약에,,,'라는 질문을 많이 던지고 이를 끊임없이 검증하고 그를 바탕으로 개선해야 하는 것은 이제는 모두 알았을 것이다. 그렇다면 더 나은 질문을 던지기 위해서 우리가 우선적으로 해야하는 일들은 무엇일까?
효과적인 A/B 테스트를 위해 위의 3가지 질문을 우선적으로 던져보고, 해당하는 페이지를 찾아보자.
관련되는 페이지에 대해 먼저 데이터 분석을 해보고, 분석을 기반으로 가설을 수립하자. 분석을 기반으로 수립한 가설을 테스팅하는 것이 가장 효과가 좋았다고 한다.
또한 단순히 데이터만을 들여다보는 것으로 끝나서는 안된다. 실제 사용자의 상황을 가정하여 실제 페이지도 들여다보면서 무엇이 문제일지 탐색해보자. 짐작하지 말자. 우리는 데이터를 통해 검증된 고객의 행동에 대한 인사이트를 근거로 기획해야 한다는 점을 잊지말자.
앞으로도 A/B 테스트가 막막할 때, 가장 적은 노력으로 가장 효율적인 결과를 얻기 위해, 가장 임팩트있는 실험을 위해, 잊지 않고 활용해 볼 기준을 정리해보았다.
내용 출처 :
헤이조이스 콘조이스 '호모데이터쿠스', <데이터로 액션 히어로 되는 법> 미디어닷몽크스 김선영 대표님 세션 중 일부
추가적으로 내용이 궁금하신 분들은 해당 링크를 통해 VOD영상을 확인하실 수 있습니다.
'컨퍼런스, 세미나, 세션' 카테고리의 다른 글
| 데이터리안 11월 세미나 <데이터 실험 문화의 핵심: A/B 테스트> 후기 (0) | 2023.01.04 |
|---|---|
| 데이터리안 8월 세미나 <데이터 분석가 채용의 모든 것> 후기 (1) | 2022.09.02 |