태스크 개요
목적
•
요금제 신청 전환율 올리기
배경 & 참고자료
•
이전 실험들을 통해 다수의 유저가 데이터를 먼저 선택하고, 그 중 저렴한 요금제를 찾는 방식으로 요금제를 탐색하고 있다는 것을 배움
•
하지만 현재 요금제 찾기에 데이터 필터 설정율은 처참함
◦
온보딩 설문 참여율도 낮음
가설
•
데이터 용량이 선택된 상태로 요금제를 비교하면 요금제 신청 전환이 늘어날 것이다.
디자인
대조군
•
요금제 찾기 첫 진입 시 온보딩 모달 노출
•
데이터, 통화 등 설문 받음
•
설문 결과에 따라 필터 자동 세팅
실험군
•
요금제 찾기 첫 진입 시 데이터 필터 모달 노출
•
선택한 용량으로 데이터 필터 설정
•
요금제 찾기 상단에 데이터 필터 외부로 꺼냄
평가 지표 설계
성과지표
•
요금제 찾기 지면 방문한 첫 진입 유저의 apply plan 전환율
보조지표
•
데이터 필터 설정 비율
•
요금제 상세 진입율
가드레일
•
기존 유저 apply plan 전환율
테스트 설계
테스트 그룹 | 주요 피쳐 | 테스트 비율 |
control | • 요찾 첫 진입 시 온보딩 모달 노출 (개인화 질문)
• 온보딩 설문 결과에 맞춰 필터 자동 설정 | 50% |
exp | • 요찾 첫 진입 시 데이터 사용량 설정 모달 노출
• 데이터 필터만 밖으로 꺼냄 | 50% |
결과
전체 유저의 요금제 찾기 신청 전환율: 유의성 없음
•
첫 방문 유저: 실험군 6.58% 높음 (유의성 95%)
•
기존 유저: 차이 없음
요금제 상세 진입율: 실험군 48.63% 높음 (유의성 100%)
신규 고객의 전환율은 유의미하게 늘렸지만, 기존 고객 전환율에 차이가 없어 전제 전환율에 영향을 주지 못함
하지만 두 고객군 모두 요금제 상세로의 전환율을 유의미하게 올려 실험군으로 전체 배포 후 요금제 상세에서의 전환을 높이는 실험을 이어가고자 함
보조지표 분석 (요약)
•
온보딩 필터 효과:
온보딩 필터 이용율도 늘었고, 해당 필터를 이용한 유저의 전환율도 실험군이 우세함
•
데이터 필터를 밖으로 꺼낸 효과:
필터 이용은 늘었지만 전환율에 영향을 주진 못함
