세 개 이상의 버전 한 번에 테스트하기.
한 테스트에서 여러 아이디어를 비교합니다. 세 개의 헤드라인, 네 개의 히어로 사진, 원본 옆의 두 레이아웃입니다. 기존 A/B 테스트에 변형 C, D 등을 추가하면 RL 모듈이 그중 최고를 찾습니다. 요소에 아직 변형 B가 없으면 Setting up A/B tests부터 시작합니다.
시작하기 전에
- 요소는 컨트롤 표시줄에 A와 B 알약이 있는 A/B 테스트를 이미 실행 중입니다.
설정하기
- 기반으로 삼을 버전의 알약을 클릭합니다. 새 변형은 그 복사본으로 시작합니다.
- 다음을 선택합니다. More를 클릭하고 Create variant를 선택합니다. 새 알약 C가 나타납니다.
- 변형 C를 변경합니다.
- 각 추가 버전에 대해 1~3단계를 반복합니다.
- 도구 모음에서 Save를 클릭합니다.
표시 내용
컨트롤 표시줄에는 버전마다 하나의 알약이 표시됩니다. A부터 최대 Z까지입니다. 모든 버전은 Experiment settings에서 선택한 전환을 공유합니다.
처음에는 모든 버전이 방문자를 거의 같은 비율로 받습니다. 세 버전이면 각각 3분의 1입니다. 결과가 들어오면 RL 모듈은 선두에 더 많은 방문자를 보냅니다. 약한 버전도 일부 방문자를 받으므로 늦게 떠오르는 버전이 따라잡을 수 있습니다. 나중에 버전을 추가해도 됩니다. 다음 페이지 조회에 합류합니다.
필요한 트래픽
버전이 많으면 같은 방문자를 나누므로 각각의 노출 수집이 느려집니다. 보고서의 Conversion Score는 (전환 수 + 1)을 (노출 수 + 2)로 나눈 값입니다. 노출이 20회면 전환 하나가 점수를 약 4.5%포인트 움직입니다. 노출이 200회면 약 0.5포인트 움직입니다. 점수가 요동치지 않을 때까지 기다렸다가 신뢰합니다.
스마트 정렬도 다변량입니다
정렬 방식에서는 모든 항목이 각각 하나의 버전입니다. smart sort에서는 아코디언이나 탭 요소의 모든 항목이 각각 하나의 버전입니다. RL 모듈은 방문자마다 항목 순위를 다시 매기며 가장 강한 항목이 보통 맨 위에 있습니다.
새 변형이 보이지 않는 경우
- 새 변형이 잘못된 버전을 복사합니다. 새 변형은 보고 있던 버전을 복사합니다. 제거한 뒤 복사할 알약을 클릭하고 변형을 다시 만듭니다.
- 문자가 건너뛰어진 것 같습니다. 새 문자는 사용 중인 가장 높은 문자를 따릅니다. C가 있는 상태에서 B를 제거하면 다음 변형은 D가 됩니다.
- 모든 버전의 점수가 비슷하게 유지됩니다. 많은 버전이 트래픽을 공유합니다. 가장 약한 버전을 제거하여 나머지에 더 많은 방문자를 제공합니다.
다음 단계
Best practices for running experiments에서 DXPR Builder 탐색을 계속합니다.