한 번에 세 개 이상 버전 테스트하기.
한 테스트에서 여러 아이디어를 비교합니다. 원본 옆의 제목 세 개, 히로 사진 네 개, 레이아웃 두 개가 그 예입니다. 변형 C, D 등을 기존 A/B 테스트에 추가하면 RL 모듈이 그중 최고를 찾습니다. 요소에 아직 변형 B가 없으면 Setting up A/B tests부터 시작합니다.
시작하기 전에
- 요소는 컨트롤 표시줄에 A와 B 표시가 있는 A/B 테스트를 이미 실행 중입니다.
설정하기
- 기반으로 삼을 버전의 표시를 클릭합니다. 새 변형은 해당 사본으로 시작합니다.
- 다음을 클릭하고 선택합니다. More를 클릭하고 Create variant를 선택합니다. 새 표시 C가 나타납니다.
- 변형 C를 변경합니다.
- 추가 버전마다 1~3단계를 반복합니다.
- 도구 모음에서 Save를 클릭합니다.
표시 내용
컨트롤 표시줄에는 버전마다 표시가 하나씩 있으며, A부터 최대 Z까지입니다. 모든 버전은 Experiment settings 아래에서 선택한 전환을 공유합니다.
처음에는 모든 버전이 방문자를 거의 똑같이 나누어 가지며, 세 버전이면 각각 3분의 1입니다. 결과가 들어오면 RL 모듈이 선두에 더 많은 방문자를 보냅니다. 약한 버전도 방문자를 조금씩 받으므로 뒤늦게 떠오르는 버전이 따라잡을 수 있습니다. 나중에 버전을 추가해도 됩니다. 다음 페이지 조회부터 합류합니다.
필요한 트래픽
버전이 많으면 같은 방문자가 나뉘어 각자 노출을 더 천천히 모읍니다. 보고서의 Conversion Score는 (전환 수 + 1)을 (노출 수 + 2)로 나눈 값입니다. 노출 20회에서는 전환 하나가 점수를 약 4.5%포인트 움직이고, 노출 200회에서는 약 0.5포인트 움직입니다. 점수가 출렁이지 않을 때까지 기다렸다가 신뢰합니다.
스마트 정렬도 다변량입니다
다음에서는 아코디언이나 탭 요소의 모든 항목이 자체 버전입니다. smart sort에서는 아코디언이나 탭 요소의 모든 항목이 자체 버전입니다. RL 모듈은 방문자마다 항목 순위를 다시 매기며, 보통 가장 강한 항목이 맨 위에 옵니다.
새 변형이 보이지 않는 경우
- 새 변형이 잘못된 버전을 복사했습니다. 새 변형은 보고 있던 버전을 복사합니다. 제거한 뒤 복사할 표시를 클릭하고 변형을 다시 만듭니다.
- 글자 하나가 건너뛰어진 것처럼 보입니다. 새 문자는 사용 중인 가장 높은 문자 다음입니다. C가 있는 상태에서 B를 제거하면 다음 변형은 D가 됩니다.
- 모든 버전의 점수가 계속 비슷하게 나옵니다. 많은 버전이 트래픽을 나눕니다. 가장 약한 버전을 제거하여 나머지에 더 많은 방문자를 줍니다.
다음 단계
Best practices for running experiments에서 DXPR Builder 탐색을 계속합니다.