결과 분석.
테스트의 각 버전이 어떤 성과를 내고 어느 버전이 앞서 있는지 확인합니다. RL 보고서를 열고 테스트를 찾은 뒤 버전별 점수를 비교합니다. 시간 흐름 차트는 선택 사항이며 RL 설정에서 한 번 켭니다.
시작하기 전에
- 역할에 RL 보고서 보기 권한이 있습니다.
- 시간 흐름 차트를 보려면 이벤트 로그 활성화가 켜져 있어야 합니다. 설정을 참조하세요.
설정
- 메뉴 보고서 > RL: A/B 테스트(
/admin/reports/rl)로 이동합니다. - 다음 실험 열에서 테스트를 찾습니다. 이름은 콘텐츠 유형과 페이지 제목으로 시작합니다.
- 다음 작업 열에서 보기를 클릭합니다.
- 버전별 전환 점수를 비교합니다.
에디터에서는 요소의 더보기 메뉴에 바로 가기가 있습니다. A/B 테스트 결과 보기는 같은 페이지를 새 탭에서 엽니다. 스마트 정렬 요소에는 스마트 정렬 결과 보기가 있습니다.
표시 내용
개요에는 모든 테스트와 합계가 나열됩니다. 소스는 에디터에서 만든 테스트에 dxpr_builder라고 표시합니다. 마지막 활동은 수치가 마지막으로 바뀐 시점을 표시합니다.
상세 페이지에는 버전마다 한 행이 있습니다.
| 열 | 의미 |
|---|---|
| 변형 | 문자 또는 스마트 정렬 항목 |
| 노출 수 | 방문자에게 표시된 횟수 |
| 전환 수 | 선택한 행동이 뒤따른 횟수 |
| 전환율 | 전환 수를 노출 수로 나눈 값 |
| 전환 점수 | (전환 수 + 1)을 (노출 수 + 2)로 나눈 값 |
표는 전환율 기준 정렬로 시작합니다. 열을 클릭하면 해당 열로 정렬합니다. 전환 점수를 더 신뢰합니다. 4 중 2와 400 중 200은 모두 50% 비율이지만 두 번째만 신뢰할 수 있으며 점수가 이를 보여줍니다.
이벤트 로그가 켜져 있으면 표 위에 변형 성과 차트가 표시됩니다. 최대 아홉 개 버전은 시간 흐름 선으로 표시되며 그 이상은 3D 지형으로 표시됩니다. 시간 범위, X축, Y축, 최대 변형 수로 차트 표시 내용을 바꿉니다.
테스트 다시 시작
다음 작업 열에서 삭제를 클릭하면 테스트 수치가 초기화됩니다. 다음 페이지 보기부터 테스트가 0부터 다시 시작합니다. 이 작업에는 RL 실험 관리 권한이 필요합니다.
설정
다음 위치에서 찾습니다. 구성 > 웹 서비스 > RL: A/B 테스트(/admin/config/services/reinforcement-learning).
| 설정 | 기능 | 기본값 |
|---|---|---|
| 이벤트 로그 활성화 | 차트용 시간 흐름 스냅샷 기록 | 꺼짐 |
| 최대 이벤트 로그 행 수 | Cron이 이 수를 초과하는 이전 스냅샷 정리 | 100,000 |
| 선형 차트 임계값 | 선으로 표시되는 최대 변형 수. 초과 시 3D 차트가 먼저 열림 | 9 |
| 디버그 모드 활성화 | 표본 추출 점수 기록. 단기 문제 해결용 | 꺼짐 |
결과가 표시되지 않는 경우
- 목록에 테스트가 없습니다. 두 개 이상 버전으로 페이지를 저장하면 테스트가 등록됩니다. 에디터에서 페이지를 열고 저장을 다시 클릭합니다.
- 페이지에 "이벤트 로깅이 비활성화되어 있습니다."라고 표시됩니다. 차트에는 이벤트 로그가 필요합니다. RL 설정에서 이벤트 로그 활성화를 선택합니다.
- 페이지에 "아직 데이터가 없습니다."라고 표시됩니다. 이벤트 로그는 켜져 있지만 그 이후 테스트를 본 사람이 없습니다. 방문자를 기다립니다.
- 노출 수가 0에 머물러 있습니다. 사이트에서 rl.php에 접근할 수 없습니다. RL: rl.php 접근성을 상태 보고서(
/admin/reports/status)에서 확인합니다.
다음 단계
더 복잡한 실험을 위한 다변량 테스트로 DXPR Builder 탐색을 계속합니다.