A/Bテスト結果の読み方.
テストの各バージョンの性能と、勝ち筋を確認します。RLレポートを開き、テストを探してバージョンのスコアを比べます。時間推移グラフは任意です。RL設定で1度オンにします。
始める前に
- ロールにView RL reports権限があります。
- 時間推移グラフにはEnable event logがオンです。設定をご覧ください。
設定手順
- 開くのはReports > RL: A/B Testing（
/admin/reports/rl）です。 - テストはExperiment列で探します。名前はコンテンツタイプとページタイトルから始まります。
- クリックするのはViewで、Operations列にあります。
- バリアントのConversion Scoreを比べます。
エディターからは、エレメントのMoreメニューにショートカットがあります。View A/B test resultsでは同じページが新しいタブで開きます。スマートソートエレメントにはView smart sort resultsがあります。
表示内容
概要には全テストが合計付きで一覧されます。Sourceはエディター作成のテストではdxpr_builderです。Last Activityは数値の最終変更時を示します。
詳細ページはバリアントごとに1行です。
| 列 | 意味 |
|---|---|
| Variant | 文字、またはスマートソートの項目 |
| Impressions | 訪問者の表示回数 |
| Conversions | 選んだ行動の発生回数 |
| Conversion Rate | インプレッションあたりのコンバージョン |
| Conversion Score | （コンバージョン + 1）÷（インプレッション + 2） |
表は初期値でConversion Rate順です。列をクリックするとその列で並べ替えます。Conversion Scoreの方を信頼します。4分の2も400分の200も50%ですが、信頼できるのは後者のみで、スコアがそれを表します。
イベントログオン時は、表の上にVariant Performanceグラフが付きます。最大9バリアントまで時間推移の線で表示され、それ以上は3D表示です。Time range、X-axis、Y-axis、Max variantsでグラフ内容を変えます。
テストのやり直し
クリックするのはDeleteで、Operations列にあります。テストの数値をリセットします。テストは次のページビューでゼロから再開します。必要なのはAdminister RL experiments権限です。
設定
以下はConfiguration > Web services > RL: A/B Testing（/admin/config/services/reinforcement-learning）にあります。
| 設定 | 内容 | 初期値 |
|---|---|---|
| Enable event log | グラフ用のスナップショットを時間推移で記録します | オフ |
| Maximum event log rows | この数を超える古いスナップショットをcronが整理します | 100000 |
| Line chart threshold | 線で表示するバリアントの上限。それ以上は3Dグラフが先に開きます | 9 |
| Enable debug mode | サンプリングスコアを記録します。短時間のトラブルシューティング専用です | オフ |
結果が表示されない場合
- テストが一覧にない。 テストは2バージョン以上でページを保存すると登録されます。ページをエディターで開き、もう一度Saveをクリックします。
- ページに「Event logging is disabled.」と出る。 グラフにはイベントログが必要です。RL設定でEnable event logにチェックします。
- ページに「No data yet.」と出る。 イベントログはオンですが、その後まだ誰もテストを見ていません。訪問者を待ちます。
- Impressionsがゼロのままになっている。 サイトがrl.phpに届いていません。RL: rl.php accessibilityを状態レポート（
/admin/reports/status）で確認します。
次のステップ
複雑な実験向けの多変量テストで引き続きDXPR Builderを探索します。