查看 A/B 测试结果.
查看测试每个版本的效果及获胜者。 打开 RL 报告,找到您的测试,比较各版本的得分。 随时间变化的图表是可选的;您只需在 RL 设置中开启一次。
开始之前
- 您的角色拥有 View RL reports 权限。
- 要查看随时间变化的图表,需开启 Enable event log; 请参阅设置。
设置
- 前往 Reports > RL: A/B Testing
(
/admin/reports/rl)。 - 在 Experiment 列中找到您的测试。 其名称以内容类型和页面标题开头。
- 点击 View(Operations 列中)。
- 比较各变体的 Conversion Score。
在编辑器中,元素的 More 菜单中有快捷方式: View A/B test results 会在新标签页中打开同一页面。 Smart sort 元素提供 View smart sort results。
您会看到的内容
概览列出每项测试及其总数。Source 对编辑器中创建的测试显示
dxpr_builder。Last Activity 显示其数字上次变化的时间。
详情页每个变体一行:
| 列 | 含义 |
|---|---|
| Variant | 字母,或 smart sort 的项目 |
| Impressions | 访问者看到的次数 |
| Conversions | 随后发生所选操作的次数 |
| Conversion Rate | 转化次数除以展示次数 |
| Conversion Score | (转化次数 + 1)除以(展示次数 + 2) |
表格初始按 Conversion Rate 排序; 点击列可按其排序。请更信任 Conversion Score:4 次中的 2 次和 400 次中的 200 次都是 50% 的比率, 但只有后者可靠,得分体现了这一点。
开启事件日志后,表格上方有 Variant Performance 图表。 最多 9 个变体显示为随时间变化的线条;更多则显示为 3D 地形。 Time range、X-axis、Y-axis 和 Max variants 改变图表的显示内容。
重新开始测试
点击 Delete(Operations 列中)可重置测试的数字。 测试在下次页面查看时从零重新开始。这需要 Administer RL experiments 权限。
设置
这些位于 Configuration > Web
services > RL: A/B Testing
(/admin/config/services/reinforcement-learning)下。
| 设置 | 作用 | 默认值 |
|---|---|---|
| Enable event log | 为图表记录随时间变化的快照 | 关闭 |
| Maximum event log rows | Cron 修剪超出该数量的旧快照 | 100000 |
| Line chart threshold | 显示为线条的最多变体数;超出则优先打开 3D 图表 | 9 |
| Enable debug mode | 记录采样得分;仅用于短暂排查 | 关闭 |
如果您没有看到结果
- 列表中没有您的测试。保存带至少两个版本的页面时才会注册测试。 请在编辑器中打开页面,再次点击 Save。
- 页面提示 "Event logging is disabled."。图表需要事件日志。 请在 RL 设置中勾选 Enable event log。
- 页面提示 "No data yet."。事件日志已开启, 但此后还没有人看过该测试。请等待访问者。
- Impressions 一直为零。站点无法访问 rl.php。
请检查 RL: rl.php accessibility(状态报告
/admin/reports/status上)。
接下来做什么?
针对更复杂实验的多变量测试,继续探索 DXPR Builder。