查看 A/B 测试结果.

学习 DXPR Builder管理网站测试不同版本

查看测试每个版本的效果及获胜者。 打开 RL 报告,找到您的测试,比较各版本的得分。 随时间变化的图表是可选的;您只需在 RL 设置中开启一次。

开始之前

  • 您的角色拥有 View RL reports 权限。
  • 要查看随时间变化的图表,需开启 Enable event log; 请参阅设置。

设置

  1. 前往 Reports > RL: A/B Testing (/admin/reports/rl)。
  2. 在 Experiment 列中找到您的测试。 其名称以内容类型和页面标题开头。
  3. 点击 View(Operations 列中)。
  4. 比较各变体的 Conversion Score。

在编辑器中,元素的 More 菜单中有快捷方式: View A/B test results 会在新标签页中打开同一页面。 Smart sort 元素提供 View smart sort results。

您会看到的内容

概览列出每项测试及其总数。Source 对编辑器中创建的测试显示 dxpr_builder。Last Activity 显示其数字上次变化的时间。

详情页每个变体一行:

列 含义
Variant 字母,或 smart sort 的项目
Impressions 访问者看到的次数
Conversions 随后发生所选操作的次数
Conversion Rate 转化次数除以展示次数
Conversion Score (转化次数 + 1)除以(展示次数 + 2)

表格初始按 Conversion Rate 排序; 点击列可按其排序。请更信任 Conversion Score:4 次中的 2 次和 400 次中的 200 次都是 50% 的比率, 但只有后者可靠,得分体现了这一点。

开启事件日志后,表格上方有 Variant Performance 图表。 最多 9 个变体显示为随时间变化的线条;更多则显示为 3D 地形。 Time range、X-axis、Y-axis 和 Max variants 改变图表的显示内容。

重新开始测试

点击 Delete(Operations 列中)可重置测试的数字。 测试在下次页面查看时从零重新开始。这需要 Administer RL experiments 权限。

设置

这些位于 Configuration > Web services > RL: A/B Testing (/admin/config/services/reinforcement-learning)下。

设置 作用 默认值
Enable event log 为图表记录随时间变化的快照 关闭
Maximum event log rows Cron 修剪超出该数量的旧快照 100000
Line chart threshold 显示为线条的最多变体数;超出则优先打开 3D 图表 9
Enable debug mode 记录采样得分;仅用于短暂排查 关闭

如果您没有看到结果

  • 列表中没有您的测试。保存带至少两个版本的页面时才会注册测试。 请在编辑器中打开页面,再次点击 Save。
  • 页面提示 "Event logging is disabled."。图表需要事件日志。 请在 RL 设置中勾选 Enable event log。
  • 页面提示 "No data yet."。事件日志已开启, 但此后还没有人看过该测试。请等待访问者。
  • Impressions 一直为零。站点无法访问 rl.php。 请检查 RL: rl.php accessibility(状态报告 /admin/reports/status 上)。

接下来做什么?

针对更复杂实验的多变量测试,继续探索 DXPR Builder。