A/B 测试最佳实践.

学习 DXPR Builder管理网站测试不同版本

从测试中获得明确的答案。本页帮助您选择测试内容、设置差异足够的版本、 选择正确的转化,并判断结果何时真实。具体步骤请参阅 设置 A/B 测试。

测试什么

测试决定访问者是否行动的部分:

  • 标题和首屏版块:访问者首先看到的东西;措辞的微小变化也可能重要
  • 行动号召:按钮的文本、颜色、尺寸和位置
  • 表单周围的文案:注册表单上方的标题和承诺
  • 优惠:您呈现价格、截止日期或权益的方式

页脚、法律文本和装饰很少改变访问者的行为。对于菜单,请改看您的网站统计。

设计版本

在 A/B 测试中只改变一件事

两个版本时,在 A 和 B 之间只改变一件事。 如果同时更改标题、图片和按钮,您无法判断哪处更改起了作用。

三个或更多版本时,每个版本可以尝试不同的想法。 其余元素部分保持不变。

让版本明显不同

"Get started"对"Get started today"几乎显示不出差异。 请测试真正的替代方案:

  • "Get started"对"Try it free"对"See a demo"
  • 大照片对产品图片对视频

选择正确的转化

转化 最适合
Time on element 首屏版块和文本块,阅读时长体现兴趣
Time on page 整页布局,停留在页面上即目标
Click on element 按钮、链接和行动号召

将 Seconds(1 到 60)设为现实的阅读时长: 短标题约 5 秒,文本版块 15 到 30 秒。要统计页面别处 (如表单提交按钮)的点击,请输入其 CSS 选择器。

运行测试

等待得分稳定

Thompson Sampling 从首次访问就开始适应, 但早期数字波动大。20 次展示时,多一次转化会让 Conversion Score 变化约 4.5;200 次时约变化 0.5。 请看得分,而非原始 Conversion Rate:得分考虑了数据量。

不要动版本

编辑版本会保留其旧数字,因此结果会混合新旧版本。 如果大幅更改版本,请用报告页上的 Delete 重置测试;请参阅 分析结果。

解读结果

何时宣布获胜者

在 RL 报告中寻找以下信号:

  1. 领先者的 Conversion Score 连续数天保持稳定。
  2. 领先者获得的 Impressions 明显多于其他版本, 因为 RL 模块向其输送更多访问者。
  3. 更改图表的 Time range 后,领先者仍然领先。

然后保留获胜者:在编辑器中移除其他版本并保存。

结果接近时

多次展示后得分相近意味着版本效果相同。 这是有效结果:保留您喜欢的版本,测试其他内容。

页面速度与缓存

页面包含每个版本,浏览器只显示 RL 模块选中的那个。 在选中结果到达前,所有版本保持隐藏。如果无法访问 rl.php, 访问者会看到版本 A。

因为所有人的 HTML 相同,页面缓存和 CDN 可以继续提供它。 浏览器每个版本每会话只统计一次展示和转化, 因此重新加载页面不会虚增数字。RL 模块会在状态报告上标记核心 Page Cache 模块;请遵循那里的建议。

接下来做什么?

分析测试结果,继续探索 DXPR Builder。