A/B 测试最佳实践.
从测试中获得明确的答案。本页帮助您选择测试内容、设置差异足够的版本、 选择正确的转化,并判断结果何时真实。具体步骤请参阅 设置 A/B 测试。
测试什么
测试决定访问者是否行动的部分:
- 标题和首屏版块:访问者首先看到的东西;措辞的微小变化也可能重要
- 行动号召:按钮的文本、颜色、尺寸和位置
- 表单周围的文案:注册表单上方的标题和承诺
- 优惠:您呈现价格、截止日期或权益的方式
页脚、法律文本和装饰很少改变访问者的行为。对于菜单,请改看您的网站统计。
设计版本
在 A/B 测试中只改变一件事
两个版本时,在 A 和 B 之间只改变一件事。 如果同时更改标题、图片和按钮,您无法判断哪处更改起了作用。
三个或更多版本时,每个版本可以尝试不同的想法。 其余元素部分保持不变。
让版本明显不同
"Get started"对"Get started today"几乎显示不出差异。 请测试真正的替代方案:
- "Get started"对"Try it free"对"See a demo"
- 大照片对产品图片对视频
选择正确的转化
| 转化 | 最适合 |
|---|---|
| Time on element | 首屏版块和文本块,阅读时长体现兴趣 |
| Time on page | 整页布局,停留在页面上即目标 |
| Click on element | 按钮、链接和行动号召 |
将 Seconds(1 到 60)设为现实的阅读时长: 短标题约 5 秒,文本版块 15 到 30 秒。要统计页面别处 (如表单提交按钮)的点击,请输入其 CSS 选择器。
运行测试
等待得分稳定
Thompson Sampling 从首次访问就开始适应, 但早期数字波动大。20 次展示时,多一次转化会让 Conversion Score 变化约 4.5;200 次时约变化 0.5。 请看得分,而非原始 Conversion Rate:得分考虑了数据量。
不要动版本
编辑版本会保留其旧数字,因此结果会混合新旧版本。 如果大幅更改版本,请用报告页上的 Delete 重置测试;请参阅 分析结果。
解读结果
何时宣布获胜者
在 RL 报告中寻找以下信号:
- 领先者的 Conversion Score 连续数天保持稳定。
- 领先者获得的 Impressions 明显多于其他版本, 因为 RL 模块向其输送更多访问者。
- 更改图表的 Time range 后,领先者仍然领先。
然后保留获胜者:在编辑器中移除其他版本并保存。
结果接近时
多次展示后得分相近意味着版本效果相同。 这是有效结果:保留您喜欢的版本,测试其他内容。
页面速度与缓存
页面包含每个版本,浏览器只显示 RL 模块选中的那个。 在选中结果到达前,所有版本保持隐藏。如果无法访问 rl.php, 访问者会看到版本 A。
因为所有人的 HTML 相同,页面缓存和 CDN 可以继续提供它。 浏览器每个版本每会话只统计一次展示和转化, 因此重新加载页面不会虚增数字。RL 模块会在状态报告上标记核心 Page Cache 模块;请遵循那里的建议。
接下来做什么?
分析测试结果,继续探索 DXPR Builder。