一次测试三个或更多版本.
在一项测试中比较多个创意:三个标题、四张首屏图或两个与原版并列的布局。您向现有的 A/B 测试添加变体 C、D 等,RL 模块从中找出最优者。如果元素尚无变体 B,请先参见Setting up A/B tests。
开始之前
- 该元素已在其控制栏上用 A 和 B 切换钮运行 A/B 测试。
设置
- 点击要基于构建的版本的 pill。新变体从其副本开始。
- 点击 More 并选择 Create variant。新药丸,C,出现。
- 更改变体 C。
- 对每个后续版本重复第 1 到 3 步。
- 点击 Save 在工具栏上。
您会看到的内容
控制栏每个版本显示一个药丸,从 A 最多 Z 为上限。所有版本共享您在以下位置选择的转化 Experiment settings.
起初每个版本获得大致相同的访客份额,三个版本时各占三分之一。随着结果积累,RL 模块将更多访客导向领先者。较弱版本仍能获得一些访客,因此后来居上者仍可赶上。稍后添加版本也可以:它在下一次页面浏览时加入。
需要多少流量
更多版本分割相同访客,因此每个收集展示更慢。报告的 Conversion Score 为(转化 + 1)除以(展示 + 2)。20 次展示时,一次额外转化使得分移动约 4.5 个百分点。200 次展示时,移动约半个点。等得分不再跳动后再信任它们。
智能排序也是多变量的
在 智能排序,折叠面板或选项卡面板的每个条目都是自己的一个版本。RL 模块会为每位访客重新给条目排序,得分最高的通常排在最前面。
如果您看不到新变体
- 新变体复制了错误的版本。 新变体复制您正在查看的版本。删除它,点击要复制的版本 pill,然后重新创建变体。
- 似乎跳过了一个字母。 新字母跟随当前最大字母。C 存在时删除 B,则下一个变体为 D。
- 所有版本的分数保持接近。 流量由多个版本共享。移除最弱的版本以给其余版本更多访客。
接下来做什么?
运行实验的最佳实践 以继续探索 DXPR Builder。