ab 测试 - 谷歌实验是否表现优异



今天我在Google Analytics中遇到了一些奇怪的事情。我的一个实验以94.7%和52%的概率超过原始的概率结束,并且仍然处于"未找到赢家"的状态。

有人遇到这种情况吗?为什么会这样?

这意味着,虽然您确实拥有比控件更好的版本,但它们的胜出不足以达到 95% 置信区间。换句话说,您有一个获胜者,但它在统计上并不显着,或者此测试的结果有可能是随机的。

如果没有看到展示次数和转化次数,就很难更具体。我的猜测是,要么这个测试的转化率非常低,要么获胜版本的改进量非常小,或者两者兼而有之。

对于如何继续,您有几个选项。

  1. 仅使用对照和最强变体重复测试。通过仅使用两个版本重复测试,您的测试可能会达到显著性。
  2. 实现最强的变体并找到其他要测试的内容。这可能是我会选择的。理想情况下,您希望确定对转化率影响最大的页面元素。

无论哪种方式,我都会结束当前的测试。在这一点上,让它运行更长时间没有任何好处。

相关内容

  • 没有找到相关文章