为什么我不能在优化中定位我的目标补充?



Optimizely的样本量计算器显示,较高的基线转化率导致A/B测试所需的样本量较小。因此,与其最大化我的转化目标,不如最小化相反的目标,即没有达到目标。
对于转化率低于 50% 的每个目标,其补集将高于 50%,因此如果定位,则需要更小的样本量。

举个例子:与其测量访问payment-success.html的所有用户,我宁愿测量所有访问它的用户,并尝试将其最小化。如果我的推理是正确的,这通常需要更小的样本量!

优化仅允许我将网页浏览量定位为目标,而不是网页浏览量。
我意识到我可能在这里遗漏或误解了一些重要的东西,但如果是这样,那是什么?

从统计学上讲,您的方法没有错,但不幸的是,它不会产生降低持续时间的预期效果。

虽然你会减少

误差幅度,但你会按比例减少提升,导致你花同样的时间来达到信心。

由于提升是按基准转化率的百分比计算的,因此较大的基准转化率变化相同,因此提升幅度越小。

假设您的实际转化率是 10%,测试最终将其提高到 12%。反向转换率为90%,然后降低到88%。在这两种情况下,它的变化都是 2%,但 2% 的变化比 10%(20% 的提升(比 90%(只有 -2.22% 的提升(要大得多。

实际上,您冒着更大的风险,即错误地将人们投入到相反的目标中。您知道点击成功页面的人应该计入目标。我很确定您的建议会导致用户看到实验后不在成功页面上的每个网页浏览量都算作一个目标。

假设您正在测试主页。人员 A 和 B 都登陆主页并查看实验。

  • 人员 A 访问其他 1 页并离开
  • 人员 B 访问其他 1 个页面并购买了东西

如果您的目标是在成功页面上设置的,则只有人员 B 会触发目标。如果在所有其他页面上设置了目标,则两个人都将触发目标。这显然不是相反的。

事实上,如果在用户首次看到实验后,有任何网页需要到达成功页面(因此,除非您要测试结账的最后一步(,那么每个人都会触发反向网页浏览目标(无论他们是否点击成功页面(。

优化网页浏览量目标不仅适用于实验的网址定位条件中包含的网页。对于看过实验并在之后的任何时候点击该页面的任何人,它们都会被计算在内。

只是为了回答这是否可能(不解决您的设置是否会导致相同的结果(,您是对的,Optimizely 网页浏览目标不允许这样做,但您可能可以使用正则表达式匹配类型来实现您想要的(请参阅此处第 3 点中的"网址匹配类型"(。在这种情况下,它看起来像这样,取自这里的这个答案(这也解释了在正则表达式中不匹配所涉及的复杂性,这表明为什么 Optimizely 没有在产品中构建网页浏览量(。

^((?!payment-success.html).)*$

希望这能帮助你到达你想要的地方。

最新更新