来源 | 神策数据·用户行为洞察研究院（微信ID：S）DResearch

作者 | 研如玉

昨天，我们跟大家分享了《A/B 测试中 12 个常见的误区（上）》，今天继续来跟大家分享后半部分的内容。

第一次失败就放弃

你设置了一个测试，但它并没有提高转化效率，于是，你就准备在另一个页面上运行测试吗？没那么快！大多数首次测试都面临着失败的可能性。实事求是地讲，迭代测试不可避免。通过一项测试，从中学习，并改善你的用户体验和你提出来的假设，之后再进行测试，并循环往复，以此类推。我们曾经研究过一个案例，在同一页面上做了 6 次测试来实现我们的转换目的，这就是现实生活中的测试。所以，你必须让批准测试预算的老板和你的客户知道这一点。如果期望一次测试会得到想要的结果，那么资金将被浪费，人员也可能将被解雇。所以，运行迭代测试，才是较为可行的方法。

虚报的显著性

要知道，统计显著性并不是唯一要注意的结果。我们还需要了解那些错误的测试结果。不耐烦的测试人员希望跳过 A / B 测试并继续进行 A / B / C / D / E / F / G / H 测试。而这，就是一种误区。不可否认的是，测试的版本越多，误报的可能性就越高。有时候，即使在 95％ 的置信水平下，误报的几率仍能达到 88％。

利用重复的流量

你已经找到了一种通过同时运行多个测试来“偷工减料”的方法：一个测试在产品页面上，一个测试在购物车页面上，一个测试在主页上（同时测量相同的目标）。它很节省时间，对吗？但如果你在测试的时候不小心，就很可能会扭曲结果。除非你怀疑测试之间存在强烈的交互，且测试之间的流量有很大的重叠。如果测试之间存在交互和流量重叠，事情会变得棘手。如果你想同时在同一个流程中测试多个布局的新版本，例如结帐的三个步骤，你最好还是使用多页面实验或多变量测试来正确测量交互和属性结果。如果你决定使用重叠流量运行 A / B 测试，请记住流量应始终均匀分配。如果测试产品页面 A 与 B，和结帐页面 C 与 D，请确保来自 B 的流量在 C 和 D 之间的分配是对半的，而不是 2：3 或其他。

忽略细微的成果

你的新版本比对照组高出了 4%，但总有人会说“这个比例太小了！我甚至都不愿意实施它。”但问题是，如果你的网站做的非常好，那么你将无法获得那样大规模的转化提升，而事实上，大规模的转化提升也非常罕见。除非你的网站很垃圾，测试之后很容易获得 50％ 以上的转化提升，但即使这样，这种场景也不会持续不断地出现。大多数测试带来的都是小幅增长，比如 1％、5％、8％等。有时，1％ 的提升可能意味着数百万的收入，但重点是：你需要从 12 个月的时间跨度来看待它。一项测试就只是一项测试，你必须要做很多很多测试。比如你每月将转化率提高 5％，那么 12 个月内的转化率将提高 80％，这是复利，是数学的工作原理。而 80% 将是一个极其壮观的数字。所以，要学会积累这些小胜利，最后将他们都叠加起来。

拒绝垃圾测试

没有测试的每一天都是一种浪费。测试是为了更好的学习，更好的了解你的受众，了解哪些有效，以及有效的原因。不进行多次测试的话，你就不知道什么是有效的。虽然要不停地进行测试，但绝不代表你要进行垃圾测试。你需要做适当的研究，准备一个很好的假设，并且不断优化。

意识不到存在的威胁

仅仅因为你有一个不错的样本量，置信度和测试持续时间并不意味着你的测试结果是有效的。因为你的测试往往还具备着以下几个威胁。

工具误差

这是最常见的问题。当测试工具（或仪器）在测试中出现有缺陷的数据时，会对结果产生致命的影响，而这通常是因为网站上的错误代码，所以你需要注意这一点。设置测试时，请观察并记录的每个目标和对应的数据指标。一旦出现问题，请停止测试，找到并修复问题，然后重新设置数据，重新开始。

历史效应

也可能是外部世界发生了一些事情，导致测试中存在缺陷数据的情况发生。比如你的公司高管爆发了丑闻，或者正巧碰上消费的假日季节等等，外部正在发生的事情都会引起你的变化。

选择偏差

当我们错误的假设流量的某些部分代表流量总体时，就会发生这种情况。例如，你将促销流量从电子邮件列表发送到你正在运行测试的页面，那么订阅你的列表的人就会比普通访问者更多。但如果认为他们代表总流量，那么就会有选择偏差的情况出现。

错误的代码效应

你测试出了一套提高转化率的方法并将其推向现实，但是，它没有赢得该有的效果。这可能是因为你的这套方法在某些浏览器或设备上显示效果不佳。每当你提出新方案时，请确保进行质量保证测试，以确保它们在所有浏览器和设备中都可以正确显示。

尾 声

希望你能从这 12 个误区中获得一些思考，在以后的 A/B 测试中，避开这些“坑”。

原文来源：https://conversionxl.com

原文作者：Peep Laja

翻译：研如玉，神策数据·用户行为洞察研究院 公众号（ID：SDResearch）