什么是控制变量法？什么是A/B test？

什么是控制变量法

控制变量法是在蒙特卡洛方法中用于减少方差的一种技术方法。该方法通过对已知量的了解来减少对未知量估计的误差。

物理学或生物学中对于多因素（多变量）的问题，常常采用控制因素（变量）的方法，把多因素的问题变成多个单因素的问题，而只改变其中的某一个因素，从而研究这个因素对事物影响，分别加以研究，最后再综合解决，这种方法叫控制变量法。

定义本身是比较抽象的，但是如果通过两个例子来说明的话，大家就会很快理解这种方法的意思了。

比如生物学上要研究“甲状腺激素对蝌蚪的生长发育促进作用”。用控制变量的方法，要注意以下的几点：

• 蝌蚪必须随机分3组，不能经过人为的挑选；

• 每一组蝌蚪必须在相同的温度和光照、水质下培养；

• 第一组投入甲状腺激素，第二组加入甲状腺抑制剂，第三组不加入任何药物；且第一组和第二组药物的量必须相同；

• 每天按时对第一组和第二组进行投药，并且量相同，时间相同；

• 每天按时对蝌蚪的体长以及前肢、后肢和尾部进行观察，记录每一组的平均值。

从这个例子可以看出，“控制变量法”就是只把研究的相关量作为唯一变量，其他条件进行人为控制，让每一组除了目标变量之外没有其他的任何干扰因素。

控制变量法简单来讲，就是我们工作中最常见的A/B test。制定两种方案，将用户随机分成实验组与对照组，实验组用户进行产品功能或营销激励的单一变量干预，对照组不进行任何干预自然运行，一段时间后分别统计两组用户的数据表现，评估功能或激励效果。

A/B test 的优化内容主要有6个方向，可以根据不同的内容设计不同的优化方案，进行效果测试；

2. 控制变量法分析过程

我们以发放6元无门槛红包激励用户下单为例，看下A/B test在营销中分析过程；

1. 将目标用户群随机划分为实验组和对照组，每组各10万人，保证两组用户随机分布；

2. 将实验组进行单一变量营销，如发放6元无门槛红包，对照组不进行营销，用于观测自然转化情况；

3. 观察一段时间内的转化率及客单价数据，评估支付人数提升与GMV提升效果；

提升支付人数：对实验组进行干预后提升了转化率，实际提升支付人数2000人。

GMV提升：将提升的支付人数结合客单价进行计算，统计最终的GMV提升40万。

3. 特别注意两点

通过ABtest只能减少未知情况带来的干扰，无法做到完全排除未知情况带来的干扰，所以在落地的过程中，仍有两点需要特别注意，不要被数据欺骗：

（1）实验组与对照组的用户群样本量太少

实验组和对照组的样本量不需要完全一致，但至少需要保障一定的量级，如果样本量级太小，很容易受到个体的影响，导致结果异常。

若想降低个体影响可以参考以下两种方案：

• 扩大试验样本：提高实验组或对照组的用户群，降低个体影响；

• 延长试验时间：将数据监控的时间延长，让数据结果尽可能的收敛；

（2）实验组和对照组的用户群没有做到绝对的随机

例如，产品或技术同学通过尾号单双来进行实验组和对照组的划分，进行产品新功能的实验。此时运营同学又针对尾号0和1的用户进行营销测试，最后肯定会导致双方的实验结果异常，得出错误的结论。

参考方法：不要通过简单规则分组，尽量通过随机数或者随机序列进行随机分组。