ABtest原理及用法总结
发布网友
发布时间：2022-12-31 21:12
共1个回答
热心网友
时间：2023-11-04 18:00
一、ABtest的基本原理
简单来说，ABtest就是当我们在A、B两个方案之间犹豫不决的时候，直接把两个方案测试一把，看看哪个效果好，把测试结果作为参考依据。
因为是抽样测试，所以需要一些统计学方法，估计是否测试能代表整体情况，因此要引用统计学方法。
二、ABtest如何做
ABtest本质上是一个： 两总体 假设检验问题，要检验A、B两个版本是一样，还是有所区别。和之前介绍的单总体假设检验一样，两总体假设检验，也分步骤：
第一步：明确要检验的A、B两个对象
第二步：明确要检验的指标，是平均值，还是比例
第三步：根据检验目的，给出原假设/备选假设
第四步：根据要检验的指标，选择检验统计量（是不是头都看大了，其实没关系，大部分统计软件，包括excel，都有提供两样本均值的t检验，直接用即可）。
第五步：给定显著性水平，计算统计量，得出结果：支持原假设还是推翻原假设
这里的原理和假设检验是一模一样的，小伙伴们可简单理解成：检验的是两个方案的均值/比例，是否等于0。
是不是头又看大了，没关系，这些计算结果在统计软件中都可以直接给出。小伙伴们只要记得： P值小于0.05推翻原假设 ，就OK啦！
三、ABtest小例子
来看个具体例子：某电商平台，想提升用户客单价，运营部门做了两套方案：A、B激励方案，想小规模投放优惠给用户，测试下效果。已选出两组各12名用户，测试用户客单价如下图所示。此时可以用excel自带的两总体t检验功能来做：
第一步，先准备好A、B两个方案的数据
第二步：明确，要检验的是平均值（检验两个方案的平均客单价是否一致）；
第三步：给出原假设。这里可以简单处理，提假设；
原假设：方案A客单价均值=方案B客单价均值；
备选假设：两者不相等。
这样怼翻了原假设，就说明方案A和方案B有差异啦（记得把要怼翻的放原假设哦）
第四步：代入t检验公式计算；
第五步：解读结论。
既然方案A与方案B不同，A的均值又高于B，那么就认为A更好啦，搞掂！
这样就做完啦！
四、ABtest的注意事项
注意1：测试目标要清晰。 在实际工作中，有些产品经理/运营的口头禅就是：“AB一下看看”。可如果目标都没确定的话，连如何写假设，如何找检验统计量都无法确定，更没办法定怎么测试了。
特别注意的是，在一次测试中，是很难兼容两个目标的。比如上边的小例子，如果想提升用户客单价，则要推的是贵的商品，要给的激励是满减型激励，让用户买贵一点。
如果想提升用户消费率，则要推的是便宜的商品，要给的激励是秒杀/超低价，让用户先买一笔再说。这两个目标是很难在一个方案A/B里兼容的。
所以小伙伴们， 千万别信了产品经理/运营“你先测测看看”的鬼话 。如果一开始目标都很混乱，那方案肯定也是四不像，测出来结果乱七八糟，也是很正常的。事前不想清楚，事后只能瞎着急。
注意2：测试方案合理性。 有些测试方案本身设计得就不合理，不是拿相似的方案测试，而是明显一个方案很优惠，一个很鸡肋；一个设计很美观，一个设计很丑陋。这种情况下测了也白测。测试方案本身，要是苹果对苹果，西瓜对西瓜才行。
注意3：测试对象相似性。 还以上边小例子举例。参与测试的用户群体，可能自身在客单价/消费力上就有差异。这种测试特征的差异，会直接导致：结果上的差异是由于客群特征，而非方案A/B造成的。这是最差的情况了，这样不但会导致测试无效，而且会误导业务判断。
四、Abtest的局限性
正是由于有以上三点要求，导致ABtest是有门槛的：
要有能力设计相近版本方案；
要有足够开发支持，把方案落地；
要有足够的用户数据，区分用户特征。
这些使得ABtest只有在数据充足、开发资源充足、业务方资源充足且没有私心的时候，才能完美落地。因此，虽然ABtest的原理很简单，但是具体应用，还需要结合实际情况做考虑。具体细节，后续再分享。
