AB测试——流程介绍（定义问题和指标选取）

news2025/4/19 18:29:45

前言：作为AB测试的学习记录，本文主要介绍了AB测试的基本流程，以及指标类型和如何选取合适指标。
相关文章：AB测试——原理介绍

AB测试的基本流程是什么？

AB测试（也称为分流测试）是一种常用的实验设计方法，用于比较两种或多种不同的设计或策略，以确定哪种方案更有效。下面是AB测试的一般流程：

定义研究问题：确定要测试的问题或假设，并将其转化为可量化的指标。
设计测试方案：制定测试方案，包括定义测试组和对照组，确定样本量和测试时长等关键因素。
实施测试方案：实施测试方案，包括在测试组和对照组中分别应用不同的方案，并记录结果数据。
数据分析：统计分析收集的数据，比较测试组和对照组的差异，并确定哪种方案更有效。
结果解释和应用：根据数据分析结果，解释测试结果，并应用于实际业务中。
优化改进：根据测试结果和应用效果，进行优化改进，并持续跟踪测试方案的效果。

需要注意的是，AB测试的有效性取决于样本量和测试时长的设计，必须确保样本量足够大，测试时长足够长，才能保证测试结果的可信度和稳定性。此外，测试方案需要避免影响测试结果的偏差和干扰，例如排除不相关因素的影响。

1. 定义研究问题（Problem Statment）

首先，需要明确业务场景的背景现状，和产品经理沟通需要验证的方案是什么，目的是什么。

比如，我们先在需要上线一个新的APP的UI界面，目的为了吸引用户购买，提高用户的成交量。

变量/变体：一个新的UI界面
实验对象：APP用户
目的：提高成交量

通过对问题的分析和理解，实验设计者需要将一个商业问题转换成一个可量化、可通过实验验证的数学问题。

2. 选取指标（Metrics Selection）

确定好实验的背景和目的，接下来就需要确认需要追踪和验证的数据指标。

2.1 指标的两种分类

对于指标，我们可以有两种分类方法。

按计算方式区分：

第一种按计算方式区分：

绝对值指标 ：单一的数值，比如利润总额、销售量、用户在线时间等。
相对值指标 ：两个有联系的现象数值相比得到的比率。例如用户转化率、ROI等。

按业务特性区分：

第二种是根据各类指标在业务中的分工特性区分：

成功指标(Primary/Core/Success Metrics):
- 最核心的度量指标，决定新功能是否有价值、实验是否成功的度量。
- 比如：如果新的UI界面是为了提高用户的体验，那么用户在线时长、日活可以作为关键指标；如果是新的产品推送策略，为了提高销售和利润，那么利润就是最关键的核心指标
跟踪指标（Secondary/Tracking metrics）:
- 跟踪指标不能直接测量新功能是否有效，但是能帮助监测新功能是如何影响目标指标。如果目标指标有异动，跟踪指标可以帮忙分析新功能是如何导致目标指标发生变化的。
- 比如在新界面上线后，
  - 第一种情况：用户购买量下降了，同时用户的浏览量和在线时长都减少了。UI界面设计不合理，令用户的使用体验变差，提前关闭APP，导致了购买下降。
  - 第二种情况：用户购买量下降了，但是用户的浏览量和在线时长都提高了。新的UI设计让用户更愿意花时间浏览APP。因为浏览时间拉长，用户发现了很多喜欢的商品，但是由于选择过多，反而让用户更难下定决心购买。
护栏指标(guardrial metric):
- 护栏指标，是用来限制新设计带来的负面影响。
- 在这个UI界面的例子中，我们希望用户购买量能够上升，但同时不希望新的功能会影响日活量，如果新功能对日活量有一定的负面影响。那么表明有部分的用户不喜欢新的页面设计，这时我们就需要否决掉这个方案。
- 再举个广告投放的栗子：
  - 许多APP都会使用不同的广告投放策略，在用户使用时推送广告。因为企业希望通过广告增加利润收入，所以广告投放策略的核心指标一般是广告盈利。
  - 广告太多，或者广告质量不佳，就会直接导致用户在线时长、活跃度下降。若没有及时控制，可能会最终导致用户流失。所以用户的在线时间、或者日活是需要监控的护栏指标。