在互联网行业，无论是构建搜索推荐系统，还是智能营销等场景，都是围绕用户进行不同的实验，从各项指标上观察用户对不同交互、流程、策略、算法等反馈，进而对产品进行迭代改进。

本文的goal：在进行了模型的线下迭代并且有了提升之后，怎么线上进行实验，怎么决定对哪些用户进行新策略、算法A的尝试，对哪些用户保持原有算法B进行对照？

ABTest强调的是同一时间维度对相似属性分组用户的测试，时间的统一性有效的规避了因为时间、季节等因素带来的影响；而属性的相似性则使得地域、性别、年龄等等其他因素对效果统计的影响降至最低。

那么到底怎么做AB Test呢？

目前业界应用最多的：可重叠分层分桶法。具体来说，就是将流量分成可重叠的多个层或桶。

因为很多类实验从修改的实验参数到观察的产品指标都是不相关的，完全可以将实验分成互相独立的多个层。例如推荐算法召回层、推荐算法排序层、打散层，或者首页、业务页、详情页等。

-------------------------------------------------------------------------------------------------------------------------------

做实验的过程中，需要避免新实验流量对老模型流量的冲击。流量群体对于新模型会有一定的适应期，而适应期相对于稳定期的效果一般会差一点。如果因为新实验的上线而导致整个流量群体的模型都更改了，从统计学的角度讲，模型之间的对比关系没有变化。但这可能会影响整个大盘的效果，成本很高。

为了解决这个问题，流量分桶模型优先为模型列表前面的模型分配流量，实验模型尽量放在列表尾端。这样实验模型的频繁上下线不影响主力和潜力流量的用户群体。

专题：业界的AB Test