A/B测试

随机分桶--哈希函数随机分

如果某个实验组指标明显优于对照组，则值得推全

分层实验

问题：流量不够用怎么办？

同层互斥----避免一个用户被两个实验影响

不同层正交----每层独立随机分配用户

为什么不能全都用正交？

同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰

不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层

Holdout机制

10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）

每周期结束之后，清楚holdout桶，重新划分

保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献

实验推全/反转实验

推全：新层，与其他层正交，90%用户

反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测

在新层里面开一个旧策略桶，长期观测旧策略的diff