更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

1、什么是 A/B 实验

A/B 实验也被称为 A/B 测试，实验的基本思路是在线上流量中取出一小部分（较低风险），完全随机地分给原策略 A 和新策略 B（排除干扰），再结合一定的统计方法，得到对于两种策略相对效果的准确估计（量化结果）。

这一套基于小样本的实验方法同时满足了低风险，抗干扰和量化结果的要求，因此不论在互联网产品研发还是科学研究中，都被广泛使用。

• A/B 实验的应用一

Instead of saying "I have an idea," what if you said "I have a new hypothesis , let's go test it, see if it's valid, ask how quickly can we validate it." And if it's not valid, move on to the next one. —— Satya Nadella CEO, Microsoft

微软 CEO Satya Nadella 在business insider采访中，关于假设检验的这一段回答简练地描述了微软基于实验-分析-决策的数据驱动文化。

事实上，微软也是世界上最早采用 A/B 实验评估每一个重大 feature 的科技公司之一，从 bing 的搜索排序到 MSN 的交互设计，数据驱动的决策无处不在，每年为微软规避大量风险并创造可观回报。

下图，从 bing 这一侧面展示了微软实验平台同时运行的实验数量十年以来的井喷式发展。

• A/B 实验的应用二

另外值得一提的是，这一套基于假设检验的实验方法并非科技公司首创，其影响远比我们想象得深远，可靠性也已经得到了长足的验证。

比如，在医学界，每一种新型药物研发都会伴随着一系列动物实验和临床测试，这些实验的效果都会以类似但更为严格的假设检验方法进行评估，最终被认定安全有效的药品才会进入市场，造福患者。

下图所示就节选自某种放射性疗法在乳腺癌治疗中的有效性报告，红框中的 95%CI（95%置信区间）和 p（p-value）就是假设检验中常用的统计术语。

2.为什么要开 A/B 实验

如今，大多数互联网产品野蛮生长的时代已经过去，人口红利到顶，产品策略需要从快糙猛的跑马圈地方式转向深耕细作精细化运营方式，要精细化运营，就需要采用数据来驱动。

数据驱动的必要性

何为数据驱动？试想以下几种场景：

• 小 A 凭着丰富的经验直接修改了产品的线上策略，一周后发现效果不升反降，遂下线。

• 小 B 和小 C 同时上线了两个产品功能，一周后产品数据有下降，都认为是对方的问题，谁也不肯接锅。

• 小 D 上线了一个新策略，随后进入十一黄金周，用户交互有所下降，小 D 觉得一定是假期埋没了自己的辛苦贡献，但也辩不明白，无处申冤。

• 小 E 辛苦工作一整年，开发了 365 个不同的功能上线，年终写总结时却写不出到底在哪些方面究竟贡献了多少。

想必不论是研发还是产品运营的同学，都不希望自己辛苦工作过后落入上述的几种尴尬的境地中，因此数据驱动业务增长就显得很有必要。

那么数据变化和产品动作之间到底存在什么样的因果关系呢？

假设，某互联网公司承载了上亿规模的 DAU，每天有数以百计的新特性等待上线，一方面业务人员无法承担其中任何一个错误特性直接影响上亿用户体验的严重后果，另一方面业务人员又希望能够分离并量化每个特性的影响。

因此，我们需要设计并坚持使用一套数据驱动的方法，使得业务人员可以以较小的风险对新 feature 进行评估，积极试错积累经验；并且我们设计的该方法有能力排除其他因素（比如同时开发的其他 feature 以及时间因素等）的干扰；最后，除了‘好’或者‘不好’，我们希望这个方法最好也能够给出 定量的结果。

如何做到数据驱动？

为了解决上述问题，普遍使用的方法论是小流量随机实验，也就是我们常说的 A/B 实验。

在推崇“数据驱动增长”的字节，A/B 实验是一种信仰。在经过多年的内部业务的打磨，目前已通过火山引擎正式把 A/B 实验平台对外服务，取名为 DataTester。它基于先进的底层算法，提供科学分流能力，提供智能的统计引擎，实验结果可靠有效，助力业务决策。深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代、策略优化、运营提效等各个环节提供科学的决策依据，让业务真正做到数据驱动。

DataTester 经过抖音、今日头条等字节业务多年验证，截至 2022 年 8 月，已在字节跳动内部累计完成 150 万次 A/B 实验。此外也已经服务了美的、得到、凯叔讲故事等在内多家标杆客户，将成熟的“数据驱动增长”经验赋能给各行业。