火山引擎 DataTester 揭秘:字节如何用 A/B 测试,解决增长问题的?

news2024/9/30 17:27:18

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

上线六年,字节跳动的短视频产品——抖音已成为许多人记录美好生活的平台。除了抖音,字节跳动旗下还同时运营着数十款产品,从资讯、游戏,到房产、教育等横跨多个领域。在产品迭代速度和创新能力的快速发展下,字节是如何解决产出的每款 APP 的增长问题?本文将分享专属于字节文化的增长方式。

一、关于增长

1.1 什么是增长

下图是一个简单的增长闭环。

首先在最开始会利用很多类似 UBA 的工具进行用户行为分析,通过这些分析发现,在这个 APP 发展过程中是不是存在一些新的问题,或者去探索一些新的业务增长点。之后就进入了第二步,数据分析师会把他的推断传递给产品经理,产品经理会提出了一些假设策略,设定一定的目标。

第三步进入到了很关键的一个环节:整个字节内部,不管是功能研发还是算法模型的迭代,或者是 UI 交互上一个简单的按钮颜色的变化都需要去做的验证——就是 A/B 实验。在这个过程中,采用各种科学的实验分析工具或者分析模型,来帮助数据分析师了解不同的实验策略,在整个推进过程中当中会有什么样的表现。

最后一步,再结合实际场景去进行分析:这个实验结论最终带来了哪些洞见?是否要持续迭代?如此往复,就是一个激发创新和增长的闭环。

1.2 字节的增长逻辑:选定一个好的目标,然后找到一个好的评估方法衡量

解决问题一定要有好的方法,“数据驱动”是字节非常看重的一系列方法,而“A/B 测试”是“数据驱动”中至关重要的方法。

要想解决问题,第一个问题是:目标是什么?确认目标,以及这个目标是否可量化是特别重要的。需要注意的是避免选择类似用户画像这一类目标优先级不一定高且不好评估的目标。既要考虑用户体验,也要考虑一些客观指标,同时可能辅以一些用户访谈的直观印象,最后综合去制定方向。

数据驱动不是唯数据论,更不是数据至上。我们常说的数据驱动,不是有数据就可以驱动,而是需要对可以量化评估的目标,以 A/B 测试这样的结果数据才能更好地驱动,它代表的是科学决策的理念,不然数据驱动的决策也可能是很糟糕的决策。

2.应该去选择一个什么样的目标

2.1 目标层次合理性

选择目标时应该选一个不要太高、不要太低的目标,并且定期衡量特别重要。例如在聊数据驱动思路时,当试图用数据驱动思路去细化目标时,有利于你仔细反思:我的目标是不是这个?我的目标能不能量化?它会逼你把目标想得很清楚。

2.2 目标可衡量

在选择目标时,目标的可衡量是非常重要的。它跟数据驱动的理念互相帮助,定好目标,才能更好的应用数据驱动,当你用数据驱动的方法去做事情时,它就会 push 你的目标到底是不是合理。

3.什么是好的评估方法

一是经验判断。 不管什么公司,每天都在不停的用这个方法,这个方法非常靠谱的,但是有它的问题。从公司层面来看,由于单纯依靠客观指标决策会面临风险,因此战略决策往往是由人来做判断的。但它的问题在于执行层面很容易不一致。战略决策在执行过程中面临很多细节问题的决策,参与的人越多,越容易出现不一致性和有偏性。

二是非 A/B 测试的数据分析,但是可能会出现关联分析中往往带有偏见,可能会误导决策。

三是 A/B 测试的数据分析。这是一个更接近真实、更能够把握住本质的一个方法。类似于打造一个“平行时空”,把不同策略放进去对比实验,再基于“投石问路”的结果选择更优方案,降低决策风险。

4.A/B 测试——DataTester 在字节

字节跳动有一款中视频产品叫西瓜视频,最早它叫做头条视频。为了提升产品的品牌辨识度,团队想给它起个更好的名字。经过一些内部调研和头脑风暴,征集到了西瓜视频、奇妙视频、筷子视频、阳光视频 4 个名字,于是团队就针对一共 5 个 APP 名称进行了 A/B 实验。

这个实验中唯一改变的是应用市场里该产品的名称和对应的 logo,实验目的是为了验证哪一个应用名称能更好地提升“头条视频” APP 在应用商店的点击率。最后西瓜视频和奇妙视频的点击率位列前二,但差距不显著,结合用户调性等因素的综合考量后,最终决定头条视频正式更名为西瓜视频。

除了西瓜视频,今日头条的定名,就是在不同的应用市场上架不同的名称,来看下载率和分享率,最后“今日头条”胜出了。抖音也是一样的,这个名称并不是第一首选,是做了很多个名称上架应用市场之后,“抖音”排名第二,最后根据产品形态以及认知,才选择了“抖音”作为核心名字。

在不断的创新迭代的过程当中,字节跳动一直都在高度的关注着整个产品传递信息的一个密度,持续的探索和更新更高效的信息分发方式。其中最核心的一个理念就是通过数据去驱动创新、驱动增长,然后驱动营销。而 AB 测试就是这一理念的方法论和工具的载体。

经过了字节内部业务的多年打磨,这一套在字节大放异彩的 A/B 实验工具已正式通过火山引擎对外服务,取名为 DataTester。它基于先进的底层算法,提供科学分流能力,提供智能的统计引擎,实验结果可靠有效,助力业务决策。

目前,DataTester 在字节内每日新增 1500+实验,累计已有 150W+ 的 A/B 实验进行过。在外部客户的服务上,也已覆盖推荐、广告、搜索、UI、产品功能等业务场景,提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事 APP 等企业客户,已经通过火山引擎 DataTeser 开启了用数据驱动科学决策的道路。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/55001.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

人工智能在网络安全中的重要性

介绍: 人工智能(AI)是计算机科学的一个分支,基于某些独特的算法和相关数学计算,使机器能够拥有人类的决策能力。另一方面,网络安全包括保护虚拟世界免受网络攻击和威胁的安全措施。人工智能能够通过采取与…

第二十一章《万年历》第1节:万年历项目简介

万年历项目实现的是一款日历软件,它能够展示出任意年份的日历,除此之外,该软件还能以红色字体标出每个月的阳历节日。 21.1.1万年历功能简介 万年历软件的运行结果如图21-1所示。 图21-1万年历软件界面 为方便讲述,此处把这个万年历的界面分成了4个区域,每个区域当中都有…

【优化发电】基于matlab差分进化算法求解单库发电优化问题【含Matlab源码 2253期】

⛄一、差分进化算法简介 如同所有的优化算法一样, 差分进化算法基于种群的进化算法。差分进化算法主要的参数主要有种群规模NP, 解空间的维数D, 缩放因子F和交叉概率Cr。D维矢量XGi[xGi,1, xGi,2, …, xi, DG], i1, 2, …, Np, 表示G代第i个个体。变异和交叉操作在每一代中产生…

NIO-ServerSocketChannel和Tomcat

ServerSocketChannel 面向流的侦听套接字的可选通道。 通过调用此类的open方法创建服务器套接字通道。 无法为任意预先存在的ServerSocket创建通道。 新创建的服务器套接字通道已打开但尚未绑定。 尝试调用未绑定的服务器套接字通道的accept方法将导致抛出NotYetBoundExcepti…

达梦数据库通过作业实现自动备份功能

达梦数据库通过作业实现自动备份功能作业功能简介一、通过DM管理工具创建备份作业(图形化配置)1.创建代理环境2.创建作业二、命令行方式配置备份作业案例1.创建代理环境2.全量备份3.增量备份4.备份清理三、JOB 运行和日志查看作业功能简介 在管理员的工作中,有许多…

安卓APP源码和设计报告——好再来点餐

大作业文档 项目名称:好再来点餐专业:班级:学号:姓名: 目 录 一、项目功能介绍3 二、项目运行环境3 1、开发环境3 2、运行环境3 3、是否需要联网3 三、项目配置文件及工程结构3 1、工程配置文件3 2、工程结构…

STC - 同时外挂扩展RAM和12864时, C库函数失效的问题

文章目录STC - 同时外挂扩展RAM和12864时, C库函数失效的问题概述笔记原理图 - 外挂XRAM原理图 - 12864错误现象总结ENDSTC - 同时外挂扩展RAM和12864时, C库函数失效的问题 概述 在写STC15实验箱4的出厂测试程序. 发现memset(buf, 0, 256)一片256字节的xdata内存时, 无法将这…

生产型企业如何搭建进销存管理系统?低代码平台了解一下

生产型企业在激烈的市场竞争中充分意识到信息化管理的重要性,但限于资金压力无法购买或开发大型的ERP 系统整合企业管理的小型企业而言,比较多的采用部署相对独立的小型信息系统提高管理信息化水平,常见的包括采购管理系统、销售管理系统、库…

Ubuntu开机自动挂载SD卡到指定挂载点并将Docker默认存储路径改为SD卡

Ubuntu开机自动挂载SD卡到指定挂载点并将Docker默认存储路径改为SD卡查看磁盘信息查看磁盘原挂载点永久开机自动挂载分区——修改文件/etc/fstab应用挂载修改docker默认存储路径查看磁盘信息 sudo fdisk -l如果磁盘太多可以用 sudo fdisk -l | grep GiB只看以GB为单位的磁盘&…

【D3.js】2.2-给 Circle 元素添加属性

title: 【D3.js】2.2-给 Circle 元素添加属性 date: 2022-12-02 15:19 tags: [JavaScript,CSS,HTML,D3.js,SVG] 上章节中虽然添加了circle,但是因为缺少某些属性设置而显得不可见,在此章节中将学习circle的cx、cy、r属性。 一、学习目标 circle的x坐标与…

带你玩转序列模型之NLP与词嵌入(一)

目录 一.词汇表征 二.使用词嵌入 三.词嵌入的特性 四.嵌入矩阵 五.学习词嵌入 一.词汇表征 上周我们学习了RNN、GRU单元和LSTM单元。本周你会看到我们如何把这些知识用到NLP上,用于自然语言处理,深度学习已经给这一领域带来了革命性的变革。其中一…

嵌入式 ADC使用手册完整版 (188977万字)(附源码详细篇)

嵌入式 ADC使用手册完整版 (188977万字)💜(附源码详细篇)💜【1】ADC简介【2】ADC主要特征【3】ADC引脚和内部信号【4】ADC 模块框图【5】ADC校准(CLB)【6】ADC 时钟【7】ADCON 开关【…

Gomodule和GoPath

GoLang生态系统 什么是GOROOT GOROOT 是环境变量,它的值是 Golang 安装包路径 什么是GOPATH GOPATH 是Golang 1.5版本之前一个重要的环境变量配置,是存放 Golang 项目代码的文件路径。 可以通过go env命令查看 GOPATH目录 进入GOPATH目录&#xff…

【Docker】redis分片集群搭建:3主3从,容错迁移,扩缩容

Docker是基于Go语言实现的云开源项目。Docker的主要目标是**“Build,Ship and Run Any App,Anywhere”**。也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等等)及其运…

2022 ios APP最新iOS开发上架测试教程

2022 ios APP最新开发测试教程 本文详细介绍最新的在windows上进行ios app开发编译打包安装到手机测试的完整流程。介绍ios开发经常遇到的问题和解决方法,包括ios开发证书,ios开发描述文件等。 2.Apple开发常用的三个网址: 开发者中心&#x…

羚数智能入选 IDC关于中国制造执行系统(MES)的市场2021年度份额报告

近日,国际权威市场研究机构IDC发布《中国制造业 MES 市场分析及厂商份额,2021》,引起行业关注。 成立短短一年多,羚数智能作为国产生产运营管理软件年度代表企业(Vendor Who Shaped the Year)入选报告&…

LabVIEW比较LabVIEW类对象 LabVIEW接口

LabVIEW比较LabVIEW类对象 LabVIEW接口 使用比较功能比较LabVIEW类对象。 如比较同一个类的两个对象,例如,卡车类的两个对象,LabVIEW将比较类层次结构中所有层次的数据,类似于LabVIEW比较由簇组成的簇。 如比较不同类的两个对…

Coremail邮件安全:如何防范校园邮件新威胁

11月23日,Coremail举办《校园安全交流防护会暨新技术应用分享》直播,Coremail邮件安全解决方案专家刘骞,从目前面临的邮件安全防护难点、盗号威胁等角度提出针对教育行业的有效邮件安全解决方案。 教育行业面临邮件安全问题 问题1&#xff…

[附源码]Python计算机毕业设计Django健身房预约平台

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

【软件测试】身为测试人,经常背锅的我该咋办?

目录:导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜)前言 当产品上线的或者开…