火山引擎 DataTester:如何用 A/B 测试做产品增长?

news2024/9/20 9:24:07

技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

随着如今越来越高的获客成本,用户拉新变得不再容易;而且由于获客成本的增高,让用户留存也变得更加重要。同时,一个产品的使用体验好坏、是否给予对应的用户价值,通常“用户留存”就被作为重要的衡量指标之一。

那么,如何将有限的流量发挥出最大的价值,尽可能的提升用户留存呢?本文将跟随字节的一款内容 App 的增长实践来一探究竟。

该款 App 为用户提供短篇、中篇、长篇内容阅读服务,但在 App 推出一段时间后,该产品团队通过核心指标分析,发现 App 新用户流失率非常高。其中新用户 LT(Life Time / 用户生命周期)、LTV(Life Time Value/用户生命周期价值)等指标均大幅低于预期,有较大的提升空间。

如何降低新用户的流失率、提高用户留存,成为了这款产品亟待解决的问题。

由于字节的产品在迭代、推广过程中都会不断经历 A/B 测试的打磨,因此该产品团队首先查看了历史策略,希望汲取一些经验。他们在字节跳动自研的 A/B 测试产品——DataTester 中,查看了该 App 以往的 A/B 实验历史,并通过 DataTester 特设的「经验库」能力,找到了往期能够提升用户留存的产品策略。

他们从「经验库」往期 A/B 测试的历史中看到:

· 往期“7 天签到礼包”玩法中,新用户 LT 显著上升,用户留存率显著上升;

· 往年春节期间曾发起过众多活动,“签到日历”的玩法对比其他活动,留存最佳;

.....

总结发现,往期的“签到玩法”对比其他策略,对于这款 App 的用户留存提升通常更为显著。下图可看到“签到玩法”带来的拉新占比,及用户留存趋势。

因此该团队判断,此次产品策略优化,通过优化“签到玩法”获取提升该 App 新用户留存指标收益的可能性较高。那么在优化方向上具体策略如何制定呢?该团队通过数据分析后决定从用户体验痛点入手。

原产品“签到玩法”如下:

  • 玩法设置在产品二级页面“福利页”,用户必须打开 App 后再进入“福利页”,才可以完成玩法任务

  • 产品同时设置有两种“签到玩法”——「7 天见面礼」与「日常签到」,两种玩法会同时弹出,用户打开产品后会遇到多重弹窗的情况

这样的产品策略会带来“用户操作路径过长,领取奖励难度相对较大”以及“多重弹窗对用户造成操作打扰”的痛点。产品团队因此确定了签到策略的优化思路:降低奖励领取难度,去除多重弹窗对用户的打扰。

当优化方向确定后,接下来就需要设计完整的 A/B 实验方案了;在 A/B 实验方案设计的过程中,最重要的一点是要计算出取得显著性结论所需要的流量是多少。 此时,字节的 A/B 测试产品 DataTester 的优势就体现出来了。当业务把想提升的指标、数值、提升方向输入进来后,DataTester 可以直接自动计算所需要的样本数量,然后经过 A/B 测试的实验数据来进行效果验证,帮助业务确认最优解的策略。

最后通过优化新用户的「7 天见面礼」签到活动,从 DataTester 的实验结果上来看,优化后的实验组的大盘新用户 LT(用户生命周期)、留存率等均有明显的正向提升;不仅如此,在 App 活跃时长、ARPU(平均每用户收入)等核心指标的数据也均有不同幅度的正向提升;同时新用户的签到问题反馈也有所下降。

因此,该 App 将新的策略全量上线,从线上数据表现来看,该 App 的「7 日签到」策略次日领取率提升了近 20%,用户多日留存稳定提升了 3%~5%,获取了超预期的收益。

对于企业而言,更明智、更长期的战略意味着需要同时专注于自身产品的健康发展以及增长,而这其中最重要的驱动因素是用户满意度和用户留存。注重用户留存就可以推进增加营收及提高盈利能力,也节省了获客成本,达到了降本增效的目的。

那么如何提升核心指标?如何选择最优的产品策略?如何科学的评估指标提升与策略的关系?如何选准正确的迭代方向并继续向下探索收益?这些都需要 A/B 测试来进行评估并得到“理性且科学”的数据结果,帮助业务在每一个决策的岔路口上,都做出了更正确的选择。

DataTester 依靠其先进的底层算法,提供科学的分流能力和智能的统计引擎,支持多种复杂的 A/B 实验类型。在字节内部帮助今日头条、抖音等多个产品“摆脱猜测,用科学的实验衡量决策收益”。 不仅如此,DataTester 也已经由火山引擎对外开放服务,目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业,支持了多种业务场景需求,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/68565.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C++】list的模拟实现+迭代器的设计思维

目录1.认识STL中的list2.迭代器的设计思维2.1 迭代器的定义2.2 迭代器的底层结构3.list的模拟实现3.1 list的节点3.2 list的迭代器3.3 list类4.list和vector的比较1.认识STL中的list 💨相比于vector简单的连续线性结构,list就稍显复杂了。 💨…

用细节问题撬动自我进化:首届雪浪算力开发者大赛来了!

12月2日,首届【雪浪算力开发者大赛】在无锡雪浪小镇正式揭幕,并由此开启了新一轮智能制造新生力量的博弈。本次大赛不仅将工业界开发者与创新企业置于聚光灯下,也是雪浪算力中心向社会公众展示其强大计算能力与支撑能力的震撼大秀。 在疫情威…

【关于Spring MVC框架中的@RequestBody】

关于Spring MVC框架中的RequestBody 在Spring MVC框架中,可以在POJO类型的请求参数前添加RequestBody。 当服务器端接收请求参数时,使用了RequestBody注解,客户端提交的请求参数必须是对象格式的! 如果客户端提交的请求参数不是…

Vue中使用vue-video-player插件播放本地mp4视频文件

场景 若依前后端分离版手把手教你本地搭建环境并运行项目: 若依前后端分离版手把手教你本地搭建环境并运行项目_霸道流氓气质的博客-CSDN博客_前后端分离项目本地运行 在上面搭建项目的基础上,先实现了播放rtmp视频流 Vue中使用vue-video-player和vi…

Unity Animancer插件(一)基本使用

Animancer是什么?资源商店主页 一、快速播放 我们来通过Animancer实现一个最基本的动画播放效果。 首先创建一个脚本PlayAnimationOnEnable,编写如下代码 public AnimancerComponent animancer; public AnimationClip clip;private void OnEnable() …

pinia 持久化存储

pinia刷新数据持久化解决方案 无论是使用vuex 还是pinia都会面临一个问题:页面刷新,状态数据丢失的问题; 为了解决数据状态持久化问题,可以考虑使用插件 pinia-plugin-persistedstate 目录 安装pinia 并引入使用 npm install pin…

CCES软件如何来对ADI的SHARC DSP进行Flash的编程和烧写

如何做 Flash 烧写并实现脱机运行,其实我在之前的文章里有讲过,就可以用 Visual DSP来做,鼠标 点几下,非常简单。但是很多客户用的是 21569、21565这一类的SHARC DSP,不能再用 VDSP 来做烧写了,所以我想了 …

留学Essay写作怎么积累更多词汇量?

大部分留学生们都会感觉Essay挺难写作的,然而这其实是自身平时积累的不够多。当然,还有其他的正确方法!高分的Essay都是平时练习出来的,所以我们需要在平时多注意收集一些相关的写作知识。下面是一些常用的Essay写作词汇&#xff…

5 年经验年薪百万,一位阿里 P8 分享自己的成长干货

今天这篇文章,我前后读了 3 遍,主人公是阿里最年轻的 P8 之一,工作五年连升三级,他在一次采访中分享了自己的成长经历和职场心得,非常接地气,我们整理了 一下,真诚地推荐给每一个渴望成长和进步…

基于主成分分析的支持向量机入侵检测系统

基于主成分分析的支持向量机入侵检测系统学习目标:学习内容:A. 数据集分析B. 主成分分析 (PCA)--降维C. 支持向量机 (SVM)核函数数据集预处理--转换数据集预处理 --特征缩放算法过程核函数对比总结不足参考论文申明: 未经许可,禁止…

ESB产品Oracle数据库升级说明

ESB企业服务总线平台作为支撑企业综合集成的产品,在应用集成、数据集成、数据治理等解决方案都发挥着非常重要的作用。随着产品和解决方案的不断优化和升级,ESB企业服务总线平台功能需要逐步进行完善,不断提升产品功能的完备性、易用性和全面…

Github最新霸榜,Alibaba架构师手写的分布式系统核心原理手册

前言: 分布式的重要性就不需要我再强调了吧,它现在已经是大厂面试的“常驻嘉宾”了 前几天有粉丝在后台跟我吐槽:鑫哥,我觉得现在的风气真的变了,之前只觉得网上的情况是个例,结果自己就遇到了很多次&…

东方甄选、交个朋友迎头而上,云集不进则退

配图来自Canva可画 社交电商、会员电商、精选电商,多个定位描绘出云集的“求变史”。 2015年前后,社交电商概念崛起,拼多多靠“砍一刀”、“拼团”快速成长,云集也学着借助社交平台微信的传播途径,通过社交互动、用户…

【论文笔记】DEEP FEATURE SELECTION-AND-FUSION FOR RGB-D SEMANTIC SEGMENTATION

论文 题目:DEEP FEATURE SELECTION-AND-FUSION FOR RGB-D SEMANTIC SEGMENTATION 收录于:ICME 2021 论文:Deep Feature Selection-And-Fusion for RGB-D Semantic Segmentation | IEEE Conference Publication | IEEE Xplore [2105.04102]…

[附源码]Python计算机毕业设计Django学生宿舍维修管理系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

仿QQ音乐(HTML+CSS)

🎉精彩专栏推荐 💭文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 💂 作者主页: 【主页——🚀获取更多优质源码】 🎓 web前端期末大作业: 【📚毕设项目精品实战案例 (10…

[安装] Doris集群搭建环境

参考文献 参考链接 推荐指数 Doris集群安装部署(详细) [火][火][火][火][火] Doris学习笔记之数据表的创建 [火][火][火] doris官网0.15版本的安装部署 [火][火][火][火][火] Doris0.15升级到1.1.1 [火][火][火][火][火] [说明] Doris使用…

7个有用的Pandas显示选项

Pandas是一个在数据科学中常用的功能强大的Python库。它可以从各种来源加载和操作数据集。当使用Pandas时,默认选项就已经适合大多数人了。但是在某些情况下,我们可能希望更改所显示内容的格式。所以就需要使用Pandas的一些定制功能来帮助我们自定义内容…

Word控件Spire.Doc 【图像形状】教程(13): 如何在C#中对齐word文档上的形状

Spire.Doc for .NET是一款专门对 Word 文档进行操作的 .NET 类库。在于帮助开发人员无需安装 Microsoft Word情况下,轻松快捷高效地创建、编辑、转换和打印 Microsoft Word 文档。拥有近10年专业开发经验Spire系列办公文档开发工具,专注于创建、编辑、转…

poi-tl实现对Word模板中复杂表格的数据填充

文章目录前言what poi-tlwhy poi-tlHow poi-tl1. 版本问题2. 集成和使用3. SpringEL表达式总结前言 开发时, 我们有时需要进行word类型表格导出, 而对于表格操作. 我们一般可能会倾向于使用 poi 进行操作. 但poi操作比较复杂, 所以就在寻找一种可以快速将内容填充到表格中的工具…