数据科学领域概述

数据如何驱动运营给企业带来价值

1. 原始收集数据
   数据埋点（数据埋点的意思就是用户使用的时候我们采集数据的地方，比如用户鼠标悬停在某张图片的时间，这就可以当作一个数据埋点）收集用户在网页端，APP，小程序等终端的各种数据
   业务数据
   外部数据
2. 数据加工处理
   将收集的数据转换成可理解、可量化、可观察的业务指标
   单纯的数据没有意义，只有和业务结合才能发挥价值
3. 数据可视化
   有了数据指标，必须管理好指标
   建立指标体系
4. 数据决策和执行
   从数据中得到相关信息，需要把这些信息转换成策略
   包括策略制定，并持续优化和改进策略
5. 数据产品
   将策略制作成数据应用和产品
   开始自动化和系统化运营
6. 数据战略
   积累了大量数据，大量模型，大量数据应用
   不只是数据分析，可以将数据变现

岗位

一般存在下面三种岗位：

1. 业务线 数据分析
2. 研发线 数据仓库（数据仓库是完全为数据分析人员服务的一个数据库，存储的数据，用户行为路径，新增用户数等）
3. 算法线 数据挖掘（相对于数据分析，需要建模，模型的目的是做预测）

关键词说明

1. ETL 清洗 转换 加载
2. DW 数据仓库
3. CRM 客户关系管理
4. CMS:Content Management System "内容管理系统
5. KPI 绩效

业务的商业模式

1. B2C ： 面向客户的商业模式（比如游戏）
2. B2B ： 面向企业的商业模式（比如淘宝，实际上就是向商家收钱）
3. B2B2C：面向企业也面向客户的商业模式（比如京东）
4. B2VC：这种就是拿投资人的钱（吐槽的hh）

数据指标

数据指标定义及常用数据指标

1. 数据指标的定义：对当前业务有参考价值的可统计数据

2. 常用的数据指标
   用户数据 谁
   行为数据 干了什么
   业务数据 产生了什么结果

3. 用户数据
   存量 DAU、MAU
   增量 新增用户
   健康程度 留存率
   从哪儿来 渠道来源
   搜索引擎推广 SEO
   Rom 推广
   app 商店（自然流量 也可以推广）
   手机厂商预装
   其它产品挂下载链接
   扫码

4. 行为数据
   次数、频率 PV UV 访问深度
   关键路径走了多远 转化率
   行为做了多久 时长
   质量 弹出率(跳出率)

5. 业务数据
   总量 GMV 访问时长
   人均 ARPU AverageRevenuePerUser 每用户平均收入 人均访问时长
   ARPPU Average Revenue Per Paying User 每付费用户平均收益
   人数 付费人数 播放人数
   健康程度 付费率 付费频次 观看率
   被消费对象 SKU 被消费内容

如何选取指标

最终目的出发 梳理业务模块 -> 判断业务模块类型->根据业务模块类型选择
数据指标：

如何梳理业务模块

1. 目的 比如我要卖货
2. 实现目的的方法 我通过文章来卖货（如何搞大/搞频繁(手段)）
3. 方法需要的工具 通过社区创作文章来卖货，我提供一个制作精美图文的工具
4. 实现方法的途径

业务模块：

根据业务模块选择数据指标

1. 工具模块：效率
2. 内容浏览模块：质和量
3. 交易模块：转化率
4. 社区模块：活跃度

分析角度

计数

计数阶段：

可以使用 goaccess 这款工具简单的来统计

通过脚本与代码统计日志
通过 BI 工具进行基本的分析
通过 awk 工具去搞，外加 uniq 去重，wc 去统计

awk '{print $1}' access.log|sort|uniq|wc -l

使用awk 计算pv（总点击量，直接wc -l access.log就是计算总点击量） ，uv（人访问量，上面的代码就是统计每ip访问量）

流量导向的工具

解决的问题
流量依赖性业务,如电商,或者一锤子买卖
优势
能将流量入口分析得较为细致

内容导向的工具

解决的问题
哪些资源被消费
被消费的情况如何
内容表现质量如何
解决的问题
以内容为核心资源的,如媒体、视频网站

优势
能从内容的视角描述其表现

用户导向的工具

解决的问题
用户来了干什么?
用户还会不会再来?
用户在哪流失了?
用户都是啥样的?

Mixpanel 工具
Inspectlet 工具 —通过录制屏幕的行为 还原用户的行为

业务导向的工具

解决的问题
流程是否顺畅?
规模/频次如何?
异常原因何在?

这里可以看下神策数据的，能进入这家公司挺好的。

数据分析方法

对比分析

如何进行对比分析：
事出反常必有妖，不论增减，只要用户不正常上升下降都需要对比

对比分析比什么：

1. 绝对值
   本身具备价值的数字
   销售金额
   阅读数 微信的 10 万+
2. 比例值
   在具体环境中看比例，才具备对比价值
   活跃占比
   注册转化率
3. 绝对值
   不易得知内在问题，比例值，易收到极端值影响 2%~4%怎么比
4. 环比 7 号 6 号 5 号 7 月 6 月 5 月
   对短期内具备连续性的数据进行分析
5. 同比 今年国庆销售额 去年国庆销售额
   观察更为长期的数据集
   观察的时间周期里有较多干扰，希望某种程度上消除这些干扰
6. 和自己比
   从时间维度 环比|同比
7. 从不同业务线
8. 从过往经验估计
9. 和同行业比：是自身因素还是行业趋势

多维分析

例子：

公司做了微博大 V 推广，想看情况

基本思路：
数据怎么样
有 XX 人启动过
APP 关键功能使用率 XXX%
日活和留存是

思路流程：
APP 启动 按设备 iPhone 美图手机比较多 符合产品定位
APP 启动 按来源 用户因 PUSH 下发进入 APP 比较多
APP 启动 按城市等级查看 发现一线城市用户比较多
运营能力有限只有北上广深有推送，因此打开几率大
APP 启动 按新老用户查看 日活量整体变化不大，老用户占比下降，新用户占比上升，留不住用户。

多维分析就是将一个事件分解成多个小的事件，然后逐层去分析讨论

漏斗分析

运作原理
通过一连串向后影响的用户行为来观察目标

适用场景
适用： 有明确的业务流程和业务目标
不太适用：没有明确的流程，跳转关系复杂

漏斗分析就是归结原因，比如我要分析这个软件为什么没人用，第一层宣传是否到位，宣传到位了，再分析安装是否到位，注册是否到位，等等有一系列的时间顺序下去的流程。和多维分析需要区分开

留存分析

验证产品长期价值可以看月留存，将某一时间段的用户 ID 与另一交叉去重。

随着产品不断的优化，月留存是不断增长的

看日留存会数据量特别多，观察重点不知道放在哪里，而一个月我们产品一个迭代，发一个新版本

一般的计算方式 看大盘可能不准，产品 运营 技术 市场每个环节可能都会对留存造成影响，比如搞活动，引入了一个低质量的渠道，造成留存大跌，因为低质量渠道进来的都是垃圾用户，因此需要看精准留存

精准留存
过滤进行过指定行为的用户 ID，再计算
将用户分为不同的群体后，观察之前留存的区别

总结

数据分析基础阶段

数据分析指标：

跳过率就是跳出率
GMV：总的访问时长
ARPU：每用户平均访问时长
ARPPU：每付费用户平均访问时长
SKU：品类的数量

四个模块：

转化率就是详情页转化率，就是点击那个详情页占比总点进list页面的比率（就是商品更吸引人）。

分析工具：

数据分析方法：
还是注意多维分析和漏斗分析的区别

用户画像

用户画像：通过对用户各类特征进行标识给用户贴上各类标签，通过这些标签将用户分为不同的群体，以便对不同的群体分别进行产品/运营动作用途。

标签有什么

基础属性

1. 年龄
2. 性别
3. 生日
4. 星座
5. 教育
6. 身高
7. 收入
8. 职业

社会关系

1. 婚姻
2. 有无小孩
3. 有无女孩
4. 家有老人
5. 性取向

行为特征

1. 基本行为
2. 注册时间
3. 来源渠道
4. 业务行为
5. 买过特惠商品

业务相关—比如是健身类的产品，就会有下面的业务指标

1. 胖瘦高矮
2. 体脂率
3. 在练胸
4. 日均 8000 步
5. 收藏了 100+份健身计划

如何获得标签

1. 用户直接填写
   就是用户注册的账号的信息。
2. 通过用户的行为进行推测
   比如这个用户他购买的物品寄到北京，那么大概率他的地址就在北京，这样子。
3. 通过用户身边的人推断
   距离相近：某些属性,周围的人都具备,用户大概率也具备，例如大学区域。
   行为相似：通过协同过滤,找到行为相似的目标用户，对用户进行分群。

用户画像用于做什么

1. 从现有用户中找到我们真正的用户
   真正的用户（高留存. 核心行为频次、完成率高）
2. 找到「真正的用户」的特征
   比如卖书的平台，假如是二手书的交易
   例:通过他们买卖的书籍，
   倒推他们的年龄、受教育程度、地域、消费能力。
   从哪儿来
   例:通过电话访谈等方式,发现很多来自朋友推荐。
   例如，本科，18-30 岁，一线城市，朋友推荐

思考问题的方法

归因查找

找出事件发生的「主要原因」

1. 末次归因转化路径短,且事件间关联性强的场景（添加好友是因为什么）比如交友软件，通过漂流瓶，附件的人，摇一摇，或者随机推荐好友
2. 递减归因转化路径长,非目标事件差异不大,没有完全主导的假如是一个时间管理工具，某一个买了 VIP 没有广告了，不能看这一刻和刚刚用的功能有什么关系，我们可以归为 6,3,1 比例
3. 首次归因强流量依赖的业务场景,拉人比后续所有事都重要

路径挖掘

因为所有的行为都是漏斗过程，路径挖掘分析法的运作原理：逐级展开某一事件的前一级（后一级）事件，观察其流向。

行为序列

上面我们聊了路径挖掘分析法，大家可能会说，我们有了路径挖掘模型之后，单个用户的行为序列还有什么意义呢，其实单个用户的行为序列能让我们回归具体的业务场景，发现隐藏在统计数据下被统计数据抹平了细节的更真实的业务场景。其实，路径挖掘分析法有它的局限性，它只是把一群人放到这个路径里进行分析，它反应的是一群人的趋势，但是对于单个用户来讲，趋势肯定是不一样的，所以这时我们就需要运用到行为序列分析法（追求个性化）。行为序列分析法的运作原理：将单个用户的所有行为以时间线的形式进行排列。