01 大数据概述
1、大数据:
主要用来解决海量数据的存储和海量数据的分析计算问题。
2、大数据的特点:
- 大量(Volume):一些大企业的数据量已经接近EB量级。
- 高速(Velocity): 随着数据量的增大,处理数据的效率变得尤为重要。
- 多样(Variety): 除了以数据库/文本为主的结构化数据,非结构化数据也越来越多,包括日志、音频、视频、图片、地理位置信息等。
- 低价值密度(Value): 在大数据背景下,如何快速对有价值的数据进行提纯成为亟待解决的问题。
3、大数据应用场景:
- 零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。
- 广告推荐: 给用户推送可能喜欢的商品。
- 金融:多维度体现用户特征,帮助金融机构推荐优质客户,防范欺诈风险。
4、大数据部门组织架构:
平台组:
- Hadoop、Flume、Kafka、HBase、Spark等框架平台搭建
- 集群性能监控
- 集群性能调优
数据仓库组:
- ETL工程师(数据清洗)
- 数据分析、数据仓库建模
实时组: 实时指标分析,性能调优
数据挖掘组:
- 算法工程师
- 推荐系统工程师
- 用户画像工程师
报表开发组:
- JavaEE工程师
- 前端工程师