一、项目需求

1.用户行为数据采集平台搭建

2.业务数据采集平台搭建

3.数仓维度建模

4.统计指标

5.即席查询工具，随时进行指标分析

6.对集群性能进行监控，发生异常时报警（第三方信息）

7.元数据管理

8.质量监控

9.权限管理（表级别、字段级别）

 二、技术选型

数据量大小、业务需求、行内经验、技术成熟度、开发维护成本、总成本预算

数据采集传输：Flume、Kafka、Sqoop、Logstash(日志采集)、DataX

数据存储：MySQL(ADS层)、HDFS、HBase、Redis、MongoDB

数据计算：Hive、Tez、Spark、Flink、Storm

数据查询：Presto、Kylin、Impala、Druid、ClickHouse、Doris

数据可视化：ECharts、Superset（开源免费）、QuickBI（离线）、DATAV（实时）（阿里产品）

任务调度：Azkaban、Oozie、DolphinScheduler、Airflow

集群监控：Zabbix（离线）、Prometheus（实时）

元数据管理：Atlas

权限管理：Ranger、Sentry（Apache已将其除名）

 三、系统数据流程处理

Nginx：负载均衡，主要负责使每个服务器上面的数据保持平衡

主要分为业务数据 和用户行为数据

业务数据存储在MySQL，通过Sqoop将数据同步到集群

用户行为数据主要来源于前端埋点，数据以文件的形式存放，通过Flume将日志文件采集到Kafka（避免直接采集，防止数据量过大，消峰），再通过Flume将数据同步到集群，通过HIVE On Spark对数据进行存储、清洗、转换等操作，将数据分为ODS数据原始层、DWD数据明细层、DWS数据服务层、DWT数据主题层、ADS数据应用层

ADS层数据再通过Sqoop同步到MySQL进行可视化分析展示（Superset）

在计算过程中可通过Presto对DWD，DWS，DWT层数据进行即席查询

通过Kylin可对DWD层数据进行多维分析，结果可存储到HBase

定时任务调度工具可使用Azkaban

元数据管理使用Atlas

权限管理使用Ranger

数据质量管理使用Python+Shell

集群监控使用Zabbix

四、框架发行版本选择以及集群规模

Apache  开源免费

云服务器：阿里云EMR

                  亚马逊云EMR        

                  腾讯云EMR

                  华为云EMR

物理机或者云服务器的选择主要根据公司需求来选择

物理机：场地、电费、机器维护，后期服务器运维等费用高，安全性也相对高

云服务器：成本高，但后期维护比较省事，安全性相对物理机来说低

如何购买服务器？

日活 100万 * 一人平均100条 * 日志大小1K * 半年不扩容 * 180 * 三个副本3 * 预留20%~30%Buf = 77T

再考虑到数仓分层，数据压缩等

集群资源规划设计

生产集群 原则：

消耗内存的分开

数据传输紧密地放在一起

客户端尽量放在一台服务器上，方便外部访问（数据安全性）

有依赖关系的尽量放在一台服务器上

测试集群：