Hadoop3.x从入门到放弃,第一章:概念
一、什么是大数据
1、主要解决什么
大数据主要解决:海量数据的“采集”、“存储” 和 "分析计算" 问题
2、大数据特点
1> Volume 大量
2> velocity 高速
3> variety 多样性
数据分为"结构化数据" 和 "非结构化数据"。结构化数据:数据库/文本为主的数据;
非结构化数据:网络日志、音频、视频、图像、地理位置信息等等
4> value 低价值密度
如何快速对有价值的数据“提纯”成为目前大数据北京下待解决的难题
3、应用场景
一、金融行业
在金融行业,大数据广泛利用,典型例子如利用客户的点击数据集来给客户量身定制服务等。
二、医疗行业
医疗行业坐拥大量的病例、病理报告、医疗方案、药物报告等。对这些数据进行有效的整理和分析,将会给医生和病人带来极大的帮助。在未来,借助大数据平台,
医疗行业可以更系统、更完全地搜集疾病的基本特点、患者病历和医治方案等,建立起来针对各种疾病的数据库,最大限度地帮助医生进行疾病诊断。
三、农牧行业
农牧产品最大的困难就是不容易保存,因此公道地管控种植和养殖农牧产品对农、牧民来讲非常重要。ZF可以借助大数据提供的消费能力和趋势报告,
来为农牧行业生产进行公道引导,根据需求最大化进行生产,以避免产能多余而造成资源和社会财富的浪费。借助大数据技术支持,可以实现农业的精细化
管理和科学决策。具体操作:在大数据技术驱动下,结合无人机技术,农民就可以够全面、快速地搜集农产品生长和病虫害等信息。
四、零售行业
大数据在零售行业的租用主要体现在:零售行业可以通过往客户的购买记录,了解客户们的购买喜好,从而将客户喜欢的,相干的产品放到1起来增加产品销售额。
五、制造业
利用工业大数据提升制造业水平,包括产品故障诊断与预测、分析工艺流程、改进生产工艺,优化生产过程能耗、工业供应链分析与优化、生产计划与排程;
六、汽车行业
利用大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活;
七、互联网行业
借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放;
八、电信行业
利用大数据技术实现客户离网分析,及时掌握客户离网倾向,出台客户挽留措施;
九、能源行业
随着智能电网的发展,电力公司可以掌握海量的用户用电信息,利用大数据技术分析用户用电模式,可以改进电网运行,
合理设计电力需求响应系统,确保电网运行安全;
十、物流行业
利用大数据优化物流网络,提高物流效率,降低物流成本;
十一、城市管理
可以利用大数据实现智能交通、环保监测、城市规划和智能安防;
十二、体育娱乐
大数据可以帮助我们训练球队,决定投拍哪种题材的影视作品,以及预测比赛结果;
二、大数据技术生态体系
三、Hadoop各版本组成
四、Hadoop概述
1、HDFS
2、YARN
3、MapReduce
4、三者关系