1、Hadoop3.x 从入门到放弃,第一章:概念

news2024/11/18 14:45:11

Hadoop3.x从入门到放弃,第一章:概念

一、什么是大数据

1、主要解决什么

大数据主要解决:海量数据的“采集”、“存储” 和 "分析计算" 问题

2、大数据特点

1> Volume 大量
2> velocity 高速
3> variety 多样性
     数据分为"结构化数据" 和 "非结构化数据"。结构化数据:数据库/文本为主的数据; 
     非结构化数据:网络日志、音频、视频、图像、地理位置信息等等
4> value 低价值密度
     如何快速对有价值的数据“提纯”成为目前大数据北京下待解决的难题

3、应用场景

一、金融行业
在金融行业,大数据广泛利用,典型例子如利用客户的点击数据集来给客户量身定制服务等。

二、医疗行业
医疗行业坐拥大量的病例、病理报告、医疗方案、药物报告等。对这些数据进行有效的整理和分析,将会给医生和病人带来极大的帮助。在未来,借助大数据平台,
医疗行业可以更系统、更完全地搜集疾病的基本特点、患者病历和医治方案等,建立起来针对各种疾病的数据库,最大限度地帮助医生进行疾病诊断。

三、农牧行业
农牧产品最大的困难就是不容易保存,因此公道地管控种植和养殖农牧产品对农、牧民来讲非常重要。ZF可以借助大数据提供的消费能力和趋势报告,
来为农牧行业生产进行公道引导,根据需求最大化进行生产,以避免产能多余而造成资源和社会财富的浪费。借助大数据技术支持,可以实现农业的精细化
管理和科学决策。具体操作:在大数据技术驱动下,结合无人机技术,农民就可以够全面、快速地搜集农产品生长和病虫害等信息。

四、零售行业
大数据在零售行业的租用主要体现在:零售行业可以通过往客户的购买记录,了解客户们的购买喜好,从而将客户喜欢的,相干的产品放到1起来增加产品销售额。

五、制造业
利用工业大数据提升制造业水平,包括产品故障诊断与预测、分析工艺流程、改进生产工艺,优化生产过程能耗、工业供应链分析与优化、生产计划与排程;

六、汽车行业
利用大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活;

七、互联网行业
借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放;

八、电信行业
利用大数据技术实现客户离网分析,及时掌握客户离网倾向,出台客户挽留措施;

九、能源行业
随着智能电网的发展,电力公司可以掌握海量的用户用电信息,利用大数据技术分析用户用电模式,可以改进电网运行,
合理设计电力需求响应系统,确保电网运行安全;

十、物流行业
利用大数据优化物流网络,提高物流效率,降低物流成本;

十一、城市管理
可以利用大数据实现智能交通、环保监测、城市规划和智能安防;

十二、体育娱乐
大数据可以帮助我们训练球队,决定投拍哪种题材的影视作品,以及预测比赛结果;


二、大数据技术生态体系

三、Hadoop各版本组成

四、Hadoop概述

1、HDFS

2、YARN

3、MapReduce

4、三者关系

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/813794.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

高通死机分析-工具

为了方便高通稳定性领域分析9008以及死机问题,特此写此工具,方便大家分析死机问题,此工具还待完善,后续将发布,有兴趣请联系2251858097qq.com

matlab进阶:求解在约束条件下的多元目标函数最值(fmincon函数详解)

🌅*🔹** φ(゜▽゜*)♪ **🔹*🌅 欢迎来到馒头侠的博客,该类目主要讲数学建模的知识,大家一起学习,联系最后的横幅! 喜欢的朋友可以关注下,私信下次更新不迷路&#xff0…

【C#教程】零基础从入门到精通

今天给大家分享一套零基础从入门到精通:.NetCore/C#视频教程;这是2022年最新整理的、590G的开发教程资料。课程涵盖了.Net各方面的知识,跟着这个教程学习,就足够了。 课程分类 1、C#从基础到精通教程; 2、Winform从…

6.生成随机数、猜数字游戏(rand函数、srand函数、time函数)

猜数字游戏 1.生成随机数1.1 rand函数1.2 srand函数1.3 time函数1.4 设置随机数的范围 2.猜数字游戏 1.生成随机数 1.1 rand函数 函数原型如下: int rand(void); 所需头文件:stdlib.h 作用:调用后随机返回一个伪随机数,随机数范…

QtXlsx: no such file or directory

Qt项目,引用了QtXlsx,准备运行,提示报错: QtXlsx: No such file or directory 奇怪。按理说,安装QtXlsx的三个步骤都已经执行成功了: qmake make make install 把生成的so库文件拷贝到相关目录也是无效。…

解决PicGo上传图片失败错误信息和上传图片失败包404错误以及Typora怎么一键导入本地图片到PicGo

😀前言 解决PicGo上传图片失败错误信息和上传图片失败包404错误以及Typora怎么一键导入本地图片到PicGo 🏠个人主页:尘觉主页 🧑个人简介:大家好,我是尘觉,希望我的文章可以帮助到大家&#x…

c++ 的reinterpret_cast 与const_cast 类型转换举例

(1)const_cast 转换,可以使得给常量赋值。reinterpret_cast 转换,可以把一种类型转换为无关的另一种类型。 图中给出了一个例子。成功给指针 p 写进去了内容。先去除指针p 的常量属性,再把p这个变量当成 B 类型的变量…

C语言之#define以及预处理详讲解

目录 #define #define的使用方法 #define 替换规则 #和##的作用 带副作用的宏参数 宏和函数对比 #undef 文件包含 头文件被包含的方式: 嵌套文件包含 在C语言中,一段程序运行时会执行四个步骤:预编译、编译、汇编、链接。在程序预编…

初学者如何选择自己的第一种编程语言?

听人劝、吃饱饭,奉劝各位小伙伴,不要订阅该文所属专栏。 作者:不渴望力量的哈士奇(哈哥),十余年工作经验, 跨域学习者,从事过全栈研发、产品经理等工作,现任研发部门 CTO 。荣誉:2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师,“星荐官共赢计…

Just Mask and Sum 手搓 自然语言模型

背景 在这个每天都能看到,各种新LLM论文,出现的今天,大家讨论的都是如何将transformer ,或者说是将attention 进行线性化。 很少有人讨论,注意力机制是必要的吗(attention is must)?…

CentOS 7.6使用yum安装stress,源码安装stree-ng 0.15.06,源码安装sysstat 12.7.2

cat /etc/redhat-release看到操作系统的版本是CentOS Linux release 7.6.1810 (Core),uname -r可以看到内核版本是3.10.0-957.21.3.el7.x86_64 yum install stress sysstat -y安装stress和sysstat。 使用pidstat -u 5 1没有%wait项: 原因是CentOS 7仓…

数电模电基础知识学习笔记汇总

文章目录: 数电和模电的关系 一:模电学习笔记 二:数电学习笔记 三:福利 1.NI Multisim14.0电路仿真软件的下载安装 2.进制转换 3.电路常用公式 4.好的参考笔记 4.1 笔记 3.1.1 模电 3.1.1 数电 4.2 网站 5.八股文 …

LeetCode130.Surrounded-Regions<被围绕的区域>

题目:被围绕的区域 思路: 好吧,这题不会。 bfs递归 dfs非递归 dfs并查集 - 被围绕的区域 - 力扣(LeetCode) 将问题转化为与边界O相连的O。有点像岛屿问题了。 代码是: //codeclass Solution { public:vo…

【ARM】内核驱动之设备树的学习-长文

❤️作者主页:凉开水白菜 ❤️作者简介:共同学习,互相监督,热于分享,多加讨论,一起进步! ❤️点赞 👍 收藏 ⭐再看,养成习惯 订阅的粉丝可通过PC端文末加我微信,可对文章的内容进行一对一答疑! 文章目录 一、什么是设备树,为什么叫设备树?二、如何编译设备树?三、…

妙用指针实现qsort

妙用指针实现qsort qsort是什么qsort代码使用例子冒泡排序引言冒泡排序模拟qsort函数 qsort是什么 是一个可以对任意类型进行排序的函数 函数为: void qsort(void *base,size_t nmemb,size_t size,int (*compar)(const void *, const void *));参数解释 参数base …

【数据结构与算法】基数排序

基数排序 基数排序(Radix Sort)属于“分配式排序”,又称“桶子法”或 bin sort,顾名思义,它是通过键值的各个位的值,将要排序的元素分配至某些“桶”中,达到排序的作用。基数排序法是属于稳定性…

学C的第三十一天【通讯录的实现】

相关代码gitee自取:C语言学习日记: 加油努力 (gitee.com) 接上期: 学C的第三十天【自定义类型:结构体、枚举、联合】_高高的胖子的博客-CSDN博客 通讯录需求: 实现一个通讯录, 通讯录中存放保存人的信息&#xff1…

【WebGL】初探WebGL,我了解到这些

WebGL(Web图形库)是一种强大的技术,允许您在Web浏览器中直接创建交互式的3D图形和动画。它利用现代图形硬件的能力来呈现令人惊叹的视觉效果,使其成为Web开发人员和计算机图形爱好者必备的技能。 WebGL基础知识 WebGL基于OpenGL …

1.3 eureka+ribbon,完成服务注册与调用,负载均衡源码追踪

本篇继先前发布的1.2 eureka注册中心,完成服务注册的内容。 目录 环境搭建 采用eurekaribbon的方式,对多个user服务发送请求,并实现负载均衡 负载均衡原理 负载均衡源码追踪 负载均衡策略 如何选择负载均衡策略? 饥饿加载…

数据结构07:查找[C++][线性查找]

图源:文心一言 考研笔记整理~🥝🥝 在数据结构和算法中,查找是一种常见的操作,它的目的是在一个数据集合中找到一个满足条件的元素。本文将介绍三种常用的查找方法,分别是顺序查找、折半查找和分块查找~&a…