【i阿极送书——第三期】《Hadoop大数据技术基础与应用》

news2024/12/23 12:23:57

在这里插入图片描述

系列文章目录

作者:i阿极

作者简介:Python领域新星作者、多项比赛获奖者:博主个人首页

😊😊😊如果觉得文章不错或能帮助到你学习,可以点赞👍收藏📁评论📒+关注哦!👍👍👍

📜📜📜如果有小伙伴需要数据集和学习交流,文章下方有交流学习区!一起学习进步!💪


文章目录

  • 系列文章目录
  • 1、好书推荐
  • 2、内容简介
  • 3、目录
  • 4、章节介绍
  • 5、活动

1、好书推荐

在这里插入图片描述
在这里插入图片描述

2、内容简介

本书由浅入深地介绍了Hadoop技术生态的重要组件,让读者能够系统地了解大数据相关技术。第1章主要从整体上介绍了Hadoop大数据技术,并搭建Hadoop运行环境。第2~5章着重介绍了Hadoop核心技术,包括Hadoop分布式文件系统(HDFS)、Hadoop资源管理系统(YARN)、Hadoop分布式计算框架(MapReduce)以及ZooKeeper分布式协调服务。第6章重点介绍了Hadoop分布式集群的搭建以及集群的运维与管理。第7~8章详细介绍了Hive数据仓库和HBase分布式数据库等Hadoop的上层技术组件。第9章介绍了
Hadoop生态圈其他常用开发技术。第10~11章是项目实战,分别介绍了互联网金融项目离线分析、互联网直播项目实时分析。
本书采用理论知识和实战项目相结合的方式,突出实战,非常适合Hadoop 初学者及开发者阅读。本书既可以作为高等院校数据科学与大数据技术及相关专业的教材,也可以作为大数据工程师的必备开发手册。

3、目录

前言
第1章 Hadoop技术概述1
1.1 Hadoop的前世今生1
1.1.1 Hadoop概述1
1.1.2 Hadoop项目起源1
1.1.3 Hadoop发展历程2
1.1.4 Hadoop名字起源2
1.2 Hadoop生态系统简介2
1.3 Hadoop的优势及应用领域4
1.3.1 Hadoop的优势4
1.3.2 Hadoop的应用领域4
1.4 Hadoop与云计算5
1.4.1 云计算的概念及特点5
1.4.2 Hadoop与云计算的关系6
1.5 Hadoop与Spark6
1.5.1 Spark的概念及特点6
1.5.2 Hadoop与Spark的关系7
1.6 Hadoop与传统关系型数据库7
1.6.1 RDBMS的概念及特点7
1.6.2 Hadoop与RDBMS的关系8
1.7 案例实践:搭建Hadoop运行环境8
1.7.1 搭建IDEA开发环境9
1.7.2 搭建Linux虚拟机11
1.7.3 搭建Hadoop伪分布式集群环境15
1.8 本章小结21
1.9 习题21

第11章 项目实战—互联网直播项目实时分析248
11.1 项目需求分析248
11.2 系统架构设计248
11.3 数据流程设计249
11.4 系统集群规划249
11.5 项目开发步骤250
11.5.1 模拟实时产生数据250
11.5.2 MySQL建表存储统计结果252
11.5.3 Flink Streaming业务代码实现252
11.5.4 打通互联网直播项目整个流程254
11.5.5 Davinci数据可视化分析256
11.6 本章小结256
参考文献257

4、章节介绍

本书共11章。

  • 第1章是Hadoop技术概述,首先介绍了Hadoop的前世今生、Hadoop生态系统、Hadoop的优势及应用领域、Hadoop技术与其他技术之间的关系,让读者对Hadoop大数据技术有个整体的认识。然后详细介绍了如何搭建Hadoop运行环境,为后续章节的学习做好铺垫。
  • 第2章是Hadoop分布式文件系统(HDFS),首先介绍了HDFS的架构设计与工作原理、高可用、联邦机制以及Shell操作,然后通过一个案例实践详细介绍了如何将文件定时上传至HDFS。
  • 第3章是Hadoop资源管理系统(YARN),首先介绍了YARN的架构设计与工作原理、MapReduce On YARN的工作流程以及YARN的容错性、高可用与调度器,然后通过一个案例实践详细介绍了YARN调度器的配置与使用。
  • 第4章是Hadoop分布式计算框架(MapReduce),首先介绍了MapReduce的设计思想、优缺点等,然后重点介绍了MapReduce的编程模型与运行机制,最后以气象大数据离线分析项目为例详细介绍了MapReduce项目的完整开发流程。
  • 第5章是ZooKeeper分布式协调服务,首先介绍了ZooKeeper架构设计与工作原理、集群安装部署以及Shell操作,然后以爬虫项目为例详细介绍了ZooKeeper对分布式应用的监控。
  • 第6章是Hadoop分布式集群搭建与管理,首先介绍了集群规划、HDFS和YARN的分布式
    集群搭建,然后介绍了Hadoop集群的管理经验及运维技巧,最后通过案例实践介绍了Hadoop集群动态扩缩容。
  • 第7章是Hive数据仓库工具,首先介绍了Hive原理及架构、安装部署以及详细使用,然后以B站用户行为大数据项目为例详细介绍了如何使用Hive进行离线分析。
  • 第8章是HBase分布式数据库,首先介绍了HBase模型及架构、分布式集群安装部署、Shell操作以及Java客户端,最后通过一个案例实践详细介绍了MapReduce批量写入 HBase。
  • 第9章是Hadoop生态圈其他常用开发技术,首先介绍了Sqoop和Flume数据采集技术,然后介绍了Kafka数据存储与交换技术,接着介绍了Spark和Flink数据处理技术,最后介绍了Davinci可视化技术。每种技术都结合了具体案例实践来介绍,让读者掌握技术理论的同时,更注重项目实践能力。
  • 第10章是项目实战—互联网金融项目离线分析,首先介绍了项目需求、系统架构设计、数据流程设计、系统集群规划,然后按照大数据离线项目流程详细介绍了互联网金融项目的完整开发过程;实现从数据采集到数据可视化这种端到端的项目开发流程,使读者真正掌握大数据技术组件在离线项目中的应用。
  • 第11章是项目实战—互联网直播项目实时分析,首先介绍了项目需求、系统架构设计、数据流程设计、系统集群规划,然后按照大数据实时项目流程详细介绍了互联网直播项目的完整开发过程;实现从数据采集到数据可视化这种端到端的项目开发流程,使读者真正掌握大数据技术组件在实时项目中的应用。

5、活动

🎉本次送 3本书 ,评论区抽3位小伙伴送书
🎉活动时间:截止到 2023-06-09 14:00:00
🎉抽奖方式:利用爬虫进行随机抽奖。
🎉参与方式:关注博主、点赞、收藏,评论区评论 “一天当两天卷!
ps:一定要关注博主,不然中奖后将无效
🎉通知方式:通过动态与私信与本文最后同时公布

🎉感兴趣的小伙伴也可以访问下面的链接了解详情:
618京东【7.9折】https://item.jd.com/13427329.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/600497.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

病毒分析丨一款注入病毒

作者丨黑蛋 一、病毒简介 SHA256: de2a83f256ef821a5e9a806254bf77e4508eb5137c70ee55ec94695029f80e45 MD5: 6e4b0a001c493f0fcf8c5e9020958f38 SHA1: bea213f1c932455aee8ff6fde346b1d1960d57ff 云沙箱检测: 二、环境准备 系统 Win7x86Sp1 三、行为监控 打开…

基于GD32开发板的GPS定位模块的使用操作

基于上一章的介绍,本章将介绍如何基于gd32开发板使用gps定位模块。 一、官方代码分析 正点原子的官方测试例程,测试代码的逻辑还是比较简单的,主要就是先调用函数atk_mo1218_init()进行初始化,接着就调用 SkyTraq binary 协议的 A…

mac host学习

参考: SSH中known_hosts文件作用和常见问题及解决方法 https://blog.csdn.net/luduoyuan/article/details/130070120在 Mac 上更改 DNS 设置 https://support.apple.com/zh-cn/guide/mac-help/mh14127/mac mac中有时候你输入的域名,但会跳转到与期望ip不…

Arduino UNO用L9110 电机驱动模块驱动两个直流电机

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 一、简介二、工作原理三、使用前准备四、测试方法五、实验现象 一、简介 L9110电机驱动模块采用推挽式功率放大,设有固定安装孔,适合组装&a…

Linux常用命令——grub命令

在线Linux命令查询工具 grub 多重引导程序grub的命令行shell工具 补充说明 grub命令是多重引导程序grub的命令行shell工具。 语法 grub(选项)选项 --batch&#xff1a;打开批处理模式&#xff1b; --boot-drive<驱动器>&#xff1a;指定stage2的引导驱动器&#x…

霸榜第一框架:工业检测,基于差异和共性的半监督方法用于图像表面缺陷检测...

关注并星标 从此不迷路 计算机视觉研究院 公众号ID&#xff5c;ComputerVisionGzq 学习群&#xff5c;扫码在主页获取加入方式 论文地址&#xff1a;https://arxiv.org/ftp/arxiv/papers/2205/2205.00908.pdf 链接: https://pan.baidu.com/s/1ar2BN1p2jJ-cZx1J5dGRLg 密码: 2l…

Learn From Microsoft Build Ⅲ:低代码

点击蓝字 关注我们 编辑&#xff1a;Alan Wang 排版&#xff1a;Rani Sun 微软 Reactor 为帮助广开发者&#xff0c;技术爱好者&#xff0c;更好的学习 .NET Core, C#, Python&#xff0c;数据科学&#xff0c;机器学习&#xff0c;AI&#xff0c;区块链, IoT 等技术&#xff0…

使用神经网络合成数据生成技术实现电力系统无人机自动巡检

使用神经网络合成数据生成技术实现电力系统无人机自动巡检 美国能源公司 Exelon 正在利用神经网络合成数据生成技术&#xff0c;为电力系统无人机自动巡检项目提供支持。这一技术有助于提高巡检效率和准确性&#xff0c;降低人力和时间成本。 1. 电力系统巡检的挑战 电力系统…

基于知识图谱表示学习的谣言早期检测方法

源自&#xff1a;电子学报 作者&#xff1a;皮德常 吴致远 曹建军 摘 要 社交网络谣言是严重危害社会安全的一个重要问题.目前的谣言检测方法基本上都依赖用户评论数据.为了获取可供模型训练的足量评论数据&#xff0c;需要任由谣言在社交平台上传播一段时间&#xff0c;这…

手机安卓Termux安装MySQL数据库【公网远程数据库】

文章目录 前言1.安装MariaDB2.安装cpolar内网穿透工具3. 创建安全隧道映射mysql4. 公网远程连接5. 固定远程连接地址 转载自cpolar极点云的文章&#xff1a;Android Termux安装MySQL数据库 | 公网安全远程连接【Cpolar内网穿透】 前言 Android作为移动设备&#xff0c;尽管最初…

Android 和 ktor 的 HTTP 块请求

Android 和 ktor 的 HTTP 块请求 在这篇非常短的文章中&#xff0c;我将简要解释什么是块或流式 HTTP 请求&#xff0c;使用它有什么好处&#xff0c;以及它在 Android 中的工作原理。 Android 应用程序使用 HTTP 请求从后端下载数据。此信息在应用程序上存储和处理以使其正常…

计算机内存取证之BitLocker恢复密钥提取还原

BitLocker是微软Windows自带的用于加密磁盘分卷的技术。 通常&#xff0c;解开后的加密卷通过Windows自带的命令工具“manage-bde”可以查看其恢复密钥串&#xff0c;如下图所示&#xff1a; 如图&#xff0c;这里的数字密码下面的一长串字符串即是下面要提取恢复密钥。 在计…

chatgpt赋能python:Python编程教程之抽签程序

Python编程教程之抽签程序 介绍 对于喜欢玩抽签、体育彩票等游戏的人来说&#xff0c;抽签程序是一款非常有用的小工具。抽签程序可以用来随机抽取一定数量的幸运儿&#xff0c;而且运行速度快&#xff0c;结果随机性高&#xff0c;不需要人工干预。 那么&#xff0c;Python…

Spring Boot 3.1 中如何整合Spring Security和Keycloak

在今年2月14日的时候&#xff0c;Keycloak 团队宣布他们正在弃用大多数 Keycloak 适配器。其中包括Spring Security和Spring Boot的适配器&#xff0c;这意味着今后Keycloak团队将不再提供针对Spring Security和Spring Boot的集成方案。 但是&#xff0c;如此强大的Keycloak&am…

一文搞懂Android动画

这里写目录标题 前言一、视图动画1. 补间动画---Animation抽象类动画1.1 AlphaAnimation&#xff1a;控制一个对象透明度的动画。1.1.1 xml实现示例1.1.2 java实现示例 1.2 RotateAnimation&#xff1a;控制一个对象旋转的动画。1.1.1 xml实现示例1.1.2 java实现示例 1.3 Scale…

Linux中查看端口被哪个进程占用、进程调用的配置文件、目录等

1.查看被占用的端口的进程&#xff0c;netstat/ss -antulp | grep :端口号 2.通过上面的命令就可以列出&#xff0c;这个端口被哪些应用程序所占用&#xff0c;然后找到对应的进程PID 3.根据PID查询进程。如果想详细查看这个进程&#xff0c;PID具体是哪一个进程&#xff0c;可…

Qt6.5.1+WebRTC学习笔记(八)开发环境搭建(win10+vs2019)

一、准备 1.操作系统win10 64位 2.合理的上网方式&#xff0c;需要正常访问google,最好有20G以上流量 3.安装VS2019&#xff0c;笔者使用的是社区版&#xff0c;并选中C相关&#xff0c;笔者设置如下 注意&#xff0c;win10的sdk需要是10.0.20348.1&#xff0c;其他版本可能…

JavaWeb17(过滤器监听器)

目录 1.过滤器/拦截器-Filter. 1.1过滤器介绍. 1.2过滤器使用步骤. 1.2.1创建过滤器. 1.2.2映射配置. 1.3案例1-编码设置. 1.4案例2-登陆状态验证. 1.4过滤链-略带. 2.监听器-Listener. 2.1监听器介绍. 2.2案例演示1-统计在线人数. 2.3案例演示2-统计历史在线人数.…

太好玩了!用Python做音乐节奏可视化!

大家注意&#xff1a;因为微信最近又改了推送机制&#xff0c;经常有小伙伴说错过了之前被删的文章&#xff0c;比如前阵子冒着风险写的爬虫&#xff0c;再比如一些限时福利&#xff0c;错过了就是错过了。 所以建议大家加个星标&#xff0c;就能第一时间收到推送。&#x1f44…

【Python C扩展】零基础也能轻松掌握的学习路线与参考资料

Python C扩展是将Python语言与C语言相结合&#xff0c;最大限度地利用C语言的高性能和Python语言的灵活性&#xff0c;使Python程序获得更高的运行效率。Python C扩展的学习路线涵盖了C语言基础、Python语言、Python C API等多个方面。下面将详细介绍Python C扩展的学习路线&am…