目录

第三部分（Hadoop MapReduce和Hadoop YARN）

1.课程内容-大纲-学习目标

2.理解先分再合、分而治之的思想

3.hadoop团队针对MapReduce的设计构思

4.Hadoop MapReduce介绍、阶级划分和进程组成

5.Hadoop MapReduce官方示例-圆周率PI评估

6.Hadoop MapReduce官方示例-wordCount单词统计

7.Hadoop MapReduce--map阶段执行过程

8.Hadoop MapReduce--reduce阶段执行过程

9.Hadoop MapReduce--shuffle机制

10.Hadoop YARN--功能介绍--资源管理、任务调度

11.Hadoop YARN--架构图、3大组件介绍

12.Hadoop YARN--程序提交YARN集群交互流程

13.Hadoop YARN--资源调度器schedule和调度策略

第四部分（数据仓库基础和Hadoop Hive入门）

1.课程内容大纲和学习目标

2.数据仓库概念和起源发展由来

3.数据仓库主要特征

4.数据仓库主流开发语言--SQL

5.Hadoop Hive入门

6.场景设计--Hive功能模拟实现底层猜想

7.Hadoop Hive--架构图、各组件功能​编辑

8.Hadoop Hive安装部署--metadata与metastore、远程模式介绍

9.Hadoop Hive安装部署--与hadoop整合、MySQL安装

10.Hadoop Hive安装部署--配置文件修改编辑

11.Hadoop Hive安装部署--metastore服务启动方式

12.Apache hive--新老客户端使用hiveserver2服务

13.Apache hive--Datagrip连接HiveServer2

14.Apache hive--数据库与建库、切换库操作

15.Apache hive--表与建表SQL语句--数据类型、分隔符制定语法

16.Apache hive--表与建表SQL语句--默认分隔符使用

17.Apache hive--常见的show语法

18.Apache hive--注释comment中文乱码解决

---

第三部分（Hadoop MapReduce和Hadoop YARN）

1.课程内容-大纲-学习目标

2.理解先分再合、分而治之的思想

3.hadoop团队针对MapReduce的设计构思

map这里不能翻译成地图，翻译为mapping比较好一点

4.Hadoop MapReduce介绍、阶级划分和进程组成

 

5.Hadoop MapReduce官方示例-圆周率PI评估

首先验证一下我们的hadoop集群有没有启动

发现没有启动，下面我们启动一下

启动时，我们看一下示例

先进入hadoop安装包

安装包中有一个share目录

然后再cd到hadoop中

然后再cd到MapReduce中

我们就要使用其中的example jar包来评估圆周率PI值

我们的yarn页面也正有一个程序在运行

6.Hadoop MapReduce官方示例-wordCount单词统计

这里上传可以使用web页面上传

新建一个input

然后点击上传

我们可以浏览一下这个文件

在当前路径下使用这个示例

看一下输出的output中的结果

结果有两个

第一个没东西，表示执行成功

第二个是结果

7.Hadoop MapReduce--map阶段执行过程

红线左边就是map阶段

8.Hadoop MapReduce--reduce阶段执行过程

9.Hadoop MapReduce--shuffle机制

10.Hadoop YARN--功能介绍--资源管理、任务调度

但yarn不仅支持MapReduce，还支持spark、flink等

11.Hadoop YARN--架构图、3大组件介绍

12.Hadoop YARN--程序提交YARN集群交互流程

下面以MR（MapReduce）程序为例

13.Hadoop YARN--资源调度器schedule和调度策略

第四部分（数据仓库基础和Hadoop Hive入门）

1.课程内容大纲和学习目标

2.数据仓库概念和起源发展由来

比如CRM就是客户关系管理

3.数据仓库主要特征

4.数据仓库主流开发语言--SQL

5.Hadoop Hive入门

6.场景设计--Hive功能模拟实现底层猜想

7.Hadoop Hive--架构图、各组件功能

8.Hadoop Hive安装部署--metadata与metastore、远程模式介绍

9.Hadoop Hive安装部署--与hadoop整合、MySQL安装

下面我们看一下配置

拖拽过去

下面做一个解压

然后安装

继续安装

没有报错，上面就是安装成功了

下面进行初始化设置

因为是初次启动，不知道密码

下面我们查看一下临时密码

登录成功

下面修改密码

授权

授权结束点击ctrl+d退出MySQL

如果MySQL安装错误

下面是卸载

10.Hadoop Hive安装部署--配置文件修改编辑

hive不需要每台机器都安装，只要安装一台机器即可

还有另外一个配置文件

红框中的是MySQL的用户名和密码

红框就是元数据服务的地址

将上面的内容复制粘贴

首先打开红框中的lib地址

将资料中的驱动拖拽到lib文件夹中

这里就成功了

没有就去创建

11.Hadoop Hive安装部署--metastore服务启动方式

因为我们使用的是远程模式

所以要单独启动

点击ctrl+c服务就关闭了

后台启动就是将服务当做一个进程，挂在后台去运行

使用jsp查看一下

多了runjar进程，就是我们上面的hive进程

后台启动的日记在nohup.out中

后台启动想要关闭

使用kill杀死进程

12.Apache hive--新老客户端使用hiveserver2服务

图中可以发现

老客户端可以直接访问metastore

新客户端是先访问另外一个服务hiveserver2，然后访问metastore

所以使用新客户端需要启动两个服务

上面我们已经启动了metastore

我们在启动hiveserver2，两个启动命令十分相似

多了新的runjar，启动成功

==================================================================================================================================================

上面的情况是

服务在node1机器上，客户端也在node1机器上

没有远程访问的感觉

我们使用scp将hive安装包拷贝给其它机器node3

启动hive

启动成功

这样我们的第一代客户端就成功连接到hive服务上

我们可以查看一下当前有哪些数据库和表

第一代客户端官方不推荐

还是使用第二代客户端

但第二代客户端想要我们手动输入地址，连接到我们的hive服务的地址（我们的hive服务在node1机器上）

这里需要我们记住

我们在企业中干活，别人让我们去访问hive，就需要怎么一个hive地址

这个地址就告诉我们。我们的hiveserver2服务运行在哪个机器上，端口是多少

继续输入用户，没有密码

下面就已经成功连接到hiveserver2服务上

我们同样可以查看数据库和表

上面就是使用beeline客户端连接到hive上

13.Apache hive--Datagrip连接HiveServer2

建好后选择关联本地目录到工程中

下面就要配置连接

连接到hive上

首先要解决驱动问题

系统自带的驱动并不友好，我们将其删除

使用课程提供的驱动

这里变白就解析成功了

返回进行其它配置

主要是URL地址

就是beeline连接的地址

测试连接

14.Apache hive--数据库与建库、切换库操作

默认使用我们的default数据库

如果使用其它数据库

15.Apache hive--表与建表SQL语句--数据类型、分隔符制定语法

下面我们看一个练习，如何将我们应该结构化文件映射成表

我们可以使用beeline客户端进行操作

但操作不方便

还是使用datagrip进行操作

首先查看集群是否启动成功

在datagrip中选中，然后点击F4打开我们的控制台

在控制台中输入一句查询，成功

下面我们开始写SQL文件

选中运行

建完表

我们就可以上传数据了

我们可以在hdfs中上传

16.Apache hive--表与建表SQL语句--默认分隔符使用

我们发现不写分隔符语法并没有报错，它有默认分隔符

17.Apache hive--常见的show语法

我们直接写show table是当前库下的所有表

如果换一个数据库

也可以指定数据库

18.Apache hive--注释comment中文乱码解决

我们之前建了一个表

但在查看表的原信息时

这里的原因的hive底层的元数据是将我们的元数据保存在MySQL中的

MySQL的编码不支持中文，主要支持latin1的编码

上面的修改都是在MySQL中进行的

其中的hive3就是hive保存元数据的地方

其中有很多张表，就是保存的hive元数据

我们直接执行SQL语句修改hive的元数据信息

执行完，ctrl+d结束

但乱码还是存在

因为我们的修改完后

要将表删除，重新创建才行