零障碍入门：SSH免密登录与Hadoop生态系统的完美搭档【实训Day02】

news2024/12/23 13:55:18

一、 SSH免密登录配置

1 生成公钥和秘钥(在hadoop101上)

# su star 
# cd /home/star/.ssh
# ssh-keygen -t rsa


2 公钥和私钥


            公钥id_rsa.pub 
            私钥id_rsa


3 将公钥拷贝到目标机器上(在hadoop101上)

# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103


4 生成后将公钥拷贝到目标机器上(在hadoop102上)

# ssh-keygen -t rsa
# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103

5 生成后将公钥拷贝到目标机器上(在hadoop103上)

# ssh-keygen -t rsa
# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103


6 生成后将公钥拷贝到目标机器上(在hadoop101上)

        生成root用户的公钥和私钥

# su root
# ssh-keygen -t rsa
# ssh-copy-id hadoop101
# ssh-copy-id hadoop102
# ssh-copy-id hadoop103

7 测试免密登录(在hadoop101上)

# su star
# ssh hadoop102
# ssh hadoop103
# ssh hadoop101

8 .ssh文件夹下的文件解释

         ==========================
            authorized_keys 存放授权过的免密登录的服务器公钥
            id_rsa 生成的私钥
            id_rsa.pub 生成的公钥
            known_hosts 记录ssh访问过的计算机的公钥
            ====================================

二、Hadoop集群配置


1 配置core-site.xml(在hadoop101上)


           # cd $HADOOP_HOME/ect/hadoop/
            # vim core-site.xml
            ==========配置内容如下=================
            

<!--1.指定 NameNode 的地址-->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop101:9820</value>
            </property>
            <!--2.指定 hadoop 数据的存储目录-->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/data</value>
            </property>
            <!--3.配置 HDFS 网页登录使用静态用户为 star-->
            <property>
                <name>hadoop.http.staticuser.user</name>
                <value>star</value>
            </property>
            <!--4.配置 star(superUser)允许通过代理访问的主机节点-->
            <property>
                <name>hadoop.proxyuser.star.hosts</name>
                <value>*</value>
            </property>
            <!--5.配置 star(superGroup)允许通过代理用户所属组-->
            <property>
                <name>hadoop.proxyuser.star.groups</name>
                <value>*</value>
            </property>
            <!--6.配置 star(superUser)允许通过代理的用户-->
            <property>
                <name>hadoop.proxyuser.star.groups</name>
                <value>*</value>
            </property>


            ==================================================
        

2 配置yarn-site.xml(在hadoop101上)


            # cd $HADOOP_HOME/ect/hadoop/
            # vim yarn-site.xml 
            =========配置内容如下=============
            

<!--1.指定 MR 走 shuffle 机制-->
            <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
            </property>
            <!--2.指定 ResourceManager 的地址-->
            <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop102</value>
            </property>
            <!--3.环境变量的继承-->
            <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOM
            E,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YAR
            N_HOME,HADOOP_MAPRED_HOME</value>
            </property>
            <!--4.yarn 容器允许分配的最大最小内存-->
            <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>512</value>
            </property>
            <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>4096</value>
            </property>
            <!--5.yarn 容器允许管理的物理内存大小-->
            <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
            </property>
            <!--6.关闭 yarn 对物理内存和虚拟内存的限制检查-->
            <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
            </property>
            <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
            </property>


            ====================================================
            

3 配置hfds-site.xml(在hadoop101上)


            # cd $HADOOP_HOME/ect/hadoop/
            # vim hdfs-site.xml 
            ===========配置内容如下==========
          

 <!--1.NameNode nn web 端访问地址-->
            <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop101:9870</value>
            </property>
            <!--2.SecondaryNameNode 2nn web 端访问地址-->
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop103:9868</value>
            </property>
            <!--3.设置 HDFS 不启动权限检查-->
            <property>
                <name>dfs.permissions</name>
                <value>false</value>
            </property>


        ==========================================
        

4 配置mapred-site.xml(在hadoop101上)


            # cd $HADOOP_HOME/ect/hadoop/
            # vim mapred-site.xml 
            ==========配置内容如下=========
            

<!--1.指定 Mapreduce 程序运行在 Yarn 之上-->
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>


            =============================
      


5 将集群文件进行分发(在hadoop101上)


            # xsync.sh /opt/module/
        


6 查看分发配置文件的情况


            在hadoop102上
            # cd /opt/module/hadoop-3.1.3/etc/hadoop
            # cat core-site.xml
            
            在hadoop103上
            # cd /opt/module/hadoop-3.1.3/etc/hadoop
            # cat core-site.xml

三、 Hadoop集群部署


1 配置works(在hadoop101上)


            # cd /opt/module/hadoop-3.1.3/ect/hadoop/
            # vim workers
            =========配置内容如下(删除原先内容)====
            hadoop101
            hadoop102
            hadoop103
            =====注意保存时不允许有空格以及空行====
            将该文件进行分发
            # xsync.sh /opt/module/hadoop-3.1.3/ect/hadoop/workers

2.Hadoop集群格式化（在hadoop101上)

# su star

#hdfs namenode -format

注意事项：

1.各种端口号是用.表示

2.各种配置文件tag写错了

3.若需要再次格式化则需要

        先删除hadoop-3.1.3文件夹下的data和logs文件夹

4.必须使用star用户进行格式化

当格式化之后就会产生data 和 logs 文件

3 环境变量的分发及生效(在hadoop101上)


            # sudo xsync.sh /etc/profile.d/my_env.sh 
            
            在hadoop102上
            # source /etc/profile.d/my_env.sh 
            # java -version
            # hadoop version
            
            在hadoop103上
            # source /etc/profile.d/my_env.sh 
            # java -version
            # hadoop version

4 Hadoop分布式集群启动(在hadoop101上)


            启动Hadoop集群
            # cd $HADOOP_HOME/sbin
            # start-dfs.sh 
            # jps

5 Yarn的启动(在hadoop102上)


            启动Yarn
            # cd $HADOOP_HOME/sbin
            # start-yarn.sh
            # jps

6 WEB端查看HDFS(需先启动HDFS)


            http://hadoop101:9870

7 WEB端查看YARN(需先启动YARN）


            http://hadoop102:8088

四、MySQL安装

1 查看是否安装过


        # rpm -qa | grep mariadb mariadb-libs-5.5.56-2.el7.x86_64
        # sudo rpm -e ---nodeps 

2 MySQL安装包上传(在hadoop101上)


        # cd /opt/software
        
        上传到该目录mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar


3 解压缩第一层包(在hadoop101上)


        # cd /opt/software
        # tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar


        
4 安装MySQL文件(必须按照顺序安装 在hadoop101上)

        # cd /opt/software


        # sudo rpm -ivh 
            mysql-community-common-5.7.28-1.el7.x86_64.rpm
            
        # sudo rpm -ivh 
            mysql-community-libs-5.7.28-1.el7.x86_64.rpm --force --nodeps
        
        # sudo rpm -ivh 
            mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm --force --nodeps
        
        # sudo rpm -ivh 
            mysql-community-client-5.7.28-1.el7.x86_64.rpm
      
        # sudo yum install -y libaio


        # sudo rpm -ivh 
            mysql-community-server-5.7.28-1.el7.x86_64.rpm --force --nodeps

5 删除配置文件(在hadoop101上)


        查看mysql所安装的目录(查看datadir的目录结果)
        # vim /etc/my.cnf
        删除datadir指向的目录所有文件内容
        # cd /var/lib/mysql
        # sudo rm -rf ./*
    


6 初始化数据库(在hadoop101上)


        # sudo mysqld --initialize --user=mysql


    
  7 查看初始化密码(在hadoop101上 -localhost后面)


        # sudo cat /var/log/mysqld.log


        
8 启动MySQL的服务(在hadoop101上)


        # sudo systemctl start mysqld


    
9 登录MySQL数据库(在hadoop101上)


        # mysql -u root -p 
        Enter password:输入mysqld.log中的密码



10 修改数据库密码


        mysql>set password = password("123456");


    
11 修改数据库任意连接(在hadoop101上)


        mysql>update mysql.user set host='%' where
                user='root';
        mysql>flush privileges;
        mysql>quit;


        
12 测试mysql数据库(在hadoop101上)


        # mysql -u root -p 
        Enter password:123456
        mysql>quit;

数据库删除操作

五、Hive安装


1 上传安装包(在hadoop101上)


        # cd /opt/software
        上传apache-hive-3.1.2-bin.tar.gz压缩包 


2 解压缩安装包(在hadoop101上)


        # cd /opt/software
        # tar -zxvf apache-hive-3.1.2-bin.tar.gz   -C /opt/module/

3 修改hive的文件夹名称(在hadoop101上)


        # cd /opt/module/
        # mv apache-hive-3.1.2-bin hive 


4 添加hive的环境变量(在hadoop101上)


        # sudo vim /etc/profile.d/my_env.sh
        =======添加内容如下======
        #HIVE_HOME
        export HIVE_HOME=/opt/module/hive
        export PATH=$PATH:$HIVE_HOME/bin
        ===============================
        # soruce /etc/profile.d/my_env.sh
        # cd $HIVE_HOME

cd $HIVE_HOME/conf
vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--1.jdbc连接的URL-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop101:3306/hivedb?useSSL=false</value>
    </property>
    <!--2.jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <!--3.jdbc连接username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!--4.jdbc连接password-->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    
    <!--5.hive默认在HDFS的工作目录-->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
    <!--6.hive元数据存储的验证-->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--7.元数据存储授权-->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    
</configuration>

cd /opt/software/

5.上传mysql-connector-java-5.1.27-bin.jar

cp mysql-connector-java-5.1.27-bin.jar $HIVE_HOME/lib
cd $HIVE_HOME/lib

cd $HIVE_HOME/conf

vim hive-site.xml

mysql -u root -p123456

mysql> create database hivedb CHARACTER set utf8;

quit;

6.初始化

schematool -initSchema -dbType mysql -verbose

7.启动hadoop

start-dfs.sh
start-yarn.sh

8.启动Hive

cd /opt/module/hive

bin/hive

hive> show databases;
hive> use default ;
hive> show tables;
hive> create table test(id int);
hive> insert into test values(1);

hive> select * from test;

hive安装部署成功

实训Day02 轻松搞定easy~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1891385.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Hi3861 OpenHarmony嵌入式应用入门--TCP Client

Hi3861 OpenHarmony嵌入式应用入门--TCP Client

本篇使用的是lwip编写tcp客户端。需要提前准备好一个PARAM_HOTSPOT_SSID宏定义的热点&#xff0c;并且密码为PARAM_HOTSPOT_PSK。还需要准备一个tcp服务&#xff0c;服务ip为PARAM_SERVER_ADDR宏定义&#xff0c;端口为PARAM_SERVER_PORT宏定义。 修改网络参数 在Hi3861开发板…
阅读更多...
[C++][设计模式][访问器]详细讲解

[C++][设计模式][访问器]详细讲解

目录 1.动机2.模式定义3.要点总结4.代码感受1.代码一2.代码二 1.动机 在软件构件过程中&#xff0c;由于需求的变化&#xff0c;某些类层次结构中常常需要增加新的行为(方法)&#xff0c;如果直接在基类中做这样的更改&#xff0c; 将会给子类带来很繁重的变更负担&#xff0c…
阅读更多...
zabbix小白入门：从SNMP配置到图形展示——以IBM服务器为例

zabbix小白入门：从SNMP配置到图形展示——以IBM服务器为例

作者 乐维社区&#xff08;forum.lwops.cn&#xff09;许远 在运维实践中&#xff0c;Zabbix作为一款强大的开源监控工具&#xff0c;被广泛应用于服务器、网络设备和应用程序的监控&#xff0c;成为保障业务连续性和高效运行的关键。然而&#xff0c;对于Zabbix的初学者来说&a…
阅读更多...
法国工程师IMT联盟 密码学及其应用 2023年期末考试题

法国工程师IMT联盟 密码学及其应用 2023年期末考试题

1 在 Unix 下的安全性 (30 分钟) 1.1 问题 1 1.1.1 问题 我们注意constat到通过 SMTP 服务器发送“假”电子邮件&#xff08;垃圾邮件&#xff09;相对容易。越来越常见的做法是在 SMTP 连接之上部署dployer TLS 协议protocole&#xff08;即 SMTPS&#xff09;。这解决了垃圾…
阅读更多...
【IDEA配置一个maven项目（详细操作流程）】

【IDEA配置一个maven项目（详细操作流程）】

目录 一、安装Maven 1、官网下载maven链接地址&#xff1a;Maven – Download Apache Maven 2、下载完成后&#xff0c;解压到某一路径下。E:\JavaTools\apache-maven-3.9.8为例&#xff0c;实际配置环境变量时以自己安装的路径为准。 二、配置环境变量 1、右键此电脑–&g…
阅读更多...
MybatisPlus实现AES加密解密，实现yml配置文件中数据库连接信息如用户名，密码等信息加密解密

MybatisPlus实现AES加密解密，实现yml配置文件中数据库连接信息如用户名，密码等信息加密解密

1 生成秘钥&#xff0c;使用AES工具生成一个随机秘钥&#xff0c;然后对用户名&#xff0c;密码加密 //数据库用户名和密码加密工具测试类 public class MpDemoApplicationTests {Testvoid contextLoads() {// 数据库用户名和密码String dbUsername"改成你的数据库连接用…
阅读更多...
LabVIEW汽车转向器测试系统

LabVIEW汽车转向器测试系统

绍了一种基于LabVIEW的汽车转向器测试系统。该系统集成了数据采集、控制和分析功能&#xff0c;能够对转向器进行高效、准确的测试。通过LabVIEW平台&#xff0c;实现了对转向器性能参数的实时监测和分析&#xff0c;提升了测试效率和数据精度&#xff0c;为汽车转向器的研发和…
阅读更多...
Ubuntu查看opencv版本c++

Ubuntu查看opencv版本c++

✗命令行中直接输入&#xff1a; pkg-config --modversion opencv✔命令行中直接输入&#xff1a; pkg-config --modversion opencv4注解&#xff1a;附上在markdown中打勾&#xff0c;对号和打叉。使用时将&和#之间的空格去掉&#xff0c;这里只是为了不让CSDN自动转换才…
阅读更多...
UE5 04-重新加载当前场景

UE5 04-重新加载当前场景

给关卡加一个淡出的效果 给关卡加一个淡入的效果, 这个最好放置在Player 上,这样切关卡依然有这个效果
阅读更多...
金斗云 HKMP智慧商业软件 任意用户创建漏洞复现

金斗云 HKMP智慧商业软件 任意用户创建漏洞复现

0x01 产品简介 金斗云智慧商业软件是一款功能强大、易于使用的智慧管理系统，通过智能化的管理工具，帮助企业实现高效经营、优化流程、降低成本，并提升客户体验。无论是珠宝门店、4S店还是其他零售、服务行业，金斗云都能提供量身定制的解决方案，助力企业实现数字化转型和智…
阅读更多...
【系统架构设计师】计算机组成与体系结构 ⑨ ( 磁盘管理 | “ 磁盘 “ 单缓冲区 与 双缓冲区 | “ 磁盘 “ 单缓冲区 与 双缓冲区案例 )

【系统架构设计师】计算机组成与体系结构 ⑨ ( 磁盘管理 | “ 磁盘 “ 单缓冲区 与 双缓冲区 | “ 磁盘 “ 单缓冲区 与 双缓冲区案例 )

文章目录 一、" 磁盘 " 单缓冲区 与 双缓冲区1、" 磁盘 " 单缓冲区2、" 磁盘 " 双缓冲区 二、" 磁盘 " 单缓冲区 与 双缓冲区案例1、案例描述2、磁盘单缓冲区 - 流水线分析3、磁盘双缓冲区 - 流水线分析 一、" 磁盘 " 单缓冲…
阅读更多...
c++习题08-计算星期几

c++习题08-计算星期几

目录 一&#xff0c;问题 二&#xff0c;思路 三&#xff0c;代码 一&#xff0c;问题 二&#xff0c;思路 首先&#xff0c;需要注意到的是3^2000这个数值很大&#xff0c;已经远远超过了long long 数据类型能够表示的范围&#xff0c;如果想要使用指定的数据类型来保存…
阅读更多...
介绍一些好玩且实用的开源的AI工具

介绍一些好玩且实用的开源的AI工具

介绍一些好玩且实用的开源的AI工具 随着人工智能技术的迅猛发展&#xff0c;开源社区涌现出了许多关于AI的项目&#xff0c;这些项目不仅展示了技术的创新力&#xff0c;也为开发者提供了丰富的工具和资源。本文将介绍几个既有趣又实用的开源人工智能工具&#xff0c;它们不仅…
阅读更多...
【C++】 解决 C++ 语言报错：Use of Uninitialized Variable

【C++】 解决 C++ 语言报错：Use of Uninitialized Variable

文章目录 引言 使用未初始化的变量&#xff08;Use of Uninitialized Variable&#xff09;是 C 编程中常见且危险的错误之一。它通常在程序试图使用尚未赋值的变量时发生&#xff0c;导致程序行为不可预测&#xff0c;可能引发运行时错误、数据损坏&#xff0c;甚至安全漏洞。…
阅读更多...
【机器学习】机器学习与电商推荐系统的融合应用与性能优化新探索

【机器学习】机器学习与电商推荐系统的融合应用与性能优化新探索

文章目录 引言第一章&#xff1a;机器学习在电商推荐系统中的应用1.1 数据预处理1.1.1 数据清洗1.1.2 数据归一化1.1.3 特征工程 1.2 模型选择1.2.1 协同过滤1.2.2 矩阵分解1.2.3 基于内容的推荐1.2.4 混合推荐 1.3 模型训练1.3.1 梯度下降1.3.2 随机梯度下降1.3.3 Adam优化器 …
阅读更多...
Kubernetes 离线安装的坑我采了

Kubernetes 离线安装的坑我采了

Kubernetes 离线安装的坑我采了 一、Error from server: Get "https://xx.xx.xx.xx:10250/containerLogs/kube-system/calico-node-8dnvs/calico-node": tls: failed to verify certificate: x509: certificate signed by unknown authority二、calico 或 pod 启动正…
阅读更多...
目标检测入门：2.使用预训练的卷积神经网络

目标检测入门：2.使用预训练的卷积神经网络

目录 源码下载 一、ResNet&#xff08;Deep Residual Network&#xff0c;深度残差网络&#xff09; 1.残差结构 ​编辑 2.ResNet网络结构 3.pytorch搭建ResNet 二、CIFAR-10分类&#xff1a;ResNet预训练权重的迁移学习实践 1.CIFAR-10数据集 2.ResNet18实现CIFAR-10分…
阅读更多...
该文件没有与之关联的程序来执行该操作，请安装应用，若已经安装应用，请在‘默认应用设置’页面中创建关联。

该文件没有与之关联的程序来执行该操作，请安装应用，若已经安装应用，请在‘默认应用设置’页面中创建关联。

作为一个喜欢折腾桌面外观的人，我发现桌面上的快捷方式图标都有一个小箭头。于是，我按照网上的方法在注册表中删除了 IsShortcut 键。结果，重启后任务栏上的图标点击时出现了提示：“该文件没有与之关联的程序来执行该操作，请安装应用，若已经安装应用，请在‘默认应用设置…
阅读更多...
Markdown+VSCODE实现最完美流畅写作体验

Markdown+VSCODE实现最完美流畅写作体验

​下载VSCODE软件 安装插件 Markdown All in One &#xff1a;支持markdown的语言的&#xff1b; Markdown Preview Enhanced &#xff1a;观看写出来文档的效果&#xff1b; Paste IMage :添加图片的 Code Spell Checker检查英文单词错误&#xff1b; 基础语法 标题 #一个…
阅读更多...
windows USB 设备驱动开发-USB描述符

windows USB 设备驱动开发-USB描述符

配置描述符 USB 设备以一系列称为 USB 配置的接口的形式公开其功能。 每个接口由一个或多个备用设置组成&#xff0c;每个备用设置由一组端点组成。 配置描述符中描述了 USB 配置。 配置描述符包含有关配置及其接口、备用设置及其端点的信息。 每个接口描述符或备用设置均在 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023