大数据实训项目(小麦种子)-03、大数据环境Hadoop、Mapreduce、Hive、Hbase、HDFS搭建服务及调试

news2024/11/24 15:00:24

文章目录

  • 前言
  • 一、Linux系统Centos7安装配置JDK8
  • 二、Linxu系统Centos7中搭建Hadoop3.1.0服务
    • 下载地址
    • 服务1：详细步骤（初始化与启动dfs服务）
      • 详细步骤
      • 配置环境变量
    • 服务2：Hadoop(YARN)环境搭建
  • 三、Linux系统搭建Hive3.1.2服务
    • 前提条件
    • 安装MySQL 5.7.27
    • Hive3.1.2详细安装配置步骤
      • 下载地址
      • 详细安装步骤
    • 启动Hive服务与配置环境变量
    • IDEA远程连接Hive服务
      • 前置准备
      • Java程序来连接Hive
  • 四、Linux系统搭建Hbase2.2.4
    • 说明
    • 下载Zookeeper3.4.5以及Hbase2.2.4
    • 安装Zookeeper3.4.5全流程（单机）
    • 安装Hbase2.2.4全流程（单机）
      • 详细安装流程
      • Java客户端连接Hbase
  • 五、Javaweb项目及lib包依赖
    • 功能描述
    • 测试服务快速命令
  • 六、快捷命令汇总
    • 快速关闭各个服务
    • 快速启动各个服务
  • 番外：极速搭建大数据配套环境（导入Virtualbox）
    • 导入提前搭建好的环境
      • ①配置静态ip地址
      • ②配置域名映射
    • 测试环境

前言

博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

博主所有博客文件目录索引：博客目录索引(持续更新)

视频平台：b站-Coder长路

本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY

一、Linux系统Centos7安装配置JDK8

下载地址：https://www.oracle.com/java/technologies/downloads/#java8

image-20240202213746480

安装步骤如下：

①将JDK8的安装上传到服务器上

mkdir /opt/tools

mkdir /opt/server

image-20240202213910639

②解压JDK8到指定目录

cd /opt/tools

tar -zvxf jdk-8u221-linux-x64.tar.gz -C /opt/server

③编辑配置环境变量

vim /etc/profile

# 文件末尾增加 指定jdk目录
# jdk
export JAVA_HOME=/opt/server/jdk1.8.0_221
export PATH=${JAVA_HOME}/bin:$PATH

# 使配置生效
source /etc/profile

③测试JDK是否安装成功

java -version

image-20240202214100692

二、Linxu系统Centos7中搭建Hadoop3.1.0服务

下载地址

Hadoop下载地址：https://archive.apache.org/dist/hadoop/core/

image-20240202213248548

选择tar.gz压缩包下载：

image-20240202213309863

服务1：详细步骤（初始化与启动dfs服务）

详细步骤

步骤1：配置免密登录

Hadoop 组件之间需要基于 SSH 进行通讯，配置免密登录后不需要每次都输入密码，配置映射：

vim /etc/hosts

# 文件末尾增加（之前增加过无需增加）
192.168.10.120 server

生成私钥：

# 不断回车即可
ssh-keygen -t rsa

授权，进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件：

cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys

步骤2：解压Hadoop

将文件上传/opt/tools：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

解压Hadoop压缩包到server目录：

cd /opt/tools

tar -zvxf hadoop-3.1.0.tar.gz -C /opt/server/

步骤3：配置Hadoop

修改配置文件hadoop-env.sh文件，设置JDK的安装路径：

# 进入到hadoop的配置文件目录
cd /opt/server/hadoop-3.1.0/etc/hadoop

# 打开hadoop的环境配置脚本
vim hadoop-env.sh

# 配置一开始的Java环境变量
export JAVA_HOME=/opt/server/jdk1.8.0_221

修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录（程序运行可自动创建）：

vim core-site.xml

<configuration>
    <property>
        <!--指定 namenode 的 hdfs 协议文件系统的通信地址
			这里server是域名 我们提前配置了hosts文件
		-->
        <name>fs.defaultFS</name>
        <value>hdfs://server:8020</value>
    </property>
    <property>
        <!--指定 hadoop 数据文件存储目录-->
        <name>hadoop.tmp.dir</name>
        <value>/opt/server/hadoop-3.1.0/data</value>
    </property>
    <!--下面两个配置解决：idea远程连接hive失败问题-->
    <property>
         <name>hadoop.proxyuser.root.groups</name>
         <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
</configuration>

修改hdfs-site.xml，指定 dfs 的副本系数：

vim hdfs-site.xml

<configuration>
    <property>
        <!--由于我们这里搭建是单机版本，所以指定 dfs 的副本系数为 1-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <!-- AccessControlException: Permission 报错解决 -->
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

修改workers文件，配置所有从属节点：

vim workers

# 配置所有从属节点的主机名或 IP 地址，由于是单机版本，所以指定本机即可：
server

步骤4：初始化并启动HDFS

初始化,第一次启动 Hadoop 时需要进行初始化，进入 /opt/server/hadoop-3.1.0/bin目录下，执行以下命令：

cd /opt/server/hadoop-3.1.0/bin

# 初始化
./hdfs namenode -format

步骤5：配置启动用户（Hadoop 3中不允许使用root用户来一键启动集群）

cd /opt/server/hadoop-3.1.0/sbin/

# 编辑start-dfs.sh、stop-dfs.sh,在顶部加入以下内容
vim start-dfs.sh

vim stop-dfs.sh

# 文件顶部第二行位置加入内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

步骤6：启动HDFS

# 启动HDFS，进入/opt/server/hadoop-3.1.0/sbin/ 目录下，启动 HDFS
cd /opt/server/hadoop-3.1.0/sbin/

# 启动HDFS
./start-dfs.sh

查看是否启动：

jps

若是有下面三个运行服务，那么就表示运行成功：

image-20240203091035430

此时我们也可以在本地访问虚拟机的9870端口：

http://192.168.10.120:9870/

image-20240203091134506

配置环境变量

# 编辑配置文件
vim /etc/profile

# 在底部添加下面两行环境变量
# hadoop
export HADOOP_HOME=/opt/server/hadoop-3.1.0
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

# 使配置文件生效
source /etc/profile

服务2：Hadoop(YARN)环境搭建

步骤1：修改mapred-site.xml配置文件

cd /opt/server/hadoop-3.1.0/etc/hadoop

# 编辑配置文件
vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

步骤2：修改yarn-site.xml文件，配置 NodeManager 上运行的附属服务

vim yarn-site.xml

<configuration>
    <property>
        <!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可
以在
Yarn 上运行 MapRedvimuce 程序。-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

步骤3：配置启动用户（Hadoop 3中不允许使用root用户来一键启动集群）

cd /opt/server/hadoop-3.1.0/sbin/

vim start-yarn.sh
vim stop-yarn.sh

# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

步骤4：启动服务

# 进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN：
cd ${HADOOP_HOME}/sbin/

# 启动yarn服务
./start-yarn.sh

验证是否成功，我们输入JPS，若是有下面两个服务则启动成功：

jps

image-20240203091643523

查看 Web UI 界面，端口为 8088：

http://192.168.10.120:8088/

image-20240203091737531

三、Linux系统搭建Hive3.1.2服务

前提条件

安装Hadoop（基于Hadoop的数据仓库软件，通常部署运行在Linux系统之上）。

安装MySQL（MySQL作为Hive的元数据存储库）。

安装MySQL 5.7.27

选择MySQL5.7.27：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

安装步骤：

①卸载Centos7自带mariadb

# 查找
rpm -qa|grep mariadb
# mariadb-libs-5.5.52-1.el7.x86_64
# 卸载，根据指定名字
rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps

②上传MySQL安装压缩包

image-20240202204502312

# 创建mysql安装包存放点
mkdir /opt/server/mysql

# 进入到上传目录
cd /opt/tools

# 解压
tar xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /opt/server/mysql/

# 安装依赖
yum -y install libaio
yum -y install libncurses*
yum -y install perl perl-devel
yum -y install net-tools
# 切换到安装目录
cd /opt/server/mysql/
# 安装
rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm 
rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm 
rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm

③启动MySQL服务

#启动mysql
systemctl start mysqld.service
#查看生成的临时root密码（获取到密码之后）
cat /var/log/mysqld.log | grep password

④修改初始的随机密码，并进行授权

# 登录mysql
mysql -u root -p
Enter password:     #输入在日志中生成的临时密码

# 更新root密码 设置为root
set global validate_password_policy=0;
set global validate_password_length=1;
set password=password('root');

# 授权账户 root、root
grant all privileges on *.* to 'root' @'%' identified by 'root';
# 刷新
flush privileges;

⑤设置MySQL自启动

#mysql的启动和关闭 状态查看
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld

#建议设置为开机自启动服务
systemctl enable mysqld

#查看是否已经设置自启动成功
systemctl list-unit-files | grep mysqld

Hive3.1.2详细安装配置步骤

下载地址

hive下载地址：https://archive.apache.org/dist/hive/

image-20240202213022029

详细安装步骤

同样上传到目录中/opt/tools：

image-20240202204846159

①解压hive压缩包：

# 切换到安装包目录
cd /opt/tools

# 解压到/root/server目录
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/server/

②上传MySQL的驱动包

# 上传mysql-connector-java-5.1.38.jar
cd /opt/server/apache-hive-3.1.2-bin/lib

image-20240202204956773

image-20240202205041906

③修改hive环境变量文件，指定Hadoop的安装路径

# 进入到配置文件目录
cd /opt/server/apache-hive-3.1.2-bin/conf

# 复制一份环境配置
cp hive-env.sh.template hive-env.sh

vim hive-env.sh
# 加入以下内容
HADOOP_HOME=/opt/server/hadoop-3.1.0

④新建 hive-site.xml 文件，配置存放元数据的 MySQL 的地址、驱动、用户名和密码等信息：

  • 需要修改用户名、密码，即20、24行。
  • 设置mysql的连接ip地址，这里是server，可改为相应的ip地址。
vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 存储元数据mysql相关配置 /etc/hosts 
		其中server为服务ip地址，我们这里配置了域名
	-->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value> jdbc:mysql://server:3306/hive?
createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;chara
cterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
</configuration>

⑤将mysql对应的jdbc驱动包放入到hive的lib目录下：

image-20240607103707026

上传上去：

image-20240607103725743

放入到服务器中的lib目录下：/opt/server/apache-hive-3.1.2-bin/lib

⑥当使用的 hive 是 2以上版本时，必须手动初始化元数据库，初始化命令：

# 进入到bin目录
cd /opt/server/apache-hive-3.1.2-bin/bin

# 初始化前先创建数据库hive
mysql -u root -proot
create database hive charset=utf8;

# 执行初始化
./schematool -dbType mysql -initSchema

初始化成功后，我们可进入到mysql，看到hive数据库中，包含了74张表：

mysql -u root -proot

show databases;

image-20240202205703648

启动Hive服务与配置环境变量

①添加环境变量：

vim /etc/profile

# 配置信息如hive的安装目录
# hive
export HIVE_HOME=/opt/server/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH

# 刷新配置
source /etc/profile

②启动Hive

hive

若是我们在hive的交互命令行中输入查看所有数据库中，若是有default表示搭建成功：

show databases;

image-20240202205941843

IDEA远程连接Hive服务

前置准备

# 检查hive server2是否启动：若是有我们开启hive远程连接
netstat -anp |grep 10000

# 开启远程连接（非后台运行）
hive --service hiveserver2

若是出现下面四个Hive Session：

image-20240203150044350

然后我们点击IDEA的测试即可，连接成功在Hive远程服务程序会显示OK：

jdbc:hive2://192.168.10.120:10000

root、root

image-20240203150022121

我们也可以后台运行方式：

# 开启远程连接（后台运行）
# nohup: 忽略SIGHUP信号，使命令在终端关闭后继续运行。  hive --service hiveserver2: 启动HiveServer2服务。
# > hiveserver2.log: 将标准输出重定向到hiveserver2.log文件。
# 2>&1: 将标准错误输出重定向到与标准输出相同的文件。
# &: 将命令放入后台运行。
nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &

# 关闭服务方式
ps aux | grep hiveserver2
kill -9 <PID>

Java程序来连接Hive

选择和Hive版本3.1.2的jar包，接着我们来测试程序：

public static void main(String[] args) throws Exception {
    String driver = "org.apache.hive.jdbc.HiveDriver";
    String url = "jdbc:hive2://192.168.10.120:10000/default";

    Class.forName(driver);
    Connection connection = DriverManager.getConnection(url, "root", "root");
    Statement statement = connection.createStatement();
}

image-20240203150814112

四、Linux系统搭建Hbase2.2.4

说明

Hbase基于hadoop、zookeeper、jdk。

下载Zookeeper3.4.5以及Hbase2.2.4

zookeeper下载地址：https://archive.apache.org/dist/zookeeper/

image-20240126190905360

Hbase下载地址：https://archive.apache.org/dist/hbase/

image-20240126190711526

下载好之后上传压缩包到服务器上：

/opt/tools

image-20240126191010915

安装Zookeeper3.4.5全流程（单机）

步骤1：解压zookeeper安装包

cd /opt/tools

tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/server

步骤2：修改zoo.cfg配置

  • 需要修改的是dataDir、server.0的ip地址
cd /opt/server/zookeeper-3.4.5/conf

# 复制一份配置文件
cp zoo_sample.cfg zoo.cfg

# 编辑配置文件
vim zoo.cfg

# 修改配置内容如下
dataDir=/opt/server/zookeeper-3.4.5/data
clientPort=2181
server.0=server:2287:3387

步骤3：修改myid:

mkdir -p /opt/server/zookeeper-3.4.5/data

echo '0' > /opt/server/zookeeper-3.4.5/data/myid

配置环境变量：

vim /etc/profile

# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/server/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# 刷新配置
source /etc/profile

步骤4：启动服务

zkServer.sh start

输入jps显示当前运行进程，对于QuorumPeerMain即为zookeeper进程程序：

jps

image-20240126191950297

安装Hbase2.2.4全流程（单机）

详细安装流程

步骤1：解压Hbase2.2.4

# 首先进入到压缩包路径,
cd /opt/tools

tar -zxvf hbase-2.2.4-bin.tar.gz -C /opt/server

步骤2：配置hbase-env.sh配置信息

cd /opt/server/hbase-2.2.4/conf

vim hbase-env.sh 

# 28行添加JDK环境
export JAVA_HOME=/opt/server/jdk1.8.0_221
# 126行关闭zookeeper管理,是否管理自己的zookeeper实例（不使用自带的）
export HBASE_MANAGES_ZK=false

步骤3：编辑hbase-site.xml配置信息:

  • hbase.rootdir：填写端口号一定要与hadoop初始核心的端口一致。
  • hbase.zookeeper.property.dataDir：与原本zookeeper的要一致。
  • hbase.zookeeper.quorum：指明的是服务地址。
  • hbase.tmp.dir：自定义hbase的tmp目录。
  • zookeeper.znode.parent：相对应zookeeper的节点。
# 编辑hbase-site.xml
vim hbase-site.xml
# 添加内容如下：
#    ①修改hdfs的ip地址，注意端口要与hadoop中的core-site.xml里的fs.defaultFS一致。！！！！！！！！
#    ②修改zookeeper的路径

<configuration>
   <!--  Hbase数据在HDFS中的存放位置 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://server:8020/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/server/zookeeper-3.4.5/data</value>
  </property>
    <!--  Hbased的运行模式,false为单机模式,true为分布式模式.若为false,Hbase和Zookeeper会运行在同一个JVM里 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
    <!--  zookeeper的服务地址 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>server</value>
        <description>The directory shared by RegionServers.
        </description>
    </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/server/hbase-2.2.4/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase/master</value>
  </property>
</configuration>

步骤4：配置服务名

# 修改服务
vim regionservers

# 填写域名(默认localhost,我们也可不改)
# 若是没有绑定域名,可设置 vim /etc/hosts  文件末尾增加   192.168.80.100 server
server

步骤5：配置环境变量

vim /etc/profile

# 添加
# HBASE_HOME
export HBASE_HOME=/opt/server/hbase-2.2.4
export PATH=$PATH:$HBASE_HOME/bin

# 刷新配置
source /etc/profile

启动Hbase：

注意：启动前需要启动hadoop、zookeeper服务！

start-hbase.sh

输入jps查看服务是否启动：

jps

image-20240126192939944

有问题一定要看日志！！！

访问16010端口即可访问Hbase服务：http://192.168.10.120:16010/

image-20240129215520658

Java客户端连接Hbase

前提，我们需要配置域名映射，因为我们从zookeeper中取到的是服务名，自然我们应该去配置映射：

  • 路径位置：C:\Windows\System32\drivers\etc
  • 配置信息：192.168.10.120 server
# 刷新DNS解析缓存
ipconfig /flushdns

image-20240202005904861

Hbase连接我们只需要知道zookeeper的ip地址以及端口号即可：

public static void main(String[] args) {
    // 创建 HBase 配置对象
    Configuration conf = HBaseConfiguration.create();

    // 设置 ZooKeeper 地址和端口
    //        conf.set("hbase.zookeeper.quorum", ServerConfig.SERVER_IP);
    conf.set("hbase.zookeeper.quorum", "192.168.10.120");
    conf.set("hbase.zookeeper.property.clientPort", "2181");
    conf.set("zookeeper.znode.parent", "/hbase/master");

    // 建立 HBase 连接
    try (org.apache.hadoop.hbase.client.Connection connection = ConnectionFactory.createConnection(conf)) {
        System.out.println(connection);
        // 获取 HBase 管理对象
        Admin admin = connection.getAdmin();
        // 获取所有命名空间
        NamespaceDescriptor[] namespaces = admin.listNamespaceDescriptors();

        // 打印命名空间信息
        System.out.println("Available HBase namespaces:");
        for (NamespaceDescriptor namespace : namespaces) {
            System.out.println(namespace.getName());
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

image-20240202010028052

五、Javaweb项目及lib包依赖

功能描述

需要导入的外部jar包：导入hadoop、hdfs、hbase、mapreduce的Jar包，主要是将hadoop解压的目录中的jar包导入，如下：

  • /usr/local/hadoop/share/hadoop/common
  • /usr/local/hadoop/share/hadoop/hdfs
  • /usr/local/hadoop/share/hadoop/hdfs/lib
  • /usr/local/hadoop/share/hadoop/mapreduce
  • /usr/local/hadoop/share/hadoop/yarn
  • /usr/local/hadoop/hbase/lib

image-20240203170541692

测试服务快速命令

Hbase命令：

# 进入Hbase命令行
hbase shell

# hbase
# 查看default数据库
list_namespace_tables 'default'

# 查看表结构
describe seeds_table

# 查看表数据
scan "seeds_table"

# 删除数据库表（只删除数据）
truncate 'seeds_table'
# 删除数据库表（数据与结构）
disable 'seeds_table'
drop 'seeds_table'

Hive命令：

# 进入Hive
hive

# 查看所有数据库
show databases;

# 使用数据库
USE default;

# 查看所有表
show tables;

# 查询表数据
select * from seeds;

# 删除表（原数据和结构）
DROP TABLE IF EXISTS seeds;
-- 仅删除表中的数据，保留表结构
TRUNCATE TABLE seeds;

六、快捷命令汇总

快速关闭各个服务

# 1、关闭hadoop服务
# 进入hadoop目录
cd /opt/server/hadoop-3.1.0/sbin/
# 关闭
./stop-dfs.sh

# 2、关闭yarn服务
cd ${HADOOP_HOME}/sbin/
./stop-yarn.sh

# 3、关闭hive服务
ps aux | grep hiveserver2
kill -9 <PID>

# 4、关闭zookeeper
zkServer.sh stop

# 5、关闭Hbase（关闭hdfs）
stop-hbase.sh

# 查看java进程
jps

快速启动各个服务

# 1、开启hadoop服务
# 进入hadoop目录
cd /opt/server/hadoop-3.1.0/sbin/
# 开启
./start-dfs.sh

# 2、开启yarn服务
cd ${HADOOP_HOME}/sbin/
./start-yarn.sh

# 3、开启hive远程连接
nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &

# 4、开启zookeeper
zkServer.sh start

# 5、开启Hbase（开启hdfs）
start-hbase.sh

# 查看java进程
jps

image-20240607230256354

番外：极速搭建大数据配套环境（导入Virtualbox）

导入提前搭建好的环境

①配置静态ip地址

cd /etc/sysconfig/network-scripts/

# 直接修改enp0s3配置文件
vi ifcfg-enp0s3

配置内容直接在ifcfg-enp0s3网卡文件修改（可自行根据主机cmd中的网关地址）：

image-20240607223451778

开启网络连接：

image-20240607012007519

配置DNS1：

DNS1: 8.8.8.8

②配置域名映射

Hadoop 组件之间需要基于 SSH 进行通讯，配置免密登录后不需要每次都输入密码，配置映射：

vim /etc/hosts

# 文件末尾增加（之前增加过无需增加）
192.168.10.120 server

重启下网卡：

systemctl restart network

测试环境

1、windows环境配置hosts文件

前提，我们需要配置域名映射（Hbase会使用到），因为我们从zookeeper中取到的是服务名，自然我们应该去配置映射：

  • 路径位置：C:\Windows\System32\drivers\etc
  • 配置信息：192.168.10.126 server
# 刷新DNS解析缓存
ipconfig /flushdns

image-20240202005904861

2、finalshell测试连接

image-20240615141031015

3、访问HDFS：http://server:9870/dfshealth.html#tab-overview

image-20240615141039356

整理者：长路 时间：2024.2.3-6.7

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1827787.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

桂电人工智能学院大数据实验，使用 Docker 搭建 hadoop 集群

桂电人工智能学院大数据实验，使用 Docker 搭建 hadoop 集群

桂电人工智能学院大数据实验&#xff0c;使用 Docker 搭建 hadoop 集群 第一步 安装 Docker, Windows 上可以使用 Docker Desktop 下载地址&#xff1a;https://www.docker.com/products/docker-desktop/ 安装过程自行谷歌 安装好的标志&#xff1a;打开终端 运行docker p…
阅读更多...
产品人生（13）：从“产品的RFM分析”看如何探索“职业方向”

产品人生（13）：从“产品的RFM分析”看如何探索“职业方向”

我们在做产品分析时&#xff0c;经常会用到一种方法“产品的RFM分析”&#xff0c;它是一种客户细分和价值评估的常用方法&#xff0c;广泛应用于电子商务、零售和其他众多行业&#xff0c;它可以帮助企业和产品团队更好地理解用户行为&#xff0c;优化营销策略&#xff0c;提升…
阅读更多...
基于协同过滤算法的电影推荐

基于协同过滤算法的电影推荐

基于协同过滤算法的电影推荐 电影推荐系统使用了基于**协同过滤&#xff08;Collaborative Filtering&#xff09;的算法来生成推荐。具体来说&#xff0c;使用了基于用户的协同过滤&#xff08;User-Based Collaborative Filtering&#xff09;**算法&#xff0c;步骤如下&am…
阅读更多...
国外视频搬运素材去哪里找？可搬运下载国外的素材网站库分享

国外视频搬运素材去哪里找？可搬运下载国外的素材网站库分享

如果你正在寻找高质量的国外视频素材来提升你的视频制作水平&#xff0c;不用担心&#xff0c;今天我将为大家推荐几个知名的视频素材网站&#xff0c;让你轻松找到理想的素材资源。 蛙学府 首先推荐的是国内非常受欢迎的“蛙学府”。蛙学府是一个综合性网站&#xff0c;专门提…
阅读更多...
通过Navicat Premium进行sql文件互转db文件

通过Navicat Premium进行sql文件互转db文件

目录 一、获取原来数据sql文件 二、通过sql文件转换db文件 三、db文件转换成功 一、获取原来数据sql文件 原数据main右键》转储SQL文件》结构和数据》main.sql 二、通过sql文件转换db文件 新建db文件》Navicta》新建SQLite(SQ)》导入db文件》 main右键》运行SQL文件》 mai…
阅读更多...
【调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新】

【调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新】

调试笔记-系列文章目录 调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 文章目录 调试笔记-系列文章目录调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 前言一、调试环境操作系统&#xff1a;Windows 10 专业版调试环境调试目标 二、调…
阅读更多...
计算机专业：黄金时代是否依旧？

计算机专业：黄金时代是否依旧？

计算机专业&#xff1a;黄金时代是否依旧&#xff1f; 随着2024年高考落幕&#xff0c;数百万高三学生将面临人生中的重要抉择&#xff1a;选择大学专业。在这个关键节点&#xff0c;计算机相关专业是否仍是“万金油”的选择&#xff1f;在过去的几十年里&#xff0c;计算机科…
阅读更多...
Adobe设计替代软件精选列表

Adobe设计替代软件精选列表

Adobe软件的替代列表&#xff0c;最初由 XdanielArt 收集&#xff0c;并由社区改进。您可以随意打开问题或拉出请求&#xff0c;或从数据中创建图像(以便于共享)。列表总是按照免费和开源选项的顺序排列&#xff0c;但根据您的用例&#xff0c;它可能不是最佳选择 替代因素 &am…
阅读更多...
【Qt】QT textBrowser 设置字体颜色和大小

【Qt】QT textBrowser 设置字体颜色和大小

1. 效果 2. 代码 {ui->methodText->append("<font size9 colorgreen> dddddddddd </font>");ui->methodText->append("<font size9 colorred> vvvvvvvvvv </font>"); }
阅读更多...
测试 halcon算子 derivate_gauss 高斯一阶导数卷积

测试 halcon算子 derivate_gauss 高斯一阶导数卷积

参上了 matlab fileexchange 有人上传了高斯 dx,dy一阶导卷积代码 卷积核的计算我修改成了核元素绝对值求做分母 归一化 和halcon的 derivate_gauss算子的计算结果对别如下 还是不知道怎么做到两者结果一致. 测试图像: 我的: halcon的: 获取两份图像的灰度值到数组并做对应位…
阅读更多...
利用机器学习重构视频中的人脸

利用机器学习重构视频中的人脸

引言 中国与英国的研究团队携手合作&#xff0c;开创了一种创新的视频面孔重塑技术。这项技术能够以极高的一致性对视频中的面部结构进行逼真的放大和缩小&#xff0c;且避免了常见伪影的产生。 从研究人员选取的YouTube视频样例中可见&#xff0c;经过处理后&#xff0c;女演…
阅读更多...
nvm 管理多版本node

nvm 管理多版本node

因有多个前端项目&#xff0c;不同项目使用的node版本不一样&#xff0c;所以在本地使用nvm管理不同的node版本。 一、安装nvm 1&#xff09;nvm理解 nvm全英文也叫node.js version management&#xff0c;是一个nodejs的版本管理工具。nvm和n都是node.js版本管理工具&#xff…
阅读更多...
经销商的生意好坏很大程度上跟这群人有关

经销商的生意好坏很大程度上跟这群人有关

可以说经销商企业的营收几乎都是靠业务员跑出来的&#xff0c;无论在什么时期、无论在什么区域、无论什么市场情况、无论销售哪些商品&#xff0c;业务员都是企业销售工作的基础&#xff0c;一方面企业需要通过各种手段去提升业务员工作效率&#xff0c;让他们有能力去获得更多…
阅读更多...
《C语言》动态内存管理

《C语言》动态内存管理

文章目录 一、动态内存分配二、关于动态内存开辟的函数1、malloc2、free3、calloc4、realloc 三、常见的动态内存的错误1、对NULL指针的解引用操作2、对动态开辟空间的越界访问3、对非动态开辟内存使用free释放4、释放free释放一块动态开辟的内存的一部分5、对同一块动态内存多…
阅读更多...
牛客小白月赛96 解题报告 | 珂学家

牛客小白月赛96 解题报告 | 珂学家

前言 题解 A. 最少胜利题数 签到 n1 len(set(input())) n2 len(set(input()))if n1 < n2:n1, n2 n2, n1print (-1 if n1 6 else n1 - n2 1)B. 最少操作次数 思路: 分类讨论 只有-1,0,1,2这四种结果 特判 01, 10 n int(input()) s input()# 枚举 from collectio…
阅读更多...
Nginx配置文件详解指令示咧Nginx配置文件深入详解与实战

Nginx配置文件详解指令示咧Nginx配置文件深入详解与实战

本人详解 作者：王文峰，参加过 CSDN 2020年度博客之星，《Java王大师王天师》 公众号：JAVA开发王大师，专注于天道酬勤的 Java 开发问题中国国学、传统文化和代码爱好者的程序人生，期待你的关注和支持！本人外号：神秘小峯 山峯 转载说明：务必注明来源（注明：作者：王文峰…
阅读更多...
线上教育培训办公系统系统的设计

线上教育培训办公系统系统的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;管理员管理&#xff0c;教师管理&#xff0c;学生管理&#xff0c;运营事件管理 教师账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;学生管理&#xff0c;作业管理&#xff0c;电…
阅读更多...
了解统计学中不同类型的分布

了解统计学中不同类型的分布

目录 一、说明 二、均匀分布&#xff1a; 三、机器学习和数据科学中的均匀分布示例&#xff1a; 3.1 对数正态分布&#xff1a; 3.2 机器学习和数据科学中的对数正态分布示例&#xff1a; 四、 帕累托分布 4.1 什么是幂律&#xff1f; 4.2 机器学习和数据科学中的帕累托分布示例…
阅读更多...
atmega8 上传程序

atmega8 上传程序

使用icsp 烧写时先关闭串口程序&#xff0c;与串口uart连接相关的电路勿于电脑连接 接触不良 1.使用icsp 上传 1&#xff09;可以直接上传程序 如官方示例blink 或是 serial示例 2&#xff09;可以先烧录bootload 方便下次使用串口上传程序代码 A)使用专门的icsp 上传器上传…
阅读更多...
慧天卓特：2024年春夏之季山东旱情干旱监测分析

慧天卓特：2024年春夏之季山东旱情干旱监测分析

2024年开春以来&#xff0c;山东省平均降水量较常年同期偏少92.8%&#xff0c;同时受高温天气影响&#xff0c;山东出现了阶段性气象旱情。截至6月10日&#xff0c;山东省农作物受旱面积121.5万亩&#xff0c;农田缺墒面积262.4万亩。为全力抗旱保夏种&#xff0c;山东自5月29日…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023