大数据平台搭建2024(三)

news2024/11/24 5:49:38

三:HBase安装

提前上传hbase安装包至虚拟机

1 上传、解压

tar -zxvf hbase-2.0.0-alpha2-bin.tar.gz -C /hadoop

2 修改配置文件

/hadoop/hbase-2.0.0-alpha2-bin/conf文件夹里

vi /hadoop/hbase-2.0.0-alpha2/conf/hbase-env.sh

修改hbase-env.sh文件

export JAVA_HOME=/usr/java/jdk1.8.0_161
export HBASE_MANAGES_ZK=false #不使用HBase内置的zk,使用外部配置好的zk

修改hbase-site.xml文件

在最后的configuration标签改成如下内容:

<configuration>
	<!--主节点位置-->
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://ns1/HBase</value>
	</property>
	<!--启用分布式-->
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<!--设置HMaster的HTTP端口-->
	<property>
		<name>hbase.mater.info.port</name>
		<value>16010</value>
	</property>
	<!--设置HRegionServer的端口-->
	<property>
		<name>hbase.regionserver.info.port</name>
		<value>16030</value>
	</property>
	<!--设置独立ZK的地址-->
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>node01,node02,node03</value>
	</property>
</configuration>

在这里插入图片描述

配置regionservers

vi /hadoop/hbase-2.0.0-alpha2/conf/regionservers
node01
node02
node03

在这里插入图片描述

配置环境变量,(02\03可以不配置hbase的环境变量)

vi /etc/profile

添加如下内容

export HBASE_HOME=/hadoop/hbase-2.0.0-alpha2
export PATH=$PATH:$HBASE_HOME/bin

在这里插入图片描述

使配置文件生效

source /etc/profile

在这里插入图片描述

复制hadoop(/hadoop/hadoop-2.7.7/etc/hadoop/)里的hdfs-site.xmlcore-site.xml到hbase(/usr/opt/hadoop/hbase-2.0.0-alpha2/conf)中

cp /hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml /hadoop/hbase-2.0.0-alpha2/conf/
cp /hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml /hadoop/hbase-2.0.0-alpha2/conf/

3 复制01的hbase到02、03节点

scp -r /hadoop/hbase-2.0.0-alpha2/ root@node02:/hadoop
scp -r /hadoop/hbase-2.0.0-alpha2/ root@node03:/hadoop

4 启动Hadoop

要先启动Hadoop和zookeeper

cd ~
sh start-all.sh

多起几次确保服务等能起来(看到通过jps查看到namenode,再启动一次即可)
启动hbase

 start-hbase.sh

使用jps查看
出现HMaster和HRegionServer即可
在这里插入图片描述

可能也会出现服务掉线的情况,再启几次即可
浏览器输入
http://node01:16010 能看到3台节点的信息
在这里插入图片描述

5 HBase的终端

进入hbase的命令界面

hbase shell 

6 HBase测试

6-1 显示hbase中的表
list
6-2 创建表user,包含info、data两个列族
create 'user','info','data'
6-3 向user中插入数据
put 'user' , 'rk0001','info:name', 'zhangsan' 
put 'user','rk0001','info:gender','female'
put 'user','rk0001','info:age',20
put 'user','rk0001','data:pic','http://xxxx.jpg'

在这里插入图片描述

6-4 get查询

查看user中rk0001的所有信息

get 'user','rk0001'

查看user中rk0001的info列族所有信息

get 'user','rk0001','info'

查看user中rk0001的info列族中name,age的信息

get 'user','rk0001','info:name','info:age'

查看user中rk0001的info,data列族的信息

get 'user','rk0001','info','data'

表达式查询

get 'user','rk0001',{COLUMN=>['info','data']}
get 'user','rk0001',{COLUMN=>['info:name','data:pic']}

获取user的rk0001时,HBase默认的版本为VERSIONS为1,只会取一个版本的数据,需要修改表的版本号

alter 'user',{NAME=>'info',VERSIONS=>3}

再向info:name插入数据,就可一查看历史版本的数据

get 'user','rk0001',{COLUMN=>'info:name',VERSIONS=>3}

在这里插入图片描述

6-5 其他操作

查询列中包含a的信息

get 'user','rk0001',{FILTER=>"(QualifierFilter(=,'substring:a'))"}

在这里插入图片描述

查询user的所有信息

scan 'user'

在这里插入图片描述

user表添加列族

alter 'user',NAME=>'f1'

在这里插入图片描述

删除f1列族

alter 'user','delete'=>'f1'

在这里插入图片描述

删除user的rk0001的info:age的数据

delete 'user','rk0001','info:age'

停用表

disable 'user'

删除表(要先停用再删除)

drop 'user'

在这里插入图片描述

7 打快照

关闭所有服务

sh stop-all.sh

关闭hbase服务

hbase-daemon.sh stop regionserver
hbase-daemon.sh stop master

在这里插入图片描述

内容:HBase环境配置成功(3个节点都打快照)
在这里插入图片描述

据说关机,再打快照,更省空间
请添加图片描述
感谢大家的支持,关注,评论,点赞!
再见!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1600889.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【单例模式】饿汉式、懒汉式、静态内部类--简单例子

单例模式是⼀个单例类在任何情况下都只存在⼀个实例&#xff0c;构造⽅法必须是私有的、由⾃⼰创建⼀个静态变量存储实例&#xff0c;对外提供⼀个静态公有⽅法获取实例。 目录 一、单例模式 饿汉式 静态内部类 懒汉式 反射可以破坏单例 道高一尺魔高一丈 枚举 一、单例…

【Conda基础命令】使用conda创建、查看、删除虚拟环境及可能的报错处理

文章目录 前言&#xff08;1&#xff09; 在默认路径下创建一个新的虚拟环境&#xff08;2&#xff09; 查看已有的虚拟环境&#xff08;3&#xff09; 删除已有的虚拟环境&#xff08;谨慎操作&#xff09;&#xff08;4&#xff09;激活虚拟环境&#xff08;5&#xff09;退出…

AI大模型日报#0416:李飞飞《2024年人工智能指数报告》、Sora加入Adobe、李彦宏聊百度大模型之路

​导读&#xff1a; 欢迎阅读《AI大模型日报》&#xff0c;内容基于Python爬虫和LLM自动生成。目前采用“文心一言”生成了每条资讯的摘要。标题: 刚刚&#xff0c;李飞飞团队发布《2024年人工智能指数报告》&#xff1a;10大趋势&#xff0c;揭示AI大模型的“喜”与“忧” 摘…

ubuntu 设置 root 用户密码,创建新用户并赋权限

ubuntu 设置 root 用户密码&#xff0c;创建新用户并赋权限 在适用于 Linux 的 Windows 子系统上运行 Linux GUI 应用&#xff0c; 安装 Ubuntu-20.04 系统&#xff0c;新安装好的系统&#xff0c;设置用户名密码时&#xff0c; root 用户密码默认为空&#xff0c;这时需要设置…

《系统架构设计师教程(第2版)》第9章-软件可靠性基础知识-05-软件可靠性测试

文章目录 1. 概述2. 定义软件运行剖面2.1 软件的使用行为建模2.2 输入域分层2.3 弧上的概率分配2.4 其他注意点 3. 可靠性测试用例设计4. 可靠性测试的实施4.1 测试前检查4.2 注意点4.2 可靠性测试的难点1&#xff09;失效判断的主观性2&#xff09;计算的错误结果不易被发现 4…

企业微信主体的修改方法

企业微信变更主体有什么作用&#xff1f;当我们的企业因为各种原因需要注销或已经注销&#xff0c;或者运营变更等情况&#xff0c;企业微信无法继续使用原主体继续使用时&#xff0c;可以申请企业主体变更&#xff0c;变更为新的主体。企业微信变更主体的条件有哪些&#xff1…

【教程】ubuntu20.04 下配置 Charm-crypto 0.5 实验环境

目录 前言先决条件基本依赖安装准备好 gcc&#xff0c;make 和 perl准备好 m4&#xff0c;flex&#xff0c;bison 和 libssl-dev安装 Python3.x&#xff0c;pip3 和 pyparsing 安装 OpenSSL安装 GMP5.x安装 PBC安装 Charm-crypto5.0安装开发环境检验 Charm-crypto5.0 安装成功参…

【高端电流检测IC储能产品应用方案】耐压45V侧轨的电流检测芯片FP137 应用于电脑电源,开关电源以及多口快充充电器,户外移动电源,适配器,电池充电器等

近年来&#xff0c;随着电子产品的飞速发展&#xff0c;对电流检测精度和可靠性的要求也越来越高。特别是在电脑电源、开关电源以及多口快充充电器、户外移动电源、适配器、电池充电器等领域&#xff0c;对电流检测技术的需求更是日益增长。 电流检测芯片是一种关键的电子元器…

异地组网如何安装?

【天联】是一款强大的异地组网安装工具&#xff0c;可以帮助企业实现远程设备的统一管理和协同办公。以下是【天联】可以应用的一些场景&#xff1a; 零售、收银软件应用统一管理&#xff1a;【天联】可以结合医药、餐饮、商超等零售业的收银软件&#xff0c;实现异地统一管理。…

企业邮箱迁移是什么?如何通过IMAP/POP协议进行邮箱迁移?

使用公司邮箱工作的过程中&#xff0c;公司可能遇到公司规模的扩大或技术架构升级&#xff0c;可能要换公司邮箱。假如马上使用新的公司邮箱&#xff0c;业务处理要被终断。企业邮箱转移是公司更换邮箱不可或缺的一步&#xff0c;不仅是技术操作&#xff0c;更是企业信息安全、…

【机器学习300问】71、神经网络中前向传播和反向传播是什么?

我之前写了一篇有关计算图如何帮助人们理解反向传播的文章&#xff0c;那为什么我还要写这篇文章呢&#xff1f;是因为我又学习了一个新的方法来可视化前向传播和反向传播&#xff0c;我想把两种方法总结在一起&#xff0c;方便我自己后续的复习。对了顺便附上往期文章的链接方…

和鲸科技将参与第五届空间数据智能学术会议并于应急减灾与可持续发展专题论坛做报告分享

ACM SIGSPATIAL中国分会致力于推动空间数据的研究范式及空间智能理论与技术在时空大数据、智慧城市、交通科学、社会治理等领域的创新与应用。ACM SIGSPATIAL中国分会创办了空间数据智能学术会议&#xff08;SpatialDI&#xff09;&#xff0c;分会将于2024年4月25日-27日在南京…

记【k8s】:访问 Prometheus UI界面:kubernetes-etcd (0/1 up) Error : out of bounds

记【k8s】&#xff1a;访问 Prometheus UI界面&#xff1a;kubernetes-etcd &#xff08;0/1 up&#xff09; Error &#xff1a; out of bounds 1、报错详情2、解决方法 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 出现 “out of bound…

Spark-机器学习(2)特征工程之特征提取

在之前的文章中&#xff0c;我们了解我们的机器学习&#xff0c;了解我们spark机器学习中的MLIib算法库&#xff0c;知道它大概的模型&#xff0c;熟悉并认识它。想了解的朋友可以查看这篇文章。同时&#xff0c;希望我的文章能帮助到你&#xff0c;如果觉得我的文章写的不错&a…

回归损失函数

目录 1 MAE 2 MSE 3 MAPE 4 Quantile Loss分位数损失 回归损失函数也可以做为评价指标使用&#xff0c;但是有没有想过数据分布与损失函数之间的关系呢&#xff01; 使用特定损失函数的前提是我们对标签的分布进行了某种假设&#xff0c;在这种假设的前提下通过极大似然法推…

4.16学习总结

MySQL数据库学习(一) 一.MySQL数据库的基本知识 (一).数据库 概念&#xff1a;数据仓库,软件,安装在操作系统之上 作用&#xff1a;存储数据&#xff0c;管理数据 (二).数据库的分类 关系型数据库&#xff1a;SQL&#xff08;Structured Query Language&#xff09; MySQL…

Rust面试宝典第4题:打家劫舍

题目 你是一个专业的小偷&#xff0c;计划偷窃沿街的房屋。每间房内都藏有一定的现金&#xff0c;影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统。如果两间相邻的房屋在同一晚上被小偷闯入&#xff0c;系统会自动报警。 给定一个代表每个房屋存放金额的非负整…

简单3步,OpenHarmony上跑起ArkUI分布式小游戏

标准系统新增支持了方舟开发框架&#xff08;ArkUI&#xff09;、分布式组网和 FA 跨设备迁移能力等新特性&#xff0c;因此我们结合了这三种特性使用 ets 开发了一款如下动图所示传炸弹应用。 打开应用在通过邀请用户进行设备认证后&#xff0c;用户须根据提示完成相应操作&am…

回归预测 | Matlab实现GWO-GPR灰狼算法优化高斯过程回归多变量回归预测

回归预测 | Matlab实现GWO-GPR灰狼算法优化高斯过程回归多变量回归预测 目录 回归预测 | Matlab实现GWO-GPR灰狼算法优化高斯过程回归多变量回归预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 Matlab实现GWO-GPR灰狼算法优化高斯过程回归多变量回归预测 1.Matlab实现…

上海计算机学会 2023年10月月赛 乙组T3 树的连通子图(树、树形dp)

第三题&#xff1a;T3树的连通子图 标签&#xff1a;树、树形 d p dp dp题意&#xff1a;给定一棵 n n n个结点的树&#xff0c; 1 1 1号点为这棵树的根。计算这棵树连通子图的个数&#xff0c;答案对 1 , 000 , 000 , 007 1,000,000,007 1,000,000,007取余数。题解&#xff1…