单机hbase-2.4.15配置snappy压缩

news2024/12/24 9:02:01

单机hbase配置snappy压缩

前言

  1. 过程比较坎坷,网上帖子说法不一,以下过程是参考几个帖子亲自走过一遍,并最终可以成功建表。
  2. 本人安装的所有目录均为/data/test-hbase,涉及目录的替换为自己的目录即可。

参考连接

  • https://blog.csdn.net/weixin_34185512/article/details/92091958
  • https://www.likecs.com/show-305977788.html#sc=2200
  • https://blog.csdn.net/wang6733284/article/details/125397154
  • https://blog.csdn.net/warrah/article/details/79074141
  • https://askubuntu.com/questions/1173587/e-package-libssl1-0-0-has-no-installation-candidate
  • https://blog.csdn.net/tang05709/article/details/110366597
  • https://blog.csdn.net/plifemao/article/details/86711771

一、hbase环境准备(如果有可跳过)

1. 下载hbase-2.4.15

2. 下载jdk1.8

[Oracle账号](http://bugmenot.com/view/oracle.com)

3. 解压hbase、jdk

tar -zxvf hbase-2.4.15-bin.tar.gz
tar -zxvf jdk-8u202-linux-x64.tar.gz

在这里插入图片描述

4. 配置jdk

vim hbase-2.4.15/conf/hbase-env.sh

export JAVA_HOME=/data/test-hbase/jdk1.8.0_202/

在这里插入图片描述

5. 配置表数据存储路径(可选)

vim ./hbase-2.4.15/conf/hbase-site.xml
<property>
    <name>hbase.rootdir</name>
    <value>file:///data/test-hbase/hbase-data</value>
</property>
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/data/test-hbase/zookeeper-data</value>                                                                                                                                                                                          
</property>

在这里插入图片描述

二、 依赖包安装

1. 安装基础依赖

sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libsnappy-dev bzip2 libbz2-dev libjansson-dev fuse libfuse-dev libxrender-dev libxtst-dev libsasl2-dev libssl-dev
注意cmake需要3.1版本以上,安装完执行cmake --version 如果不是3.1以上的版本,需要下载包手动安装

在这里插入图片描述

2. 安装libssl1.0-dev

2.1. 添加源
vim /etc/apt/sources.list
2.2. 在末尾添加
deb http://security.ubuntu.com/ubuntu bionic-security main
2.3. 执行安装
sudo apt update && apt-cache policy libssl1.0-dev

sudo apt-get install -y libssl1.0-dev

三、 依赖软件安装

1. maven(如果有可跳过)

tar -zxvf apache-maven-3.8.6-bin.tar.gz

2. snappy-1.1.1

tar -zxvf snappy-1.1.1.tar.gz

cd snappy-1.1.1

./autogen.sh

./configure

make && make install
#查看是否成功
ll /usr/local/lib/ | grep snappy

在这里插入图片描述

3. protobuf-2.5.0

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

./autogen.sh

./configure

make && make install

sudo ldconfig
#查看是否成功
protoc --version

在这里插入图片描述

4. hadoop-3.2.3

4.1. 解压
tar -zxvf hadoop-3.2.3-src.tar.gz
4.2. 配置环境变量
vim /etc/profile
#maven
export MAVEN_HOME=/data/test-hbase/apache-maven-3.8.6
export PATH=${MAVEN_HOME}/bin:$PATH
#java
export JAVA_HOME=/data/test-hbase/jdk1.8.0_202
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
4.3. 编译生成hadoop-native-Libraries
cd hadoop-3.2.3-src

mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X

在这里插入图片描述

4.4. 进入hadoop-3.2.3-src/hadoop-dist/target/hadoop-3.2.3/lib/native目录,检查是否存在以下文件

在这里插入图片描述

4.5. 配置类库路径

注意路径

vim hbase-2.4.15/conf/hbase-env.sh
export HBASE_LIBRARY_PATH=/data/test-hbase/hadoop-3.2.3-src/hadoop-dist/target/hadoop-3.2.3/lib/native/
4.6. 配置启动检查(可选)

不配置不影响使用,配置的话hbase启动会检查配置的类库是否正确,如果不正确hbase直接启动失败,如果不配置,hbase可以正常启动,但是建表的时候如果本地类库不正确,也会报错。

vim hbase-2.4.15/conf/hbase-site.xml
<property>
    <name>hbase.regionserver.codecs</name>                                                                                                                                                                                                  
    <value>snappy</value>
</property>

五、启动hbase

./hbase-2.4.15/bin/start-hbase.sh

在这里插入图片描述

六、测试

6.1. 启动hbase命令行
./hbase-2.4.15/bin/hbase shell
6.2. 建表
create 'snappyTest',{NAME=>'f',COMPRESSION => 'SNAPPY'};
6.3. 查看描述
describe 'snappyTest';
6.4. 添加数据
put 'snappyTest','rowKey','f:c','data-Valuejkasjdkfjaksjdkfjaskdjfkajskdfjaksdjfjskdf';
6.5 查询数据
scan 'snappyTest';

在这里插入图片描述
到此完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/5057.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【黑马程序员】Redis 课程 P37 的练习_三种方式实现功能_【黑马点评项目】给店铺类型查询业务添加缓存

本博客内容对应的视频为&#xff1a;https://www.bilibili.com/video/av766995956/?p37补充介绍&#xff1a;【黑马点评项目】是黑马官方于 2022-02-28 在 BiliBili 发表的学习视频教程的练手项目 1.简介 练习&#xff1a;给店铺类型查询业务添加缓存 店铺类型在首页和其它多…

栈和队列(顺序表、单链表形式)

栈和队列栈栈.顺序表结构体的设计栈的初始化栈的销毁入栈出栈获取栈顶数据判断栈空栈中有效元素的个数Stack.hStack.ctest.c栈.单链表结构体设计栈的初始化栈的销毁入栈出栈获取栈顶元素判断栈是否为空获取栈中元素个数Stack.hStack.ctest.c队列队列.顺序表结构体的设计队列的初…

学生HTML个人网页作业作品 简单的IT技术个人简历模板html下载 简单个人网页设计作业 静态HTML个人博客主页

&#x1f389;精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 &#x1f482; 作者主页: 【主页——&#x1f680;获取更多优质源码】 &#x1f393; web前端期末大作业…

Python老手也会犯的20个新手级错误

Python编码时应避免的常见错误 编程&#xff08;不仅Python&#xff0c;也包括其它编程语言&#xff09;最好的一点是&#xff0c;有多种方法来实现同一解决方案。 使用不同的方法来达到相同的结果&#xff08;图像由作者绘制&#xff09; 由于下述原因&#xff0c;有些方法会比…

几款很好看的爱心表白代码(动态)

分享几款好看的爱心表白代码❤️爱心代码❤️&#xff08;C语言&#xff09;❤️流动爱心❤️&#xff08;htmlcssjs&#xff09;❤️线条爱心❤️&#xff08;htmlcssjs&#xff09;❤️biu表白爱心❤️&#xff08;htmlcssjs&#xff09;❤️matlab爱心函数❤️&#xff08;需…

Java类和对象(一)

&#x1f380;作者&#xff1a;爱塔居的博客_CSDN博客-领域博主 &#x1f32d;专栏&#xff1a;JavaSE &#x1f367;作者简介&#xff1a;大三学生&#xff0c;想要努力地变得更好&#xff01; 附上一张可可爱爱的猫猫图~ &#x1f353;&#x1f353;&#x1f353;&#x1f35…

论文学习——多度量水文时间序列相似性分析

文章目录摘要1 研究背景1.1 主要研究内容1.2 研究背景1.3 启发2 基于改进BORDA投票法的多度量水文时间序列相似性分析2.1 研究方法2.2 BORDA投票法的改进2.2.1 BORDA 的缺点2.2.2 改进的BORDA投票法3 实验验证与分析3.1 实验数据3.2 实验结果分析4 结语多度量组合可以提高相似性…

关于使用GB28181协议实现与大华摄像机的语音对讲功能小记

目前只测试了与大华摄像机的语音对讲功能&#xff0c;在此记录下对接工程中遇到的问题和收获。 首先我们需要理清下思路&#xff1a; 第一步要熟悉语音对讲的协议流程&#xff0c;下图为国标28181中的参考图&#xff1a; 这里我们可以简化下流程&#xff0c;只参与与摄像机的…

计算机网络第二章知识点回顾(自顶向下)

第二章知识点回顾1.应用层1.1网络应用架构1.1.1客户-服务器架构1.1.2P2P架构1.1.3两种架构的对比1.2不同终端上的进程通信1.3进程与网络的接口&#xff1a;套接字1.4进程如何标识自己&#xff1a;进程编址1.5因特网提供的传输服务小结1.6Web应用画像1.7 HTTP协议1.7.1HTTP使用T…

大数据技术基础实验十三:Kafka实验——订阅推送示例

大数据技术基础实验十三&#xff1a;Kafka实验——订阅推送示例 文章目录大数据技术基础实验十三&#xff1a;Kafka实验——订阅推送示例一、前言二、实验目的三、实验要求四、实验原理1、Kafka简介2、Kafka使用场景五、实验步骤1、配置各服务器之间的免密登录2、安装ZooKeeper…

【C++】优先级队列 priority_queue的使用模拟实现 | 仿函数

&#x1f308;欢迎来到C专栏~~优先级队列的使用 & 模拟实现 (꒪ꇴ꒪(꒪ꇴ꒪ )&#x1f423;,我是Scort目前状态&#xff1a;大三非科班啃C中&#x1f30d;博客主页&#xff1a;张小姐的猫~江湖背景快上车&#x1f698;&#xff0c;握好方向盘跟我有一起打天下嘞&#xff01…

聚乙二醇衍生物MAL-PEG-NH2,Maleimide-PEG-amine,CAS:1207751-12-9​

英文&#xff1a;MAL-PEG-NH2&#xff0c;Maleimide-PEG-amine 中文&#xff1a;马来酰亚胺-聚乙二醇-氨基 2、CAS编号&#xff1a;1207751-12-9 3、所属分类&#xff1a;Amine PEG Maleimide PEG 4、分子量&#xff1a;可定制&#xff0c;5000、2000、3400、20000、10000、…

【附源码】Python计算机毕业设计汽车租赁网站

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…

eBPF学习笔记(一)—— eBPF介绍内核编译

eBPF学习笔记&#xff08;一&#xff09;—— eBPF介绍&内核编译eBPF介绍eBPF基础代码验证即时编译eBPF开发工具BCCbpftracelibbpf C/C库eBPF Go库内核编译查看内核版本下载内核源码安装依赖项安装最新版llvm和clang配置内核编译内核BPF示例程序常见问题问题一&#xff1a;…

C++ 堆、大顶堆、小顶堆、堆排序

目录一、什么是堆&#xff1f;1.1 大顶堆1.2 小顶堆1.3 自定义greater1.4 堆索引的特点1.5 堆操作添加元素删除最大元素检查序列是否是堆检查部分序列为堆对堆进行排序升序降序问题&#xff1a;sort()和sort_heap()有什么区别二、排序算法&#xff1a;堆排序2.1 堆排序原理创建…

Bootstrap框架(全)

Bootstrap中文网&#xff1a;点我直达 Bootstrap菜鸟教程&#xff1a;点我直达 目录&#xff1a;&#xff08;一&#xff09;Bootstrap标准模板&#xff1a;&#xff08;二&#xff09;CSS样式区&#xff1a;一、布局容器&#xff1a;二、栅格系统&#xff1a;1.列组合&#x…

<Linux> 软件包管理器yum及编辑器vim的使用

文章目录一、yum的背景知识1. 商业生态2. 开源生态3. 软件生态本土化二、yum 的基本使用1. 查看软件包2. 安装、卸载、搜索软件实现Windows下和Linux下文件互传三、vim的基本使用1. vim 的基本概念2. vim 的基本操作2.1.模式间切换2.2.插入模式2.3.命令模式2.4.底行模式四、vim…

nginx(四十二)access阶段的模块学习

一 ngx_http_access ① 基本描述 场景&#xff1a; 限制某些ip来源的访问;基于ip进行限制细节点&#xff1a; 基于$remote_addr进行判断的 ② allow deny ③ 官方案例 说明&#xff1a; 按照配置文件中allow|deny的先后顺序,只要匹配上则停止继续匹配 ④ 经典应用场…

Rust机器学习之ndarray

Rust机器学习之ndarray 众所周知&#xff0c;Python之所以能成为机器学习的首选语言&#xff0c;与其丰富易用的库有很大关系。某种程度上可以说是诸如numpy、pandas、scikit-learn、matplotlib、pytorch、networks…等一系列科学计算和机器学习库成就了Python今天编程语言霸主…

Vue项目实战——【基于 Vue3.x + NodeJS】实现的课程表排课系统二(week-title)

文章目录基于 Vue3.x NodeJS实现的课程表排课系统&#xff08;二&#xff09;初始化样式封装axios处理数据表格头部&#xff08;周几&#xff09;子组件写入根组件App.vue浅拿一下数据基于 Vue3.x NodeJS实现的课程表排课系统&#xff08;二&#xff09; 初始化样式 src/ass…