Hive环境搭建(Mysql数据库)

news2024/11/17 6:37:36

【实验目的】

    1)   了解hive的作用

    2)   熟练hive的配置过程(Mysql数据库)

【实验原理】

    Hive工具中默认使用的是derby数据库,该数据库使用简单,操作灵活,但是存在一定的局限性,hive支持使用第三方数据库,例如mysql,通过配置可以把mysql集成到hive工具中,在实际的应用当中就比较方便,mysql功能更强大一些,社会中应用也广泛一些。

【实验环境】

    本次环境是:centos6.5 +Hadoop-2.4.1 +jdk1.7.0_79 + mysql

    工具包在/simple/soft目录下

    注:IP视情况而定

【实验步骤】

    一 、解压hive

        1.1 在linux系统下,首先执行cd /simple 命令进入simple目录下,然后把/simple/soft目录下的hive压缩包解压到/simple目录下,执行命令为:tar -zxvf  /simple/soft/hive-0.12.0.tar.gz。如图1所示

 

 1.2 执行完解压命令之后,可以通过执行命令:ls可以看到一个hive解压目录。如图2所示 

 

二 、配置hive

        2.1 解压完毕hive压缩包后,切换目录到/simple/hive-0.12.0目录并查看下面的文件列表。如图3所示

 

 2.2 在/simple/hive-0.12.0目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:cp hive-env.sh.template hive-env.sh。如图4所示   

 

 

 

 2.3 在/simple/hive-0.12.0/conf目录下执行:vim hive-env.sh并编辑内容。如图5所示 

 

  2.4 在/simple/hive-0.12.0目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:mv hive-default.xml.template hive-site.xml。如图6所示       

 

2.5 完成上一步操作之后,此时需要修改hive-site.xml文件的内容,`由于hive-site.xml中内容较多,我们需要在本地打开文件进行删除文件中的内容,单击桌面Computer->Filesystem->simple->hive-0.12.0->conf,右击hive-site.xml文件选择Open With gedit进行编译,删除<configuration></configuration>中所有内容,此操作会比较耗时`,操作完之后再终端执行命令:`vim hive-site.xml`之后并查看内容,注意:mysql url路径地址的ip地址根据本机情况进行修改。如图7,8所示 

 

 

 2.6 完成上一步之后,在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,,增加以下内容:

             export JAVA_HOME=/simple/jdk1.7.0_79

             export HIVE_HOME=/simple/hive-0.12.0

             export HADOOP_HOME=/simple/hadoop-2.4.1。如图9,10所示         

 

 

 

 2.7 在命令终端任意目录下,执行命令:vim /etc/profile然后编辑内容,进行hive环境变量的配置。然后执行命令:source /etc/profile,让配置生效。如图11所示 

 

2.8 配置完环境变量之后,执行命令"start-all.sh"启动hadoop服务,然后在hive-0.12.0/bin目录下运行./hive,进入hive shell环境表示安装配置成功 。 如图12所示 

 

2.9 在测试的过程中有可能文件权限问题,对应目录主要有两个:

          1)hdfs://192.168.1.2:9000/tmp

          2)/tmp

          可以通过如下命令修改hdfs上的tmp和本地tmp文件夹权限的修改:

          hdfs dfs -mkdir /tmp

          hdfs dfs -chmod -R 777 /tmp  //hdfs上的文件权限

          chmod -R 777 /tmp //linux文件权限。 如图13所示 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1956096.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

探索C++中的多态性:理解虚函数和运行时多态

前言&#xff1a; 在现代软件开发中&#xff0c;面向对象编程&#xff08;OOP&#xff09;已经成为了主流。其中一个强大的概念就是多态性&#xff08;Polymorphism&#xff09;&#xff0c;它不仅仅是一种技术&#xff0c;更是一种设计思想和实现方式&#xff0c;为软件开发带…

Python批量采集某东评论,实现可视化分析

女朋友没事就喜欢网购&#xff0c;买一大堆又不用&#xff0c;总说不合适&#xff0c;为了不让她花冤枉钱&#xff0c;于是我决定用Python写一个采集商品评论的脚本&#xff0c;然后对商品进行分析&#xff0c;这样就不怕踩到坑了&#xff01; 让我们直接开始本次操作 准备工作…

PPT模板背景音乐去除攻略:3个方法教你轻松删除自带背景乐!

PPT模板中自带的背景乐却找不到明显的播放图标&#xff0c;同时在幻灯片切换效果中也已选择“无声音”&#xff0c;但播放时仍有背景乐&#xff0c;这可能是由于音乐被嵌入到了幻灯片母版中。 针对这种情况&#xff0c;以下是一些去掉背景音乐的步骤&#xff1a; 方法一&…

【C++】C++11的新特性 --- lambda表达式 ,新的类功能,模块的可变参数 , emplace系列接口

如果你停止,就是谷底! 如果你还在继续,就是上坡! 这是我听过关于人生低谷最好的阐述。 -- 刘同 C11的新特性 1 lambda表达式1.1 基本用法1.2 细谈参数列表与捕捉列表 2 新的类功能2.1 移动构造与移动赋值2.2 default和delete 3 模块的可变参数4 emplace系列接口Thanks♪(&…

国防科技大学深圳地区新生欢送会圆满举行

2024年7月28日&#xff0c;第97个八一建军节来临之际&#xff0c;在这个充满希望的盛夏时节&#xff0c;深圳地区迎来了13名即将踏入国防科技大学的优秀学子。 为了庆祝这一荣耀时刻&#xff0c;并表达对新生的深切祝福&#xff0c;在国防科技大学深圳校友会黄丹会长的积极倡议…

小白也能读懂的ConvLSTM!(开源pytorch代码)

ConvLSTM 1. 算法简介与应用场景2. 算法原理2.1 LSTM基础2.2 ConvLSTM原理2.2.1 ConvLSTM的结构2.2.2 卷积操作的优点 2.3 LSTM与ConvLSTM的对比分析2.4 ConvLSTM的应用 3. PyTorch代码参考文献 仅需要网络源码的可以直接跳到末尾即可 1. 算法简介与应用场景 ConvLSTM&#x…

“手撕”MySQL的索引

目录 二、索引的作用 三、索引的缺点 四、如何使用索引 查看索引&#xff1a; 创建索引&#xff1a; ​编辑 删除索引&#xff1a; 五、索引的底层原理 那什么是B树&#xff0c;什么是B树呢&#xff1f; B树的好处&#xff1a; 总结&#xff1a; 一、什么是索引 索…

OpenCV 图像预处理—图像金字塔

文章目录 相关概念高斯金字塔拉普拉斯金字塔应用 构建高斯金字塔为什么要对当前层进行模糊&#xff1f;1. 平滑处理2. 减少混叠&#xff08;Aliasing&#xff09;3. 多尺度表示4. 图像降采样 举个栗子创建高斯金字塔和拉普拉斯金字塔&#xff0c;并用拉普拉斯金字塔恢复图像 相…

《汇编语言 基于x86处理器》- 读书笔记 - 第3章-汇编语言基础

《汇编语言 基于x86处理器》- 读书笔记 - 第3章-汇编语言基础 3.1 基本语言元素3.1.1 第一个汇编语言程序常见汇编语言调用规范 3.1.2 整数常量&#xff08;基数、字面量&#xff09;3.1.3 整型常量表达式3.1.4 实数常量十进制实数十六进制实数&#xff08;编码实数&#xff09…

使用git命令行的方式,将本地项目上传到远程仓库

在国内的开发环境中&#xff0c;git的使用是必不可少的。Git 是一款分布式版本控制系统&#xff0c;用于有效管理和追踪文件的变更历史及协作开发。本片文章就来介绍一下怎样使用git命令行的方式&#xff0c;将本地项目上传到远程仓库&#xff0c;虽然现在的IDE中基本都配置了g…

Ubuntu安装terminator教程

Terminator 是一个高级的终端仿真器,专为 Linux 和 Unix 系统设计。它的主要特点是提供了丰富的多窗口和多标签功能,使用户能够在一个窗口中管理多个终端会话。这对于系统管理员、开发人员以及需要同时运行多个命令行任务的用户来说,极为方便。 一、安装 1、更新包 sudo a…

使用Selenium爬虫批量下载AlphaFold数据库中的PDB文件

注意&#xff1a;本方法使用了python&#xff0c;下载速度一般&#xff0c;如果需要更快的大批量下载可以考虑使用其他方法&#xff0c;例如FTP Alphafold数据库其实提供了许多物种的蛋白质组&#xff1a; AlphaFold Protein Structure Database 但是如果你搜索的物种不在这个…

算法面试leadcode【经典150道】

88 合并两个有序数组 方法一 使用arraycopy排序 * 思路一&#xff1a;将nums2合并到nums1的尾部&#xff0c;再直接进行排序。* 使用arraycopy(int[]nums1,int m,int[] nums2,int n)* 方法来进行排序&#xff0c;* 从原数组的哪个位置&#xff0c;移动到原数组的哪个位置&#…

xxl-job适配达梦数据库并制作镜像、源码部署xxl-job

背景&#xff1a;因项目需要信创&#xff0c;需将原本的mysql数据库&#xff0c;改成达梦数据库 一、部署达梦数据库 1.1 部署达梦数据库服务 可参考&#xff1a;Docker安装达梦数据库_达梦数据库docker镜像-CSDN博客 PS&#xff1a;部署达梦数据库时&#xff0c;需加上大小…

Java | Leetcode Java题解之第300题最长递增子序列

题目&#xff1a; 题解&#xff1a; class Solution {public int lengthOfLIS(int[] nums) {int len 1, n nums.length;if (n 0) {return 0;}int[] d new int[n 1];d[len] nums[0];for (int i 1; i < n; i) {if (nums[i] > d[len]) {d[len] nums[i];} else {int…

19. Revit API: Parameter(参数)

一、前言 我们在前面或多或少提到也用到参数了&#xff0c;这篇便细讲一下。 首先&#xff0c;我们知道好多信息都藏在参数里&#xff0c;或者说可以从参数中获取。我们还能够通过调整参数的值&#xff0c;改变模型的形态&#xff0c;即族的参变。 其次&#xff0c;有时族上…

【CAN通讯系列4】CAN通讯如何传递信号?

在【CAN通讯系列3】如何学习CAN通讯&#xff1f;中举了一个例子&#xff1a;新能源汽车要实现驱动功能&#xff0c;先需要整车控制器VCU计算目标转速或扭矩请求等信号&#xff0c;再通过CAN通讯传递给电机控制器MCU&#xff0c;就这个例子继续探讨CAN通讯的基础问题。 1 CAN数据…

入门 PyQt6 看过来(案例)08~ 页面布局

主题&#xff1a;学习页面布局控件以及布局容器的使用&#xff08;理论知识&#xff09; 1 布局控件 PyQt6的布局方式包括绝对布局、水平布局、垂直布局、网格布局和表单布局。 绝对布局&#xff1a;直接设置控件对象在参考坐标中的位置水平布局&#xff1a;对加入的控件对象从…

引用的项目“xxxx/tsconfig.node.json”可能不会禁用发出。

vue3 报错&#xff1a; 引用的项目“xxxx/tsconfig.node.json”可能不会禁用发出。 解决&#xff1a; 进入对应的 json 文件&#xff1a; 修改&#xff1a; "noEmit": false 当 noEmit 设置为 false 时&#xff0c;TypeScript 编译器将根据项目配置生成相应的输出文…