sqoop安装(linux)

news2024/11/24 13:05:13

一、前期准备

  1. 安装好hadoop伪分布

  1. 安装好MySQL

  1. 下载sqoop压缩文件

实验环境:

实验环境

版本

CentOS

6.5

MySQL

5.7.37

hadoop

3.3.0

sqoop

1.4.7

sqoop1.4.7 下载链接:https://pan.baidu.com/s/16AUdtBmSv7OG2PTyA1XcgQ?pwd=qu7l

mysql驱动包下载地址:https://pan.baidu.com/s/1JeAWz-H4k0WA9RjmTCWVCg?pwd=z49d

二、安装

  1. sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到虚拟机

此处是将sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz上传到hadoop用户的software目录下

  1. tar -zxvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz #解压sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz

  1. mv sqoop-1.4.6.bin__hadoop-2.6.0 sqoop #重命名

  1. sudo chown -R hadoop:hadoop sqoop #修改文件夹属性,此处hadoop是当前登录的用户,改为自己当前登录的用户名

  1. cd sqoop/conf/ #进入sqoop的conf目录下

  1. cat sqoop-env-template.sh >> sqoop-env.sh #将sqoop-env-template.sh复制一份并命名为sqoop-env.sh

  1. vim sqoop-env.sh #编辑sqoop-env.sh

在文件中编辑如下内容,编辑好之后保存退出

 export HADOOP_COMMON_HOME=/home/hadoop/software/hadoop-3.3.0
  export HADOOP_MAPRED_HOME=/home/hadoop/software/hadoop-3.3.0
  export HIVE_HOME=/home/hadoop/software/hive3.1.2
  #export HBASE_HOME=#如果读者配置了HBASE,也需要在此配置HBASE的路径
  #export ZOOCFGDIR= #如果读者配置了ZooKeeper,也需要在此配置ZooKeeper的路径
  1. 将mysql-connector-java.jar上传到sqoop的lib目录下(mysql-connector-java.jar在文章前边有下载链接)

  1. vi ~/.bash_profile #编辑环境变量

在文件中添加如下内容,编辑好之后保存退出

export SQOOP_HOME=/home/hadoop/software/sqoop
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
  1. source ~/.bash_profile #更新~/.bash_profile 文件

到这里sqoop就安装完成了。

三、测试与mysql的连接

  1. 启动mysql

/home/mysql5.7/support-files/mysql.server start

这里的/home/mysql5.7是安装mysql的路径,把它对应改成自己的安装路径即可

  1. 在Sqoop的安装目录下执行:

bin/sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

#测试sqoop与MySQL之间的连接是否成功


到这里sqoop就安装完成啦🌝😄👊

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/169634.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

易于设置的倒计时页面Easy countdown

今天开始放假了 什么是 Easy countdown ? Easy countdown 是一个易于设置的倒计时页面。可以设置为倒计时或计时器。 先看看官方提供的动图 安装 在群晖上以 Docker 方式安装。 在注册表中搜索 easy-countdown ,选择第一个 yooooomi/easy-countdown&am…

【前端学习指南】基础开发环境搭建

🍭 Hello,我是爱吃糖的范同学 邻近春节,虽然学校的事情已经处理的差不多了,又开始要忙着找实习......时间安排上还是有很多问题,希望大家多多包涵,我已经加班加点在写作了😂😂&…

高盐废水如何处理,离子交换树脂在高盐废水中的应用

什么是高盐废水? 高盐废水是工业废水中较常见的一种,它是指总含盐量(以NaCl计)至少为1%的废水,属于难处理的废水之一。 高盐废水中的总溶解固体物TDS,多在10000-25000mg/L,含盐成分复杂,有Na、…

vue3中echarts组件的最佳封装形式

项目中经常用到echarts,不做封装直接拿来使用也行,但不可避免要写很多重复的配置代码,封装稍不注意又会过度封装,丢失了扩展性和可读性。始终没有找到一个好的实践,偶然看到一篇文章,给了灵感。找到了一个目…

【数据结构】并查集

目录1.概述2.代码实现3.应用本文参考: LABULADONG 的算法网站 《数据结构教程》(第 5 版)李春葆主编 1.概述 (1)并查集支持查找一个元素所属的集合以及两个元素各自所属的集合的合并运算。当给出两个元素的一个无序对…

氨氮废水如何处理,离子交换树脂在氨氮废水中的应用点

近几年来重点污染源考核结果及地表水监测结果表明,氨氮超标现象仍较严重。认清氨氮的来源,了解其危害,采取有效的处理措施成为保护水环境不被氨氮污染的必要环节。 北京科海思科技有限公司利用离子交换特种树脂可以做到有针对性的氨氮的去除…

vue2之生命周期

生命周期 生命周期是指组件从创建,运行到销毁的阶段。而生命周期函数(也叫生命周期钩子)是vue在关键的时刻帮我们调用的一些特殊名称的函数,会根据生命周期的阶段,依次执行。 beforeCreatecreatedbeforeMountmountedb…

基本的SELECT语句与显示表结构

文章目录基本的SELECT语句SELECT...SELECT ... FROM列的别名去除重复行空值参与运算着重号查询常数(查询同时添加常数字段)显示表结构过滤数据练习题基本的SELECT语句 SELECT… SELECT 11, 22;# 直接这样写相当于下面这句 SELECT 11, 22 FROM DUAL; # 这里DUAL:伪…

【云攻防系列】从攻击者视角聊聊K8S集群安全(上)

前言 作为云原生管理与编排系统的代表,Kubernetes(简称K8S)正受到越来越多的关注,有报告[1]显示,96% 的组织正在使用或评估 K8S,其在生产环境下的市场占有率可见一斑。 K8S 的功能十分强大,其…

day38【代码随想录】动态规划之斐波那契数、爬楼梯、使用最小花费爬楼梯

文章目录前言一、斐波那契数(力扣509)二、爬楼梯(力扣70)三、使用最小花费爬楼梯(力扣746)总结前言 1、斐波那契数 2、爬楼梯 3、使用最小花费爬楼梯 一、斐波那契数(力扣509) 思路…

详解C语言预处理

个人主页:平行线也会相交 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 平行线也会相交 原创 收录于专栏【C/C】 本文目录程序的翻译环境和执行环境翻译环境(C语言程序的编译链接)执行(运行)环境…

扩展Linux根目录磁盘空间

问题:如果一开始创建虚拟机,挂载给虚拟机根目录(/)的磁盘空间太小了,所以磁盘空间很快就会填满。如果根目录的磁盘空间占用超过90%,会导致无法再新安装软件。 查看根目录磁盘空间: 可以--右键…

导入若依项目数据库脚本到mysql数据库

使用DBeaver工具连接本地mysql数据库 在之前的文章中,已经介绍过,怎么样去寻找某款软件的替代软件了,如果不知道怎么找的,可以再看看之前的文章:为大家介绍一个我常用的搜索同类替代软件的网站 大家都知道,…

day18集合

1.Map集合 1.1Map集合概述和特点【理解】 Map集合概述 interface Map<K,V> K&#xff1a;键的类型&#xff1b;V&#xff1a;值的类型Map集合的特点 双列集合,一个键对应一个值键不可以重复,值可以重复 Map集合的基本使用 public class MapDemo01 {public static void…

Linux常用命令——trap命令

在线Linux命令查询工具(http://www.lzltool.com/LinuxCommand) trap 指定在接收到信号后将要采取的动作 补充说明 trap命令用于指定在接收到信号后将要采取的动作&#xff0c;常见的用途是在脚本程序被中断时完成清理工作。当shell接收到sigspec指定的信号时&#xff0c;ar…

数据类型(个人学习笔记)

这里写自定义目录标题数据类型浮点型数据浮点型常量浮点型变量字符串数据字符串型常量混合运算与printf()printf模型进制转换数据类型 常量&#xff1a;整形、实型&#xff08;浮点&#xff09;、字符型和字符串型 变量&#xff1a;变量名、变量值 整型数据 define 直接将字…

Windows 服务器刷题(带答案)

作者简介&#xff1a;一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭&#xff1a;低头赶路&#xff0c;敬事如仪 个人主页&#xff1a;网络豆的主页​​​​​​ 目录 前言 一.刷题 前言 本章将会讲解Windows服务器刷题 一.刷题 1.[多选题]windows …

一编文章就让你明白什么是ES6

一、ES6 简介 1.什么是 ES6 ? ES 的全称是 ECMAScript , 它是由 ECMA 国际标准化组织,制定的一项脚本语言的标准化规范。 ES6 实际上是一个泛指&#xff0c;泛指 ES2015 及后续的版本。 2.为什么使用 ES6 ? 每一次标准的诞生都意味着语言的完善&#xff0c;功能的加强。…

卷积神经网络-猫狗识别(附源码)

一&#xff0c;项目描述该项目将使用卷积神经网络算法&#xff0c;识别图片中的动物是猫还是狗数据集地址&#xff1a;https://momodel.cn/explore/5efc77dbc018c95e69fb2a81?typedataset其中&#xff0c;训练用的图片数据集在 dogs_cats/data 文件夹下&#xff0c;整个数据集…

计算机视觉Computer Vision课程学习笔记六之Fourier Analysis傅里叶分析

第六章 傅里叶分析 处理图像频率信息 图像的频率是表征图像中灰度变化剧烈程度的指标&#xff0c;是灰度在平面空间上的梯度。 从纯粹的数学意义上看&#xff0c;傅立叶变换是将一个函数转换为一系列周期函数来处理的。从物理效果看&#xff0c;傅立叶变换是将图像从空间域转换…