简介
Sqoop 是一款开源的工具,主要用于在
Hadoop(Hive)
与传统的数据库
(mysql
、
postgresql...)
间进行数据的传递,可以将一个关系型数据库(例如 :
MySQL ,Oracle ,Postgres
等)中的
数据导进到
Hadoop
的
HDFS
中,也可以将
HDFS
的数据导进到关系型数据库中。
Sqoop 项目开始于
2009
年,最早是作为
Hadoop
的一个第三方模块存在,后来为了让使
用者能够快速部署,也为了让开发人员能够更快速的迭代开发,
Sqoop
独立成为一个
Apache
项目。
安装
解压
重命名
修改sqoop/conf/sqoop-env-template.sh配置文件名称
修改sqoop-env.sh文件
添加如下(按自己安装软件的环境目录添加):
export HADOOP_COMMON_HOME=/opt/hadoop-3.3.4
export HADOOP_MAPRED_HOME=/opt/hadoop-3.3.4
export HIVE_HOME=/opt/hive-3.1.3
拷贝JDBC驱动包
拷贝JDBC驱动到sqoop的lib目录下
验证sqoop
bin/sqoop help
弹出警告说什么什么没配是正常的,我们需要什么功能就配什么组件
测试连接MySQL
bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password p@ssw0rd
没有报错并显示当前mysql中的全部数据库说明连接成功