Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的开源工具。它可以将结构化数据从关系型数据库(如MySQL、Oracle、SQL Server等)导入到Hadoop的分布式文件系统(HDFS)或hive中,并且可以将数据从HDFS、hive导出到关系型数据库中。
1.安装配置
1.解压缩
sudo tar -zxvf sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz -C /opt/module/
2.改名
mv sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz ./sqoop
3.添加环境变量
sudo vim /etc/profile
输入内容:
export SQOOP_HOME=/opt/module/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
刷新配置文件:source /etc/profile
4.添加权限
sudo chown -R root:root ./sqoop
root:root=>所属组名:所属组群名
5.修改配置文档
cd /usr/local/src/sqoop/conf mv sqoop-env-template.sh sqoop-env.sh sudo vim sqoop-env.sh # Modify the configuration file sqoop-env.sh export HADOOP_COMMON_HOME=/usr/local/src/hadoop export HADOOP_MAPRED_HOME=/usr/local/src/hadoop export HBASE_HOME=/usr/local/src/hbase export HIVE_HOME=/usr/local/src/hive export ZOOCFGDIR=/usr/local/src/zookeeper export ZOOKEEPER_HOME=/usr/local/src/zookeeper
6.配置mysql的Driver驱动器放在sqoop的lib中
cp /opt/software/mysql-connector-java-5.1.37.jar ../lib/
7.测试是否配置成功
sqoop list-databases -connect jdbc:mysql://bigdata1:3306 --username root --password 123456
常用命令
命令名称 | 命令说明 |
import | 将关系型数据库数据导入到HDFS、HIVE、HBASE |
export | 将HDFS、HIVE导入到关系型数据库中 |
help | 获取帮助信息 |
list-database | 查看所有数据库 |
list-tables | 查看所有表 |
create-hive-table | 创建hive表 |
eval | 查看sql的执行文档 |
version | 产看sqoop版本信息 |