安装和配置
修改文件配置:修改文件名将(sqoop-env-template.sh改为sqoop-env.sh)
编辑sqoop-env.sh内部文本,修改调用文件位置
将sqoop-env.sh,配置到全局变量中,方便调用。
查看正常运用
第一类:数据库中的数据导入到HDFS上
# sqoop import --connect Idbc:mysql:/hdp-server-01:3306/baba -username root
--password root -table bbs _detail
我们可以看到,只用到了map,就存入了数据
添加文件位置,指定 保存地址,分隔符,查询是否成功!
控制MapTask的数量(降低能耗,提高性能)
增加where 条件,来筛选要导入的数据
增加 query 语句(使用\将语句换行).继续精确要倒入的数据
一定要注意切分,不然就不知道maptask到底用什么字段去切分。
第二类:数据库的数据直接导入hive
Hdfs中的数据库的数据直接导入hive
例如:
1.为确保hdfs上存在这个数据文本,也要确保数据库中有这个表。
验证: