Sqoop学习详细介绍！！

news2025/1/11 7:24:35

一、Sqoop介绍

Sqoop是一款开源的工具，主要用于在Hadoop(HDFS/Hive/HBase)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

二、安装

1).解压
tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/installs
2).重命名
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6
3).修改配置文件
cd /opt/installs/sqoop1.4.6/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
#增加配置，注意修改路径
export HADOOP_COMMON_HOME=/opt/installs/hadoop3.1.4
export HADOOP_MAPRED_HOME=/opt/installs/hadoop3.1.4
export ZOOCFGDIR=/opt/installs/zookeeper3.4.6
export HIVE_HOME=/opt/installs/hive3.1.2

4).将mysql的驱动jar复制到sqoop的lib目录下 (底层需要用JDBC操作MySQL数据库)
cp /opt/installs/hive3.1.2/lib/mysql-connector-java-8.0.26.jar /opt/installs/sqoop1.4.6/lib/

5).配置sqoop环境变量
export PATH=$PATH:/opt/installs/sqoop1.4.6/bin

三、sqoop-import

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

-- 测试数据库的表是否可以连接，显示库中的所有表
sqoop list-tables --connect jdbc:mysql://hadoop10:3306/test1 --username root --password 123456

1). RDBMS（mysql） -> HDFS

sqoop import \
--driver com.mysql.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_sex \
--num-mappers 4 \
--fields-terminated-by '\t' \
--target-dir /mysql/t_user \
--delete-target-dir

参数                                  作业
--driver                        mysql驱动
--connect                    数据库连接url  jdbc:mysql://ip:3306/数据库
--username                 连接mysql数据库用户名
--password                 连接mysql数据库密码
--table                         mysql中test1数据库中表名
--num-mappers           sqoop底层是mapreduce, 指定启动的maptask个数，海量数据可以并                                    行抽取
                                  解释：sqoop抽取任务会转换成mr作业，该mr作业由于不需要对数据进行聚合，所有只需要保留maptask阶段，没有reduceTasksqoop，需要依赖hadoop的HDFS和Yarn
--fields-terminated-by    数据写入HDFS存储到文件中，列与列之间的分隔符
--target-dir                     存储到HDFS的目标路径,配置的是目录，并且该目录应该不存在
--delete-target-dir          如果存在，则提前删除 

 mysql中的表：

运行1：

 查看：

yarn：

hdfs：

运行2： 

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_sex \
--columns "id,name" \
--where "id > 2" \
--target-dir /mysql/t_user \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ','

参数
--columns     指定列名
--where       指定查询条件

查看hdfs：

运行3：

 

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--num-mappers 2 \
--split-by id \
--fields-terminated-by '\t' \
--query 'select id, name,sex from t_sex where $CONDITIONS and id > 2' \
--target-dir /mysql/t_user \
--delete-target-dir

参数             作用
--split-by      根据指定字段进行拆分，相当于datax的splitPK。根据这一列的值把数据分成几部分
--num-mappers   指定并行度,简写-m 
--query         查询语句。$CONDITIONS相当于占位符，写where条件必须有写这个

查看hdfs：

 

 2). RDBMS -> Hive

运行：

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_sex \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-database test_hive \
--hive-table hive_user

 --hive-import              代表将数据导入hive
--fields-terminated-by   导入hive后，存储在HDFS上文件的分隔符
--hive-database          hive的数据库
--hive-table             上边指定库下的表，可以不存在，会自动创建
--hive-overwrite         将表中数据覆盖

查看hive：

 四、sqoop-export

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS关系型数据库）中传输数据，叫做：导出，即使用export关键字。

1). HDFS|hive -> RDBMS

① 准备数据，上传hdfs的sqoop目录下

vi a.txt 
# 在文件中添加如下内容
1 zhangsan true 20 2020-01-11
2 lisi false 25 2020-01-10
3 wangwu true 36 2020-01-17
4 zhaoliu false 50 1990-02-08
5 win7 true 20 1991-02-08


#在hdfs上创建sqoop目录(目录名称随意，不过需要和后边对应),将文件上传到sqoop目录下
hdfs dfs -mkdir /sqoop
hdfs dfs -put a.txt /sqoop

② 在mysql中创建表

注意：导出并不会自动创建对应的表，需要提前自己创建 
create table t_user2(
        id int primary key auto_increment,
        name VARCHAR(32),
        sex boolean,
        age int,
        birthDay date
) CHARACTER SET=utf8;

 ③ 将hdfs上的数据导入mysql表中

sqoop export \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--export-dir /sqoop \
--input-fields-terminated-by ' ' \
--columns "id,name,sex,age,birthDay" \
--table t_user2 \
--update-key id \
--update-mode allowinsert

--export-dir   指定导出数据的目录
--table        mysql中的表名
--columns      字段名
--update-mode  如果是allowinsert,则允许不但能够导入新数据的时候，还可以更新之前的数据
               如果是updateonly,则只会更新以前的数据，不添加新数据
--update-key   如果指定列的值已经存在，则会触发修改操作，否则添加，一般指定主键列

查看mysql:

 五、sqoop应用问题汇总

1.sqoop在导入或者导出的时候，空值问题处理。

注意：不用直接通过工具界面修改表中的数据，制造空数据，需要重新添加一条
Hive 中的 Null 在底层是以“\N”来存储，而 MySQL 中的 Null 在底层就是 Null，为了保证数据两端的一致性。

导入数据时采用--null-string 和--null-non-string。
导出数据时采用--input-null-string 和--input-null-non-string 两个参数。

--null-string含义是 string类型的字段，当Value是NULL，替换成指定的字符
--null-string  '\\N'  替换为  \N

导入（mysql-->hive）：

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_user \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-database test_hive \
--hive-table hive_user    \
--null-non-string   '\\N' \
--null-string  '\\N'

mysql表中有空数据： 

 查看hive表：

 

 

 导出（hive-->mysql）：

sqoop export \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--export-dir /user/hive/warehouse/test_hive.db/dept \
--input-fields-terminated-by '\t' \
--columns "deptno,dname,loc" \
--table dept \
--update-key deptno \
--update-mode allowinsert \
--input-null-non-string   '\\N' \
--input-null-string   '\\N'

在hive表中插入空值数据：

 在mysql查看表：

2.将mysql数据导入到hive分区表中

sqoop import \
--driver com.mysql.cj.jdbc.Driver \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--table t_person2 \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "," \
--hive-overwrite \
--hive-database test_hive \
--hive-table t_person2    \
--null-non-string   '\\N' \
--null-string  '\\N' \
--hive-partition-key dt \
--hive-partition-value 20231220

 查看mysql表：

查看hive表：

 3.将hive分区表导出到mysql

在mysql建表：

 

sqoop export \
--connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \
--username root \
--password 123456 \
--export-dir /user/hive/warehouse/test_hive.db/t_person2/dt=20231220 \
--input-fields-terminated-by ',' \
--table t_person2 \
--update-key dt \
--update-mode allowinsert \
--input-null-non-string   '\\N' \
--input-null-string   '\\N'

查看表：

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1820177.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

提升营业厅服务质量：DuDuTalk柜台录音设备，台席质检的新选择

提升营业厅服务质量：DuDuTalk柜台录音设备，台席质检的新选择

在快节奏的营业厅日常运营中，柜台服务的质量直接影响着客户的满意度和企业的品牌形象。据最新数据显示，全国运营商营业厅数量近100万家，成为服务十几亿用户的前线窗口。然而，在提供日常服务的同时，客户投诉事件也随之而…
阅读更多...
单目标应用：基于蛇鹫优化算法SBOA的微电网优化（MATLAB代码）

单目标应用：基于蛇鹫优化算法SBOA的微电网优化（MATLAB代码）

一、微电网模型介绍 微电网多目标优化调度模型简介_vmgpqv-CSDN博客 参考文献： [1]李兴莘,张靖,何宇,等.基于改进粒子群算法的微电网多目标优化调度[J].电力科学与工程, 2021, 37(3):7 二、蛇鹫优化算法求解微电网 2.1算法简介 蛇鹫优化算法（Secre…
阅读更多...
[DDR5 Jedec] 读操作 Read Command 精讲

[DDR5 Jedec] 读操作 Read Command 精讲

依公知及经验整理，原创保护，禁止转载。 专栏 《深入理解DDR》 Read 读取命令也可以视为列读取命令。当与正确的bank地址和列地址结合使用时，通过激活命令（行访问）移动到检测放大器中的数据， 现在被推送到数…
阅读更多...
开启数字化校园时代：智慧教育的引领者

开启数字化校园时代：智慧教育的引领者

在当前数字化时代，智慧教育已经成为引领未来的热门议题。随着科技的不断进步和教育观念的演进，数字化校园正逐渐变为现实。作为教育界的领导者，我们积极践行智慧教育理念，为学生们营造一个更智能、高效的学习环境。 教育是每个国家…
阅读更多...
解决使用elmessage 没有样式的问题

解决使用elmessage 没有样式的问题

错误情况 这里使用了一个消息提示，但是没有出现正确的样式， 错误原因和解决方法 出现这种情况是因为，在全局使用了按需导入，而又在局部组件中导入了ElMessage组件，我们只需要将局部组件的import删除就可以了 import…
阅读更多...
致 粉丝de信

致 粉丝de信

致 粉丝 -本文呢看不下去别看，但是学业是真的重要（平常有信奥😫），电脑没收……更新可能得到暑假， 同学：小没苯agoe （aaa，学霸！！！&…
阅读更多...
考研计组chap2数据的表示和运算（补充）

考研计组chap2数据的表示和运算（补充）

一、进位计数制 1.r进制 第i位表示r进制的权为i 2.进制转换 （1）r->10 对应位置数*权值 （2）2 -> 16 or 8 每三位2进制数可表示1位16进制 每四位2进制数可表示1位16进制 so 分开之后转为16进制即可 eg：11…
阅读更多...
[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney

[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney

⚡[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney 2024年6月12日，Stable Diffusion 3 Medium的开源代表了生成式 AI 发展的一个重要里程碑。 StableDiffusion3模型分享在文末，需要的自取，免费分享！ Stable Diffusi…
阅读更多...
ssm161基于web的资源共享平台的共享与开发+jsp

ssm161基于web的资源共享平台的共享与开发+jsp

资源共享平台设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术，让传统数据信息的管理升级为软件存储，归纳，集中处理数据信息的管理方式。本资源共享平台就是在这样的大环境下诞生，其可以帮助管理者在短时间内处…
阅读更多...
深度学习500问——Chapter11：迁移学习（1）

深度学习500问——Chapter11：迁移学习（1）

文章目录 11.1 迁移学习基础知识 11.1.1 什么是迁移学习 11.1.2 为什么需要迁移学习 11.1.3 迁移学习的基本问题有哪些 11.1.4 迁移学习有哪些常用概念 11.1.5 迁移学习与传统机器学习有什么区别 11.1.6 迁移学习的核心及度量准则 11.1.7 迁移学习与其他概念的区别 11.1.8 什么…
阅读更多...
搜维尔科技：Movella旗下的Xsens在人形机器人开发中得到广泛应用

搜维尔科技：Movella旗下的Xsens在人形机器人开发中得到广泛应用

人形机器人的发展正在全球范围内受到广泛关注。作为机器人领域的重要分支，人形机器人因其具备高度仿真的外观和动作，以及更贴近人类的行为模式，有望逐渐成为人们日常生活和工业生产中的得力助手。在中国，这一领域的发展尤为引人注…
阅读更多...
算法day27

算法day27

第一题 515. 在每个树行中找最大值 首先是遍历每层的节点，将每一层最大值的节点的值保留下来，最后将所有层的最大值的表返回；具体的遍历每层节点的过程如上一篇故事； 综上所述，代码如下： /*** Definition …
阅读更多...
ssm160基于Java技术的会员制度管理的商品营销系统的设计与实现+vue

ssm160基于Java技术的会员制度管理的商品营销系统的设计与实现+vue

商品营销系统计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术，让传统数据信息的管理升级为软件存储，归纳，集中处理数据信息的管理方式。本商品营销系统就是在这样的大环境下诞生，其可以帮助管理者在短时间内处理…
阅读更多...
QT--DAY1

QT--DAY1

不使用图形化界面实现一个登陆界面 #include "widget.h"Widget::Widget(QWidget *parent): QWidget(parent) {//设置窗口标题this->setWindowTitle("登录界面");//设置窗口大小this->resize(535,410);//固定窗口大小this->setFixedSize(535,410)…
阅读更多...
Python第二语言（十三、PySpark实战）

Python第二语言（十三、PySpark实战）

目录 1.开篇 2. PySpark介绍 3. PySpark基础准备 3.1 PySpark安装 3.2 掌握PySpark执行环境入口对象的构建 3.3 理解PySpark的编程模型 4. PySpark：RDD对象数据输入 4.1 RDD对象概念：PySpark支持多种数据的输入，完成后会返回RDD类的对…
阅读更多...
【cocos creator 3.x】 修改builtin-unlit 加了一个类似流光显示的mask参数

【cocos creator 3.x】 修改builtin-unlit 加了一个类似流光显示的mask参数

效果见图： shader 代码修改如下， 主要看 USE_MASK_UVY 关键字部分修改： // Copyright (c) 2017-2020 Xiamen Yaji Software Co., Ltd. CCEffect %{techniques:- name: opaquepasses:- vert: unlit-vs:vertfrag: unlit-fs:fragproperties: &a…
阅读更多...
数据可视化：Seaborn

数据可视化：Seaborn

安装Seaborn 进入虚拟环境，在终端中键入 pip install seaborn 即可安装。 初步使用Seaborn 在使用seaborn之前，我们先了解一下seaborn是什么，seaborn是以matplotlib为底层的更简便的python第三方库，它可以更快捷地去设置图形的一…
阅读更多...
为CAP面板添加简单的Authentication登录验证功能 C#|.net

为CAP面板添加简单的Authentication登录验证功能 C#|.net

终于搞定了CAP Dashboard的登录验证功能！ 因为网上找不到简单的CAP Dashboard的登录验证功能，所以这个功能摸索着开发了好久。 这个Authentication认证功能，不仅适用于CAP面板，也适用于懒得开发登录页面，但是又需要简单用户名密码登录的网页。 做过后端的比较熟悉，CAP面…
阅读更多...
【SCAU数据挖掘】数据挖掘期末总复习题库简答题及解析——上

【SCAU数据挖掘】数据挖掘期末总复习题库简答题及解析——上

1.K-Means 假定我们对A、B、C、D四个样品分别测量两个变量，得到的结果见下表。 样品 变量 X1X2 A 5 3 B -1 1 C 1 -2 D -3 -2 利用K-Means方法将以上的样品聚成两类。为了实施均值法(K-Means)聚类，首先将这些样品随意分成两类(A、B)和(C、…
阅读更多...
MYSQL 查看SQL执行计划

MYSQL 查看SQL执行计划

一、explain explain select id,db,user,host,command,time,state,info from information_schema.processlist order by time desc; id: 查询的标记，可以查看不同查询的执行顺序。 select_type: 查询的类型，如SIMPLE、SUBQUERY、PRIMARY等。 table: …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023