使用ETL工具Sqoop,将MySQL数据库db03中的10张表的表结构和数据导入(同步)到大数据平台的Hive中

news2024/11/16 9:58:03
  1. 在MySQL中,创建一个用户,用户名为sqoop03,密码为:123456

启动MySQL:support-files/mysql.server start

进入MySQL:mysql -u root -p

创建用户sqoop03:grant all on *.* to sqoop03@'%' identified by '123456';

(1)登陆MySQL的sqoop03用户,创建一张数据库,数据库的名称为db03登录到mysql的sqoop03用户

mysql -u sqoop03 -p

(2)创建数据库sqoop03

create database db03;

2.通过sqoop查看mysql的sqoop03 用户下有哪些数据库

命令:sqoop list-databases -connect jdbc:mysql://127.0.0.1:3306 -username sqoop03 -password 123456

3.在数据库db03中创建10张表,表名和字段可以自定义,每张表的数据不少于5行

(1)创建第一张表

mysql> use db03

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> create table tb01(name char(100),id char(100));

Query OK, 0 rows affected (0.75 sec)

mysql> insert into tb01 values('zhh','100');

Query OK, 1 row affected (0.16 sec)

mysql> insert into tb01 values('za','101');

Query OK, 1 row affected (0.09 sec)

mysql> insert into tb01 values('zrr','102');

Query OK, 1 row affected (0.02 sec)

mysql> insert into tb01 values('gg','103');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb01 values('qq','104');

Query OK, 1 row affected (0.04 sec)

(2)创建第二张表

mysql> create table tb02(name char(100),sex char(30),age int);

Query OK, 0 rows affected (0.26 sec)

mysql> insert into tb02 values('qq','man','104');

Query OK, 1 row affected (0.12 sec)

mysql> insert into tb02 values('zz','man','13');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb02 values('cf','woman','23');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb02 values('gg','woman','20');

Query OK, 1 row affected (0.02 sec)

mysql> insert into tb02 values('gf','woman','26');

Query OK, 1 row affected (0.00 sec)

(3)创建第三张表

mysql> create table tb03(name char(100),heiht float);

Query OK, 0 rows affected (0.26 sec)

mysql> insert into tb03 values('gf',115);

Query OK, 1 row affected (0.26 sec)

mysql> insert into tb03 values('zz',165);

Query OK, 1 row affected (0.06 sec)

mysql> insert into tb03 values('jz',155);

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb03 values('kk',150);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb03 values('ll',167);

Query OK, 1 row affected (0.01 sec)

(4)创建第四张表

mysql> create table tb04 (name char(100), tel char(30));

Query OK, 0 rows affected (0.11 sec)

mysql> insert into tb04 values('hh','110');

Query OK, 1 row affected (0.04 sec)

mysql> insert into tb04 values('zz','111');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb04 values('gg','112');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb04 values('jj','113');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb04 values('nm','114');

Query OK, 1 row affected (0.01 sec)

(5)创建第五张表

mysql> create table tb05 (name char(100),adress char(100));

Query OK, 0 rows affected (0.08 sec)

mysql> insert into tb05 values('hh','ChongQing');

Query OK, 1 row affected (0.04 sec)

mysql> insert into tb05 values(kk','guangdong');

mysql> insert into tb05 values('kk','guangdong');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb05 values('Jack','YunNan');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb05 values('Jf','YunNan');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb05 values('fg','HeNan');

Query OK, 1 row affected (0.00 sec)

(6)创建第六张表

mysql> create table tb06 (name char(100),love  char(50));

Query OK, 0 rows affected (0.14 sec)

mysql> insert into tb06 values('Marry','Sing');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb06 values('Mm','hhh');

Query OK, 1 row affected (0.06 sec)

mysql> insert into tb06 values('kk','hj');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb06 values('ss','hj');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb06 values('rts','dg');

Query OK, 1 row affected (0.01 sec)

(7)创建第七张表

mysql> create table tb07 (name char(100),academic  char(50));

Query OK, 0 rows affected (0.14 sec)

mysql> insert into tb07 values('Marry','Senior');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb07 values('Mm','Senior');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb07 values('oo','Ungergraduate');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb07 values('hh','Ungergraduate');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb07 values('iu','Ungergraduate');

Query OK, 1 row affected (0.00 sec)

(8)创建第八张表

mysql> create table table08 (name char(100),work  char(50));

ERROR 1050 (42S01): Table 'table08' already exists

mysql> create table tb08 (name char(100),work  char(50));

Query OK, 0 rows affected (0.14 sec)

mysql> insert into tb08 values('hh','Driver');

Query OK, 1 row affected (0.03 sec)

mysql> insert into tb08 values('ll','singer');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb08 values('tt','teacher');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb08 values('qq','teacher');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb08 values('yq','teacher');

Query OK, 1 row affected (0.00 sec)

(9)创建第九张表

mysql> create table tb09 (name char(100),salary int);

Query OK, 0 rows affected (0.23 sec)

mysql> insert into tb09 values('Ma',6000);

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb09 values('hh',4000);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb09 values('gh',3000);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb09 values('yy',9000);

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb09 values('oy',2000);

Query OK, 1 row affected (0.00 sec)

(10)创建第十张表

mysql> create table tb10 (name char(100),status char(30));

Query OK, 0 rows affected (0.11 sec)

mysql> insert into tb10 values('Ma','Single');

Query OK, 1 row affected (0.09 sec)

mysql> insert into tb10 values('hh','Single');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb10 values('ih','Married');

Query OK, 1 row affected (0.01 sec)

mysql> insert into tb10 values('pp','Married');

Query OK, 1 row affected (0.00 sec)

mysql> insert into tb10 values('lh','Married');

Query OK, 1 row affected (0.01 sec)

建立的10张表如下:

​​​​​​​​​​​​​​3、使用ETL工具Sqoop,将MySQL数据库db03中的10张表的表结构和数据导入(同步)到大数据平台的Hive中

(1)启动sqoop:

[root@HadoopMaster bin]# ./sqoop list-databases -connect jdbc:mysql://HadoopMaster:3306/ -username sqoop03 -password 123456

命令:

 sqoop import -connect jdbc:mysql://HadoopMaster:3306/db03 -username sqoop03 -password 123456 -table tb01 -hive-import -hive-table bigdata03.tb01 -m 1

显示成功:

​​​​​​​​​​​​​​

 (10个表依次输入命令即可。)

4、结果如下:

hive> show tables;

在9870端口查看如下:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/448655.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

5.5 高斯型求积公式简历

学习目标: 我会按照以下步骤学习高斯求积公式简介: 理解积分的概念:学习什么是积分以及积分的几何和物理意义,如面积、质量、电荷等概念。 掌握基本的积分技巧:掌握基本的积分公式和技巧,如换元法、分部积…

重要通知!报表控件FastReport VCL将停止支持旧的 Delphi 版本

FastReport 是功能齐全的报表控件,可以帮助开发者可以快速并高效地为.NET,VCL,COM,ActiveX应用程序添加报表支持,由于其独特的编程原则,现在已经成为了Delphi平台最优秀的报表控件,支持将编程开…

视频批量剪辑:如何给视频添加上下黑边并压缩视频容量。

视频太多了,要如何进行给视频添加上下黑边并压缩视频容量?今天就由小编来教教大家要如何进行操作,感兴趣的小伙伴们可以来看看。 首先,我们要进入视频剪辑高手主页面,并在上方板块栏里选择“批量剪辑视频”板块&#…

PX4无人机调参

文章目录 前言一、滤波参数二、PID参数自动调参手动调参角速率环姿态环 前言 PX4 1.13.2 日志分析软件:flight review https://logs.px4.io/ 一、滤波参数 调参时可以用自稳模式飞行 在调滤波器参数之前,可以先大致调一下PID的参数,角度率…

4-log打印

1.相关文件 2.示例 #include <stdbool.h> #include <stdint.h> #include <stdio.h> #include "nrf.h" #include "nrf_delay.h" #include "app_error.h" #include "nrf_log.h" #include "nrf_log_ctrl.h" …

WPF教程(九)--数据绑定(2)--绑定模式

一、绑定模式 绑定模式以及模式的使用效果。 示例如下是根据ListBox中的选中项&#xff0c;去改变TextBlock的背景色。将 TextBlock 的背景色绑定到在 ListBox 中选择的颜色。在下面的代码中针对TextBlock的 Background 属性使用绑定语法绑定从 ListBox 中选择的值。代码如下。…

typeScript的安装及基础使用示例

4.1.安装typescript npm 包&#xff1a; npm install -g typescript 2.查看安装好的版本检验&#xff1a; tsc -v 3.编译一个typescript 文件&#xff1a;tsc hello.ts 4.运行一个ts文件&#xff1a; 首先安装ts-node &#xff0c;ts-node需要在全局去安装。这里要用 npm…

【LeetCode】剑指 Offer 64. 求1+2+…+n p307 -- Java Version

题目链接&#xff1a;https://leetcode.cn/problems/qiu-12n-lcof/ 1. 题目介绍&#xff08;64. 求12…n&#xff09; 求 12...n &#xff0c;要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句&#xff08;A?B:C&#xff09;。 【测试用例】&a…

android aidl

本文只是记录个人学习aidl的实现&#xff0c;如需学习请参考下面两篇教程 官方文档介绍Android 接口定义语言 (AIDL) | Android 开发者 | Android Developers 本文参考文档Android进阶——AIDL详解_android aidl_Yawn__的博客-CSDN博客 AIDL定义&#xff1a;Android 接口…

实验五 视图与完整性约束

实验五 视图与完整性约束 目录 实验五 视图与完整性约束选择题sql评测题1、SQl视图&#xff1a;建立视图CJ\_STUDENT题目代码题解 2、SQL视图&#xff1a;建立视图AVG\_CJ题目代码 3、SQL视图&#xff1a;建立视图IS\_STUDENT题目代码题解 4、SQL视图&#xff1a;根据视图CJ\_S…

pcle接口详解用途说明

PCIE (peripheral component interconnect express) 中文名&#xff1a;高速串行计算机扩展总线标准&#xff0c;它原来的名称为“3GIO”&#xff0c;由英特尔在2001年提出。 PCIE 有 12345代 和x1/x4/x8/x16插槽 1、PCIE x1/x4/x8/x16插槽模式&#xff0c;的区别和用处 pcel …

ChatGPT 下我的焦虑

鉴于一些读者还未体验过&#xff0c;可以看一下以下 GitHub 项目&#xff0c;收集了几千个封装的 ChatGPT 网站&#xff1a; https://github.com/weekend-project-space/chatgpt-sites 在 ChatGPT 刚出的时候&#xff0c;我对 AI 不屑一顾&#xff0c;大概源自于好几年前人工智…

微服务之异步消息通信

Informal Essay By English I’m sorry that I haven’t updated the article lately because the blogger has been busy with interviews and summarizing their experience. I will create a special article to describe the recent events. Next, let’s get to the topi…

FRP 内网穿透,绕过防火墙控制内网机器

内网穿透&#xff0c;端口映射技术是一门十分古老的技术&#xff0c;他一直是一把双刃剑&#xff0c;可以绕过防火墙入侵目标服务器&#xff0c;也可以方便我们运维&#xff0c;工作。 早年的lcx 或者portmap都是比较老的工具了&#xff0c;frp这个工具比之前的lcx或者portmap都…

element-china-area-data 中国省市区级联选择器

1.安装 npm install element-china-area-data -S 2. 说明 文档&#xff1a;element-china-area-data - npm provinceAndCityData是省市二级联动数据&#xff08;不带“全部”选项&#xff09; regionData是省市区三级联动数据&#xff08;不带“全部”选项&#xff09; prov…

车载操作系统架构研究报告

目 录 前 言 ............................................... 1 1 术语定义及缩略语 ................................................................ 3 1.1 术语与定义 ................................................................. 3 1.2 缩略语 ..............…

[读书笔记] Variational AutoEncoders

小全读书笔记 《Variational AutoEncoders》 1. Generative Model &#xff08;生成式模型&#xff09;简述2. 简单生成模型 AutoEncoders![AutoEncoder结构图](https://img-blog.csdnimg.cn/46c5dcf47e754bf7b71d973a15507e0e.png#pic_center)2.1 结构2.2 不足 3. Variational…

【Vue已解决】阻止Vue在启动时生成生产提示

介绍 这里是小编成长之路的历程&#xff0c;也是小编的学习之路。希望和各位大佬们一起成长&#xff01; 以下为小编最喜欢的两句话&#xff1a; 要有最朴素的生活和最遥远的梦想&#xff0c;即使明天天寒地冻&#xff0c;山高水远&#xff0c;路远马亡。 一个人为什么要努力&a…

3 redis线程IO模型

1 IO模型 1.1 IO IO (Input/Output&#xff0c;输入/输出)即数据的读取&#xff08;接收&#xff09;或写入&#xff08;发送&#xff09;操作&#xff0c;通常用户进程中的一个完整IO分为两阶段&#xff1a;用户进程空间<–>内核空间、内核空间<–>设备空间&…

常用脚本记录

文章目录 1. shell脚本1.1 backup.sh // 目录备份&#xff08;数据备份&#xff09;1.2 check_ip.sh // 检查ip1.3 FlotMonitor.sh // 流量监控1.4 ssh_NoPasswd.sh // 集群免密 2. python脚本2.1 游戏脚本2.1.1 saolei.py // 扫雷(python3)2.1.2 Guessnum.py // 猜数字(python…