使用sqoop从Hive导出数据到MySQL

news2024/11/17 16:47:47

1、启动hadoop:start-all.sh。

2、启动mysql:support-files/mysql.server start。

3、启动hive:hive。

4、在hive中创建表。

(学生信息:学号xh,姓名xm)xsxx:

create table bigdata03.xsxx

(

xh String,

xm String

)

row format delimited fields terminated by ','stored as textfile;

(课程信息:课程号kch,学号xh,课程名称kcmc,学分xf)kcxx

create table bigdata03.kcxx

(

kch String,

xh String,

kcmc String,

xf String

)

row format delimited fields terminated by ','stored as textfile location '/kc';

 

5、分别编辑xsxxdata和kcxxdata里面数据。

1》vim xsxxdata 编辑数据,数据如下:

201177010179,Tom

201177010180,Zou

201177010181,Lii

201177010182,Hezi

2》vim kcxxdata 编辑数据,数据如下:

C001,201177010179,ETL,2

C002,201177010180,Java,2

C003,201177010181,Hadoop,3

C004,201177010182,Spark,2

6、使用命令:

1》show create table bigdata03.xsxx;

2》show create table bigdata03.kcxx;

找到其路径备用:

1》LOCATION

'hdfs://192.168.10.130:9000/user/hive/warehouse/bigdata03.db/xsxx'

2》LOCATION

'hdfs://192.168.10.130:9000/kc'

7、上传数据xsxxdata到其找到的路径下:

1》hadoop fs -put xsxxdata hdfs://192.168.10.130:9000/user/hive/warehouse/bigdata03.db/xsxx

2》hadoop fs -put kcxxdata hdfs://192.168.10.130:9000/kc

上传成功,即可查看到其数据:

select * from bigdata03.xsxx;

 

select * from bigdata03.kcxx;

 

8、数据可视化(前端)需求:Tom选修了哪些课程,对应的每门课程有多少学分。

命令如下:

select

m.xm,n.kcmc,n.xf

from bigdata03.xsxx as m

join bigdata03.kcxx as n on m.xh=n.xh

where m.xm="Tom";

其结果如下:

 

9、将其结果放到jg01表中:

create table bigdata03.jg01

(

xm String,

kcmc String,

xf String

)

row format delimited fields terminated by ','stored as textfile location '/jgdata';

 

插入分析出的结果:

insert into bigdata03.jg01

select

m.xm,n.kcmc,n.xf

from bigdata03.xsxx as m

join bigdata03.kcxx as n on m.xh=n.xh

where m.xm="Tom";

这样表示插入成功:

 

查看保存的结果数据:

查看其路径:

hdfs://192.168.10.130:9000/jgdata

查看根路径下面的文件:

hdfs dfs -ls /jgdata

10、将hive分析好的结果数据导出到mysql数据库中:

首先:在mysql中创建一张表:

CREATE TABLE hive_to_mysql(

xm VARCHAR(50),

kcmc VARCHAR(50),

xf INT

);

其次:使用sqoop从hdfs上将分析好的数据导出到mysql中

命令:其中db03表示mysql的数据库,sqoop03表示mysql的用户名, hive_to_mysql表示在mysql中建的表,by ','表示以逗号作为分隔,jgdata表示所要导出的hive表。

sqoop export -connect jdbc:mysql://192.168.10.130:3306/db03 -username sqoop03 -password 123456 -table hive_to_mysql --fields-terminated-by ',' --export-dir /jgdata

运行结果:

在mysql中查询:hive分析好的结果数据导出到mysql数据库中的表:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/543870.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

streamlit魔法使用

正常在学习一个新框架之前, 肯定要先调研下这个框架究竟能做些什么事吧? 但对于 streamlit 来说,请你相信我,这是一个你可以无脑去学习的框架,我之所以这么说,是因为我相信终有一天,你一定能用…

11. Mysql执行原理之索引合并详解

MySQL性能调优 1. Intersection合并1.1 情况一:等值匹配1.2 情况二:主键列可以是范围匹配 2. Union合并2.1 情况一:等值匹配2.2 情况二:主键列可以是范围匹配2.3 情况三:使用Intersection索引合并的搜索条件 3. Sort-U…

云厂商纷纷降价开启新一轮价格大战,行业竞争加剧未来何从?

5月16日晚间,腾讯云和移动云两大云服务商相继宣布对旗下多款核心产品进行降价。其中,腾讯云降价幅度最高达40%,移动云部分产品直降60%。 而就在20天前4月26日阿里云2023合作伙伴大会上,阿里巴巴CEO张勇率先宣布启动“史上最大规模…

服务(第二十五篇)redis的优化和持久化

持久化的功能:Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下…

win7虚拟机无法安装VMwaretools的处理办法(亲测有效!)

最近在学习中用到要安装win7系统,于是我在虚拟机里装了win7系统,但是却发现无法安装VMware tools,最后经多方查证,以下方法可解决! 这里提示需要将原始win7升级到win7 SP1版本,可在控制面版——系统和安全…

ChatGPT应用场景巡航之会议纪要

今天我们拿昨天(2023年5月17日)腾讯发布2023年一季报会议来举例。 首先刚开篇Pony(马化腾)说的一段话来看下知否AI问答多场景中的会议纪要表现如何: 马化腾:谢谢你,温迪。晚上好。感谢您加入我…

macOS Monterey 12.6.6 (21G646) 正式版发布,ISO、IPSW、PKG 下载

macOS Monterey 12.6.6 (21G646) 正式版发布,ISO、IPSW、PKG 下载 本站下载的 macOS 软件包,既可以拖拽到 Applications(应用程序)下直接安装,也可以制作启动 U 盘安装,或者在虚拟机中启动安装。另外也支持…

【QT 自研上位机 与 STM32F4xx下位机联调>>>can通信测试-基础样例-联合文章】

【QT 自研上位机 与 STM32F103下位机联调>>>通信测试-基础样例-联合文章】 1、概述2、实验环境3、联合文章(1)对于上位机,可以参照如下例子(2)对于下位机,可以参照如下例子 4、QT上位机部分第一步…

PCD235A101 3BHE032025R0101功能框图如何在 PLC 中工作?

​ PCD235A101 3BHE032025R0101功能框图如何在 PLC 中工作? ​ 表示功能块和逻辑门的图形编程语言称为功能块图 创建 PLC 时,逻辑门及其在集成逻辑电路中的应用已广为人知。使用专门的绘图应用程序,连接线用于连接功能块编程中的各种符号。…

国内版的ChatGPT模型分享

1、百度的【文心一言】注册地址:点我 这里我很早之前就申请了,所以当前时可以正常使用的,还没有体验的小伙伴,可以现在申请 虽然与ChatGPT还是有一些差距的,但是作为办公助手还是很OK的!! 而且有…

谷歌升级Find My Device服务,苹果Find My产品市场火爆

谷歌效仿苹果和 Tile 的定位追踪解决方案,在 I / O 2023 开发者大会上宣布升级 Find My Device 平台。 谷歌的 Sameer Samat 宣布,Find My Device 平台在“未来几个月内”支持追踪耳机、平板电脑和其他产品类别。更为重要的是,Find My Devi…

深度学习在图像识别方面的应用

前言 深度学习是一种非常强大的机器学习技术,它在许多领域都有广泛的应用。其中,图像识别是深度学习最成功的应用之一。本文将详细介绍深度学习在图像识别方面的应用。 图像识别的基本步骤 图像识别的基本步骤包括图像预处理、特征提取和分类器。图像预…

airasia Superapp × HMS Core:便捷出行,悦享全程

2023年5月9日-5月11日,HUAWEI P60系列及旗舰产品发布会在欧洲德国、中东非阿联酋、亚太马来西亚、拉美墨西哥陆续举办,为消费者带来高端影像旗舰HUAWEI P60 Pro及系列全场景智能新品。其中在亚太站,还传递了一个重要消息:2023年6月…

Tomcat源码:ProtocolHandler与Endpoint

参考资料: 《Tomcat源码解析系列(十一)ProtocolHandler》 《Tomcat源码解析系列(十二)NioEndpoint》 前文: 《Tomcat源码:启动类Bootstrap与Catalina的加载》 《Tomcat源码:容器…

Linux下实现统计文件单词个数和出现次数

本文介绍的是在Linux下实现统计文件单词个数和出现次数&#xff0c;以及实践过程中遇到的gcc编译器不匹配问题 一、实现文件单词个数统计 #include <stdio.h>#define IN_Word 1 #define OUT_Word 0 #define INIT OUT_Wordint splite(char c){if ((c ) || (c\n) || (c\t…

上海丨阿里云 Serverless 技术实战营邀你来玩!

活动简介 本次沙龙深度探讨 “Serverless 在中国企业的落地和开发者实操” 主题&#xff0c;我们特别邀请了来自阿里云一线技术专家&#xff0c;分享当前 Serverless 趋势和落地实践过程中的挑战和机遇&#xff1b;带来数据库 Serverless 技术架构及应用实践&#xff1b;浅析云…

地铁之家—车辆段

城市轨道交通列车也有一个家——车辆段&#xff0c;它通常由停车区、维修区和清洗区等组成&#xff0c;用于停放、维修保养。 一、地铁车辆段和停车场有何不同&#xff1f; 停车场在管理上一般附属于主要车辆段&#xff0c;规模较小&#xff0c;功能上可以实现车辆的运用管理…

如何进行MySQL漏洞扫描

MySQL是一款广泛使用的关系型数据库管理系统&#xff0c;但由于其复杂的结构和功能&#xff0c;也存在不少安全漏洞&#xff0c;容易被黑客攻击。为了解决这些安全问题&#xff0c;进行MySQL漏洞扫描是必要的。那么MySQL怎么进行漏洞扫描?如何进行漏洞扫描?接下来就让小编带大…

ChatGPT为什么能生成图片?

有小伙伴说我想用ChatGPT生成图片怎么操作&#xff0c;ChatGPT怎么画图等 这里阐明一下&#xff0c;ChatGPT是不能够做到画图的 因为它是一种自然语言处理模型&#xff0c;主要用于处理文本和语言相关的任务&#xff0c;例如问答、对话、翻译等。但是&#xff0c;我们可以使用C…

技术干货|如何利用 ChunJun 实现数据离线同步?

ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架&#xff0c;基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中&#xff0c;从⽽为企业提供全⾯的数据共享&#xff0c;目前已在上…