Sqoop技术文档笔记

news2024/11/16 13:28:08

Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的开源工具。它可以将结构化数据从关系型数据库(如MySQL、Oracle、SQL Server等)导入到Hadoop的分布式文件系统(HDFS)或hive中,并且可以将数据从HDFS、hive导出到关系型数据库中。

1.安装配置

1.解压缩

sudo tar -zxvf sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz   -C  /opt/module/

2.改名

mv  sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar.gz   ./sqoop

3.添加环境变量

sudo vim /etc/profile

输入内容:

export SQOOP_HOME=/opt/module/sqoop

export PATH=$PATH:$SQOOP_HOME/bin 

刷新配置文件:source /etc/profile

 4.添加权限

sudo chown -R root:root ./sqoop
root:root=>所属组名:所属组群名

 5.修改配置文档

cd /usr/local/src/sqoop/conf
mv sqoop-env-template.sh sqoop-env.sh

sudo vim sqoop-env.sh
# Modify the configuration file sqoop-env.sh
export HADOOP_COMMON_HOME=/usr/local/src/hadoop
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop
export HBASE_HOME=/usr/local/src/hbase
export HIVE_HOME=/usr/local/src/hive
export ZOOCFGDIR=/usr/local/src/zookeeper
export ZOOKEEPER_HOME=/usr/local/src/zookeeper

6.配置mysql的Driver驱动器放在sqoop的lib中

cp /opt/software/mysql-connector-java-5.1.37.jar   ../lib/

7.测试是否配置成功

sqoop list-databases -connect  jdbc:mysql://bigdata1:3306 --username root --password 123456

常用命令

常用命令
命令名称命令说明
import将关系型数据库数据导入到HDFS、HIVE、HBASE
export将HDFS、HIVE导入到关系型数据库中
help        获取帮助信息
list-database查看所有数据库
list-tables查看所有表
create-hive-table创建hive表
eval查看sql的执行文档
version产看sqoop版本信息

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1110649.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据分析在游戏行业的应用

数据分析在游戏行业中扮演着至关重要的角色,它可以用于以下方面: 1、玩家行为分析 了解玩家在游戏中的行为,包括游戏时长、最喜欢的游戏模式、关卡通过率等,从而为游戏设计和运营提供参考。 2、留存率 监控玩家在游戏中的持续参…

ChatGPT/GPT4科研技术应用与AI绘图及论文高效写作

2023年我们进入了AI2.0时代。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义,不亚于互联网和个人电脑的问世。360创始人周鸿祎认为未来各行各业如果不能搭上这班车,就有可能被淘汰在这个数字化时代,如何能高效地处理文本、文献查阅、PPT…

交换奇偶位

写一个宏,可以将一个整数的二进制位的奇数位和偶数位交换。 要交换二进制位的奇数位和偶数位,那么肯定要先拿到奇数位和偶数位,然后让奇数位左移一位,偶数位右移一位,再将移动后的这两组数相加就可以了(一个…

【网络安全】被恶意攻击的IP地址有多可怕?

被恶意攻击的IP地址可以导致一系列问题,其严重性和可怕程度取决于攻击的性质、目标、攻击者的动机以及受影响的系统或组织。以下是一些可能出现的问题和可怕性的因素: 数据泄露和盗窃:攻击者可能试图入侵系统,窃取敏感数据&#x…

barzilar_borwein算法微调函数的优化收敛

import optimtool as oo from optimtool.base import np, sp, pltpip install optimtool>2.4.2加载barzilar_borwein算法 import optimtool.unconstrain as ou barzilar_borwein ou.gradient_descent.barzilar_borwein初始化输入数据 f ( x ) ∑ i 1 n / 2 c ( x 2 i −…

ZKP4.2 SNARKs via Interactive Proofs (Sum-check Protocol [LFKN90])

ZKP学习笔记 ZK-Learning MOOC课程笔记 Lecture 4: SNARKs via Interactive Proofs (Justin Thaler) 4.3 Interactive proof design: Technical Preliminaries SZDL Lemma Equal test (in multivariate polynomials) Low-Defree and Multilinear Extensions Extensions …

新版多功能去水印工具微信小程序源码下载+带流量主功能

新版多功能去水印工具微信小程序源码下载,带流量主功能。自带去水印接口的多功能小程序,支持各大平台短视频去水印。 支持保存封面、图集、标题等等;支持本地图片去水印;支持图片拼接;支持九宫格切图;支持修…

程序环境、预处理和宏

前言: 目录 一、程序的翻译环境 二、运行环境 三、预处理 1.预处理上的文本操作 Ⅰ注释的删除 Ⅱ头文件的包含 Ⅲ#define的替换 2.预定义符号 3.#define Ⅰ #define 定义标识符 Ⅱ #define 定义宏 Ⅲ #define 替换规则 Ⅳ #和## 四、宏和函数的区别 …

一文浅析Linux 中断处理

1. 中断的概念 中断是指在CPU正常运行期间,由于内外部事件或由程序预先安排的事件引起的 CPU 暂时停止正在运行的程序,转而为该内部或外部事件或预先安排的事件服务的程序中去,服务完毕后再返回去继续运行被暂时中断的程序。Linux中通常分为…

东方通部署vue项目

在东方通中部署vue项目需要以war 的形式进行部署具体操作步骤如下 1. 正常打包完vue 项目 在其项目目录下创建WEB-INF 文件夹,同时在里面新建一个 rewrite.config 的文件文件具体内容如下: RewriteRule ^/index\.html$ - [L]RewriteCond …

【树莓派图像处理】

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、Qt OPENCV 安装测试?运行Qt错误 二、使用步骤1.框架1. 开启摄像头2.获取显示图像的内容 2.测试 总结 前言 提示:这里可以添加本文要…

uniapp 测试 app 到安卓模拟器部署方法以及常见错误解决 无废话

uniapp 测试 app 到安卓模拟器 1.1 安装安卓模拟器 https://www.yeshen.com/ 1.2 查看安装模拟器端口 右击夜神模拟器属性打开文件位置 在打开的文件夹找到 debugReport 双击运行查看运行出来的端口号 一般都是:62001 1.3 HBuilder 配置 选中项目运行运行到手机…

TSINGSEE青犀AI智能分析算法助力小区规范整改:楼道杂物堆放检测

小区楼道属于公共消防通道,是小区居民出行的唯一通道,但由于物业管理不到位或业主个人素质问题,经常存在在楼梯间堆放杂物的问题,严重影响居民日常出行,也增加了楼道消防安全隐患。为做到彻底解决小区楼道堆积杂物问题…

Python数据挖掘实用案例——自动售货机销售数据分析与应用

🚀欢迎来到本文🚀 🍉个人简介:陈童学哦,目前学习C/C、算法、Python、Java等方向,一个正在慢慢前行的普通人。 🏀系列专栏:陈童学的日记 💡其他专栏:CSTL&…

即使密码正确,App Store可能也会不断询问密码,那么如何修复呢

当你从app Store购买并安装应用程序时,你需要使用Apple ID和密码登录以确认你的帐户。然而,许多iOS用户面临的情况是,无论他们输入多少次,App Store都会不断要求输入密码。你的iPhone是否也会不断提示你输入密码? 事实上,即使你输入了好几次正确的密码,App Store也会不…

Java,利用switch的穿透

题目:输入2023年的月份和天数,求这一天是2023年的第几天,switch实现。 在switch语句中,case就是一个入口,表达式与case后面的表达式匹配上后,就进入后面的语句,其他case后面的语句也会进入执行&…

QTday03(信号与槽、对话框)

今日任务: 1. 完善对话框,点击登录对话框,如果账号和密码匹配,则弹出信息对话框,给出提示”登录成功“,提供一个Ok按钮,用户点击Ok后,关闭登录界面,跳转到新的界面中 …

算法通关村第一关-链表黄金挑战环形链表问题

环形链表 描述 : 给你一个链表的头节点 head ,判断链表中是否有环。 如果链表中有某个节点,可以通过连续跟踪 next 指针再次到达,则链表中存在环。 LeetCode 141.环形链表 : 141. 环形链表 牛客 BM6 判断链表中是否有 : 分析 : 方法一…

2023年下半年软考考试重磅消息

重磅消息一:科目连考,分批考试 2023年下半年软考考试,采取科目连考、分批次考试的方式。 什么是科目连考? 连考就是第一个科目作答结束交卷完成后,自动进入第二个科目的考试,第一个科目剩余的时长可为第二…

2023年10月【考试战报】|ORACLE OCP 19C考试通过

【考试战报】ORACLE OCP 19C考试通过_oracle19c ocm认证_厦门微思网络的博客-CSDN博客 自OCP认证进入中国以来,越来越被大多数DBA所认可,也越来越被企业所重视,90%以上DBA深造,都会选择OCP认证。Oracle开始在中国挂起新一轮的OCP认…