linux安装sqoop

news2024/11/17 5:44:38

一 解压安装包

        这里提供了网盘资源

链接: https://pan.baidu.com/s/1QkFqVnlvuOJ_aB2bjn-OKg?pwd=ucsy 提取码: ucsy

        这里有两个压缩包,sqoop-1.4.7.tar.gz是 sqoop 的安装包,另一个是我们需要里面的一些 jar 包

        

        解压 安装包

tar -zxf ./sqoop-1.4.7.tar.gz -C /opt/soft

        改个简单的名字方便后面操作 

mv sqoop-1.4.7/ sqoop147

二 修改配置文件

        到sqoop/conf 目录下,拷贝sqoop-env-template.sh文件到此目录命名sqoop-env.sh

 cp sqoop-env-template.sh sqoop-env.sh

        修改sqoop-env.sh

vim sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/soft/hadoop313


#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/soft/hadoop313

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/soft/hbase235

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/soft/hive312
export HIVE_CONF_DIR=/opt/soft/hive312/conf

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/soft/zk345/conf

三 拷贝 jar 包

(1)sqoop147目录下补全 jar 包 

        需要sqoop-1.4.7.bin__hadoop-2.6.0目录下的sqoop-1.4.7.jar,拷贝一份到 sqoop147 目录下

cp /opt/install/sqoop-1.4.7.bin__hadoop-2.6.0/sqoop-1.4.7.jar /opt/soft/sqoop147/

 

(2)lib 目录下补全 jar 包

这里命令执行在/opt/soft/sqoop147/lib里

cd /opt/soft/sqoop147/lib
 cp /opt/soft/hive312/lib/hive-common-3.1.2.jar ./

这个 mysql 驱动包在安装 hive 的时候复制过 ,所以我这里直接在这个目录就有,这个驱动包在这个目录没有的可以去hive 的bin目录里找找

cp /opt/install/mysql-connector-java-8.0.29.jar ./
cp /opt/install/sqoop-1.4.7.bin__hadoop-2.6.0/lib/avro-1.8.1.jar ./

  四 修改环境变量

vim /etc/profile
#SQOOP
export SQOOP_HOME=/opt/soft/sqoop147
export PATH=$SQOOP_HOME/bin:$PATH

        修改完source一下 

source /etc/profile

五 查看 sqoop 版本以及测试连接

        查看 sqoop 版本

sqoop version
[root@kb46 conf]# sqoop version
Warning: /opt/soft/sqoop147/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/soft/sqoop147/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
2023-09-15 11:21:14,751 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017

        查看 sqoop 的命令

sqoop help

         连接 mysql 查看 MySQL 所有数据库

         这里的 ip 还有mysql密码 换成自己的

        这里还有一个小技巧,在命令行敲sqoop命令时\代表连接符,\后回车接着写,是一句命令

 sqoop list-databases --connect jdbc:mysql://172.25.**.**:3306/ --username root --password password

结果实例:

[root@kb46 conf]# sqoop list-databases --connect jdbc:mysql://172.25.38.169:3306/ --username root --password 100860
Warning: /opt/soft/sqoop147/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/soft/sqoop147/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
2023-09-15 11:25:35,880 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
2023-09-15 11:25:35,910 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
2023-09-15 11:25:35,996 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
mysql
information_schema
performance_schema
sys
kb46

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1012218.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【自动驾驶】PETR 环境安装与测试

1.环境安装 该工程依赖MMCV, MMDetection, MMDetection3d,MMSegmentation Install MMCV pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/{cu_version}/{torch_version}/index.htmlexamples: pip install…

VR全景展示的功能有哪些?你了解多少?

VR全景展示作为一种全新的视觉体验技术,能够为人们带来强烈的视觉效果以及沉浸式的观感,在旅游、房地产、车展、博物馆等都有着十分广泛的应用。这种富媒体技术,具有很好的交互性和沉浸感,能够带给大家更好的体验,那么…

为什么选择事件驱动的微服务架构?

在当今动态的业务环境中,开发人员面临越来越大的压力,需要提供快速、可靠、可扩展的解决方案,以满足不断变化的业务需求,而事实证明,传统应用程序是实现这些目标的障碍。微服务提供了一种易于理解且有前途的替代方案&a…

2023自动化测试需知的4项测试工具!

一般来说学自动化会建议大家先学selenium,因为最早的时候,自动化就代表selenium,进入测试行业就开始做接口测试,而且现在基本每个公司都需要接口测试。今天就和大家聊一下接口测试的工具。 一、Robot Framework 机器人框架。之所…

AI Studio星河社区生产力实践:基于文心一言快速搭建知识库问答

还在寻找基于文心一言搭建本地知识库问答的方案吗?AI Studio星河社区带你实战演练(支持私有化部署)! 相信对于大语言模型(LLM)有所涉猎的朋友,对于“老网红”知识库问答不会陌生。自从大模型爆火…

亚马逊封买家账号的原因有哪些

亚马逊可能封锁买家账号的原因有多种,主要是出于保护市场和维护平台秩序的考虑。以下是一些可能导致亚马逊封锁买家账号的常见原因: 1、涉及违规行为:如果买家违反了亚马逊的使用政策,如发表虚假评价、滥用退货政策、欺诈或盗窃等…

GitHub 执行定时任务之巴奴会员签到

经常忘记去点那么一下,人到中年记忆力衰退的厉害。所以… 前言 巴奴算是签到算是比较简单的那种,没有太多的限制,可能获取积分的大多是人都还是要去门店的吧,也没必要做太多的限制。 打开签到每日提醒后,自动推送的地…

软件测试工作的基本流程详解

软件测试报告 首先,作为测试人员需要学习并了解业务,分析需求点 为什么测试人员要参加需求分析?也就是进行测试需求分析的目的是什么? 第一、把用户需求转化为功能需求: 1、对测试范围进度量 2、对处理分支进行度量…

nature子刊|病毒与宿主微生物的“花式”互作!

期刊:nature microbiology 影响因子:28.3 发表时间:2023年5月 病毒是地球上最丰富多样的生命形式,存在于每一个环境中。深海中病毒与宿主的互作以及它们对生态系统的影响和功能尚不清楚。今天给大家来带…

使用Python CV2自动识别人脸并融合至新图片

需求说明 最近孩子很迷奥特曼,想尝试拿他的照片跟奥特曼合并下做个帅酷变身。我想一般的PS跟现在流行的AI工具应该都可以实现,但是咱是程序员可以尝试用Python来做一下嘛。 实现思路 Python图片处理离不开CV2库,这个实现思路很清晰。先根据…

【自学开发之旅】Flask-restful-Jinjia页面编写template-回顾(五)

restful是web编程里重要的概念 – 一种接口规范也是一种接口设计风格 设计接口: 要考虑:数据返回、接收数据的方式、url、方法 统一风格 rest–表现层状态转移 web–每一类数据–资源 资源通过http的动作来实现状态转移 GET、PUT、POST、DELETE path…

Tomcat修改配置文件

1.Tomcat启动乱码问题 1.1conf目录 说明:找到conf目录下logging.properties文件 1.2打开logging.properties文件 说明:将UTF-8修改成GBK 1.3.效果 2.端口冲突问题 2.1 conf目录 2.2打开 server.xml文件 2.3.修改端口 说明:port指的就是端…

自动化测试框架实战详解

前言 之前文章跟大家分享了一下自己在接口自动化测试中进行测试准备的一些相关知识点,接下来本篇文章详细分享一下接口自动化框架设计的思路总结,希望能对初次探索接口自动化测试的小伙伴们有一些思路上的帮助。 小编是以pythonrequestsunittestHTMLTes…

淘礼金红包检测,规避订单返款/转账资损问题的技术实现方案

先说业务场景:很多电商人在订单转账或返款时,可能会因订单使用了如首单礼金/新品礼金/优惠劵或其他红包类型,导致资金损失问题。如下图所示: 再说解决方案:具体规避这类订单红包的资损(返款/转账多返&#…

mount报错NTFS signature is missing

给nvidia AGX orin的开发板加了一个内存条 sudo fdisk -l sudo mount /dev/nvme0n1 /mnt/pan1 #将/dev/nvme0n1挂载到/mnt/pan1 下结果挂载时报错如下: NTFS signature is missing解决方法,给创建一个ntfs即可: sudo mkfs.ntfs /dev/nvme0n…

三勾商城(java+vue3)微信小程序商城+SAAS+前后端源码

项目介绍 本系统功能包括: 前台展示后台管理SAAS管理端,包括最基本的用户登录注册,下单, 购物车,购买,结算,订单查询,收货地址,后台商品管 理,订单管理&…

芯片设计流程

VLSI 代表超大规模集成(Very Large Scale Integration),这是一种通过将数百万个晶体管集成到单个芯片中来创建集成电路 (IC) 的技术。超大规模集成电路技术可以生产出紧凑、功能强大且低成本的微处理器、存储芯片、数字信号处理器和其他先进电…

DC系列靶机4通关教程

DC-4 信息收集 扫描主机 arp-scan -l端口扫描 nmap -p- -A 192.168.16.165发现ssh端口和80端口都打开着呢 目录扫描 dirsearch -u http://192.168.16.165dirb hhtp://192.168.16.165登录web网页 发现没有可用信息,发现页面提示admin 爆破 用户密码爆破 使用…

什么是AI数字员工?它能帮我们做什么?

在今年360智脑大模型应用发布会上,360集团创始人周鸿祎再度提到了AI数字员工,他认为AI数字员工将为企业带来一场工作效率革命。在当今数字化和自动化的时代,人工智能(AI)正在逐渐地融入到各行业,而AI数字员…

《优化接口设计的思路》系列:第二篇—接口用户上下文的设计与实现

系列文章导航 《优化接口设计的思路》系列:第一篇—接口参数的一些弯弯绕绕 《优化接口设计的思路》系列:第二篇—接口用户上下文的设计与实现 前言 大家好!我是sum墨,一个一线的底层码农,平时喜欢研究和思考一些技术…