sqoop笔记——一次从Hive到PostgreSql的数据迁移

news2024/11/15 20:59:36

写在开头

sqoop,想必进来围观的小伙伴们已经很熟悉了,笔者想把一些在实际使用sqoop过程中遇到的问题和注意事项记录并分析给大家,希望能帮助有需要的同学。随着对sqoop不断深入的了解,笔者会不断的以文章的形式记录并分析给大家,欢迎小伙伴们前来围观。

在这里插入图片描述

一次从Hive到PostgreSql的数据迁移

最近在做一项数据迁移工作,数据源头是Hive表,数据的目的地是PostgreSql表,最终使用的sqoop命令形式如下:

sqoop export \
--connect jdbc:postgresql://host:5432/db?currentSchema=db\
--username xxx --password xxx \
--table sqoop_test \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--hcatalog-database 'xxx' \
--hcatalog-table 'xxx' \
--hcatalog-partition-keys a,b \
--hcatalog-partition-values valuea,valueb \
--columns "a,b" \
-m 1

命令参数的含义官网均能查到,这里想列出两点注意事项
1、–hcatalog-partition-keys、–hcatalog-partition-values要配合使用,用来对分区进行筛选,若hive表有多个分区字段,–hcatalog-partition-keys用来指定一个或多个或全部分区字段,而–hcatalog-partition-values用来指定与参数–hcatalog-partition-keys所对应的分区字段值。
2、参数–columns中所指定的列,要确保在参数–hcatalog-table所指定的Hive表中存在。

作者这水平有限,有不足之处欢迎留言指正

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/729055.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2023年05月份青少年软件编程Scratch图形化等级考试试卷二级真题(含答案)

2023-05 Scratch二级真题 题数:37 分数:100 测试时长:60min 一、单选题(共25题,共50分) 1.运行下列哪段程序,可以让狗狗走到木屋门口?( )(2分) A. B. C. D. 2.下列哪个选项…

陪诊软件源码|医院陪诊软件开发|陪诊师接单APP定制

陪诊小程序具有以下功能优势:   预约挂号:陪诊小程序可以提供在线预约挂号功能,患者可以通过小程序选择就诊时间、医生和科室,避免排队和等待时间,提高就医效率。   陪诊服务:陪诊小程序可以提供陪诊服…

SDN实训报告-基于SDN的Qos差分服务

1 实训概述 本次为期一周的实训旨在通过基于SDN架构的实现差分服务需求来提升我们的技能。我们在实训中广泛运用了一些重要的技术手段,包括Django、QOS、OpenDaylight和OpenvSwitch等。 在实训过程中,我们将重点放在SDN的基本操作上,通过实际…

Introduction to linear optimization exercise 第二章课后题答案 6-10

文章目录 2.62.7 2.6 解答: (a) 设 y y y 是 C C C 中的一点,多面体 Λ { ( λ 1 , … , λ n ) ∈ R n ∣ ∑ i 1 n λ i A i y , λ 1 , … , λ n ≥ 0 } \Lambda\left\{(\lambda_1, \dots, \lambda_n)\in R^n\mid \sum_{i1}^n \lambda_i\textb…

【企业架构设计模式】MITRE 设计模式

定义: 软件中的设计模式(通常)是简短的描述,用于捕捉过去证明是成功的实践。它们不是具体的软件,而是在某些情况下应用的一种模板。它们通常不是规定性的,而是建议性的,并且包括关于何时最适合使…

Vue组件库Element-常见组件-对话框

Dialog 对话框 在保留当前页面信息的状态下&#xff0c;直接弹出对话框&#xff0c;告知用户并承载相关操作 具体代码关键如下&#xff1a; <template><div><el-row><!-- button 按钮 --><el-button>默认按钮</el-button><el-button…

Windows下编译安装VTK

本文旨在记录在Windows下编译安装VTK的流程。 零、环境 操作系统Windows 10编译器Visual Studio 2019 CommunityCMake3.24.2 一、下载代码 git clone https://github.com/Kitware/VTK.git cd ./VTK/ git checkout -b v9.0.0 v9.0.0 二、编译安装 Where is the source cod…

Redis【实战篇】---- 用户签到

Redis【实战篇】---- 用户签到 1. 用户签到 - BitMap功能演示2. 用户签到 - 实现签到功能3. 用户签到 - 签到统计4. 额外加餐 - 关于使用BitMap来解决缓存穿透的方案 1. 用户签到 - BitMap功能演示 我们针对签到功能完全可以通过mysql来完成&#xff0c;比如说以下这张表 用户…

1.数据类型

1、课后作业 1.给同桌讲讲交换两个变量的值 算法&#xff08;不管他愿不愿听&#xff09; 2.依次咨询问并获取用户的姓名、年龄、性别&#xff0c;并打印用户信息 可以先自己写一下&#xff0c;在参考一下我的代码&#xff1a; <!DOCTYPE html> <html lang"en&q…

【SLAM14讲】05 李群与李代数

在 SLAM 中位姿是未知的&#xff0c;而我们需要解决什么样的相机位姿最符合当前观测数据这样的问题。 一种典型的方式是把它构建成一个优化问题&#xff0c;求解最优的 R, t&#xff0c;使得误差最小化。 旋转矩阵自身是带有约束的&#xff08;正交且行列式为 1&#xff09;。它…

Zhong__Linux系统磁盘空间扩容和转移

时间&#xff1a;2023.07.07 环境&#xff1a;Ubuntu/Centos 目的&#xff1a;分配闲置空间到指定分区/将分区空间转移到指定分区 说明&#xff1a; 作者&#xff1a;Zhong QQ交流群&#xff1a;121160124 欢迎加入&#xff01; 在安装Ubuntu/Centos/Stream等系统时 有时对…

测试3年经验不到,来面试开口要25K,面完连10K都不想给···

前言 近期公司发展的不错&#xff0c;打算扩招&#xff0c;也面试了不少人&#xff0c;由于公司不是很大所以公司大部分的人员都是我面试的。 前两天来了一个测试工作才3年不到的小伙儿面试&#xff0c;前面问了一点测试基础的东西&#xff0c;还是能答上来的&#xff0c;不过…

趟路:centos7.6安装opengauss5.0.0企业版

版本选取 # 下载opengauss安装介质&#xff0c;截止2023年7月份最新版本长期支持版&#xff08;LTS&#xff1a;Long Term Support&#xff09;是5.0.0版本&#xff1b;此外&#xff0c;还有预览版3.1.1&#xff1b;这里建议安装openGauss 5.0.0 (LTS)。企业版&#xff1a;更像…

Windows故障转移集群

Windows2012作为根域 两台Windows2008加入域 创建三台Windows 分别是Windows2012和两台Windows2008 并选择其环境 创建三个十g的卷&#xff0c;连接至Windows2012 清理三台主机的后台数据 然后修改三台主机的IP 本机IP要相对应 Windows2008-1主机IP 第二块网卡不需要填写网…

液滴接触角边界曲线识别—巧用Ovito

关注 M r . m a t e r i a l , \color{Violet} \rm Mr.material\ , Mr.material , 更 \color{red}{更} 更 多 \color{blue}{多} 多 精 \color{orange}{精} 精 彩 \color{green}{彩} 彩&#xff01; 主要专栏内容包括&#xff1a; †《LAMMPS小技巧》&#xff1a; ‾ \textbf…

Navicat 连接orcal11g

Navicat 连接orcal11g orcal12g 在不安装客户端的情况下是可以连接上的&#xff0c;orcal11g不行 1、下载客户端 官网传送门 传送门 csdn下载 传送门 2、配置客户端 解压下载的文件到D:\Program Files\PremiumSoft\Navicat Premium 16\instantclient_11_2 相同的可以备份原…

基于springboot+Mybatis+mysql+vue疗养中心管理系统

基于springbootMybatismysqlvue疗养中心管理系统 一、系统介绍二、功能展示1.登陆2.信息管理3.膳食管理4.护理管理5.床位管理6.后勤管理7.后勤管理 三、其它系统实现四.获取源码 一、系统介绍 系统主要功能&#xff1a; 信息管理模块&#xff1a;包括入住登记、退住登记、档案…

锐浪报表 Grid++Report 打印数据表图像

锐浪报表 GridReport 打印数据表时&#xff0c;特别是需要在Cell中打印图像时。例如&#xff1a; 二、图像的保存方式 1、图像以文件形式。保存在指定目录中。 2、数据表中&#xff0c;图像字段&#xff0c;仅保存图像的完整文件名&#xff08;指定目录&#xff09;。 3、打印表…

Windows Server 配置(七)VPN服务器的安装

VPN服务器的安装 VPN服务器是双网卡或多网卡的配置&#xff0c;一块网卡连接内网&#xff0c;另一块连接外网&#xff0c;同时外网或远程的客户端可以通过建立VPN连接访问到内网资源。 两块网卡分别设置好地址&#xff0c;外网网卡的地址是否能做的&#xff0c;或者是在路由器…

19 区域生长用于图像分割(matlab程序)

1.简述 区域生长法 区域生长的基本思想是将具有相似性质的像素集中起来构建成分割区域。以一组种子点开始&#xff0c;将与种子性质相似(如灰度级)的领域像素附加到生长区域的每个种子上 算法步骤 a.随机选取图像中的一个像素作为种子像素&#xff0c;并将其表示出来 b.检索种…