[已解决]ERROR tool.ExportTool: Error during export: Export job failed!

news2024/11/17 7:22:01

ERROR tool.ExportTool: Error during export: Export job failed!

问题

sqoop导出数据的时候遇到问题,ERROR tool.ExportTool: Error during export: Export job failed

思路

sqoop的shell命令是这样的

sqoop export
–connect jdbc:mysql://cdh00:3306/airquality
–username root
–password root
–table co
–export-dir hdfs://cdh01:8020/user/hive/warehouse/co
–input-fields-terminated-by ‘\001’ \

这里的错误就是经典的hive和mysql的表结构不对应,有可能你的实际情况和我不一样,但是按照这个思路去检查会很轻松找到你的问题根源。
这个问题是sqoop把你的数据往mysql中塞的时候格式不符,他就会返回这个错误。处理方式首先就应该检查两个表结构是否一致。
hive表结构查询

desc [表名];

在检查后我发现两个表结构是完全一致的,也有可能是hive的分隔符弄错了(–input-fields-terminated-by ‘\001’),检查后也没有问题,hive中确实使用默认的’\001’作为分隔符,那为什么会报错嘞?

除了hive表结构之外,我们再检查一下hive的数据,在hdfs/user/hive/warehouse/co中,可以在linux中hadoop fs -cat /user/hive/warehouse/co查看,为了方便我这里选择在windows中下载查看。
数据节选

201501122002A\N2.105

//我的数据除了前两条是string,后面都是double类型。
可以看到分隔符确实是"\001",但是double数据中有一个突兀的"\N"。原来是因为hive中的null值默认是按照字符串"\N"存储的,所以在获取数据时出现字符串"\N",而"\N"是字符串格式不符合double类型导致报错。

这里有两种处理方法,一种是将表结构统一改成varchar类型,但是这样"\N"就按照字符串存入了,不方便处理。所以加上两条参数–input-null-string和–input-null-non-string,在sqoop遇到"\N"后按照null进行插入处理。
修改后的sqoop命令

sqoop export
–connect jdbc:mysql://cdh00:3306/airquality
–username root
–password root
–table co
–export-dir hdfs://cdh01:8020/user/hive/warehouse/co
–input-fields-terminated-by ‘\001’
–input-null-string ‘\N’
–input-null-non-string ‘\N’

方案

网上的思路是对的,我检查表结构,发现一致,就只有字段长度问题了,全部扩充至255后,成功运行!

image-20231031191936671

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1156044.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JDK常用性能监控和故障处理工具

JDK8 在JDK安装目录下的bin文件夹,有一些辅助命令行工具,通常用来获取JVM的信息或者监控JVM,在排查性能问题方面是非常好用的工具。以Centos7.9系统下的openJDK1.8.0_222为例(不同大版本的JDK命令的参数会有差异,不同操…

利用python进行数据分析 pdf

利用python进行数据分析 pdf 介绍 在现代社会中,随着大数据时代的到来,数据分析的需求越来越大。而Python作为一门简洁且易于学习的编程语言,具有强大的数据分析能力,成为了广大数据分析师的首选工具之一。本文将指导一位刚入行的…

相关性网络图 | 热图中添加显著性

一边学习,一边总结,一边分享! 本期教程 写在前面 此图是一位同学看到后,想出的一期教程。 最近,自己的事情比较多,会无暇顾及社群和公众号教程。 1 安装和加载相关的R包 library(ggraph) library(tidy…

追求卓越 再添新荣誉 | Softing中国顺利通过ISO9001质量管理体系认证!

近日,羧福汀电子科技(上海)有限公司(简称:Softing中国)顺利通过ISO9001质量管理体系认证审核,并被授予认证证书。ISO9001认证的通过,代表Softing中国的软硬件技术研发水平及管理水平…

压敏涂料静态校准装置中的温度、真空压力和氧浓度精密控制解决方案

摘要:针对客户提出的在温度-10℃~80℃、绝对压力1Pa~600kPa、氧浓度0~80%范围内实现对压力敏感涂料静态特性校准测试腔室的精密自动控制要求,本文提出了相应的解决方案。解决方案的主要技术内容是采用TEC半导体制冷器进行温度控制、采用动态平衡法和电控…

C# Onnx 用于边缘检测的轻量级密集卷积神经网络LDC

效果 项目 代码 using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using OpenCvSharp; using System; using System.Collections.Generic; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms;namespace Onnx…

Python二级 每周练习题24

练习一: 体重比较器 要求: 请编程实现如下功能: (1)程序开始运行时,提醒用户输入三个人的名字和体重 (可以分开输入,每次输入名字或者体重) (2) 程序自动比较,找出最重的一个人的名字和体重输出 的格式不限,但是要有最重人的姓名…

AcWing96. 奇怪的汉诺塔

题目 汉诺塔问题,条件如下: 1、这里有 A、B、C 和 D 四座塔。 2、这里有 n n n 个圆盘, n n n 的数量是恒定的。 3、每个圆盘的尺寸都不相同。 4、所有的圆盘在开始时都堆叠在塔 A 上,且圆盘尺寸从塔顶到塔底逐渐增大。 5、…

python实现MC协议(SLMP 3E帧)的TCP服务端

python实现MC协议(SLMP 3E帧)的TCP服务端是一件稍微麻烦点的事情。它不像modbusTCP那样,可以使用现成的pymodbus模块去实现。但是,我们可以根据协议帧进行组包,自己去实现帧的格式,而这一切可以基于socket模…

如何快速定制个性化外观验证码?

验证码作为人机交互界面经常出现的关键要素,是身份核验、防范风险、数据反爬的重要组成部分,广泛应用网站、App上,在注册、登录、交易、交互等各类场景中发挥着巨大作用,具有真人识别、身份核验的功能,在保障账户安全方…

【vtk学习笔记2】vtk编程中的基本对象与可视化管线

一、VTK编程中的基本对象 数据可视化一般需要一个数据源,可以来说具体的算法,如有限元、边界元等,也可以是测量数据,如医学检测数据等。这些基础数据经过变换处理,变成计算机图形流水线支持的数据,最后显示…

C语言编程之排列组合问题

1.动态取球 在生活中我们经常会遇到一个这样的问题,从N个球中随机取K个(N>K),问有多少总取法。这是我们数学中的排列组合,通过排列组合可计算方法为:C(N,K);   例如一个袋子中有6个球为(1,2,3,4,5,6),从袋子中一次…

Python基础介绍 —— 使用pytest进行测试!

Pytest 是 Python 的一种单元测试框架,与 Python 自带的 unittest 测试框架类似,但是比 unittest 框架使用起来更简洁,效率更高。 Pytest 是一个成熟的全功能的 Python 测试工具,可以帮助你写出更好的程序,让我们很方便…

MINIO 对象存储服务

MINIO 官网下载地址: 注:需要下载 MINIO SERVER(服务端) 和 MINIO CLIENT(客户端)两个文件 WINDOWS版本下载地址:https://min.io/download#/windows LINUX版本下载地址:https://mi…

数据库 索引

Mysql的索引 事务 存储引擎 索引 概念 什么是索引:索引是一个排序的列表,列表当中存储的是所有的值和包含这个值的数据所在行的物理地址 索引的作用 加快查询作用,这是他主要的一个作用 利用索引数据库可以快速定位,大大加快…

AERMOD模型、WRF/Chem模式、CMAQ、Smoke模式及EDGAR/MEIC清单制作

推荐一些大气环境、气象领域常用的一些模型软件免费教程,包含5大方向,不容错过!评论区联系小编领取 >>>> WRF模式及在地学多领域应用(必学) 1、WRF模式基础 (初始和边界场、气象预报流程、数…

毫米波雷达3-三个FFT(距离,速度,角度)

文章目录 快慢时间维度空间维度FFT原理useful links快慢时间维度 由于电磁波传播的速度非常之快,导致了回波间隔比发射间隔小了好几个数量级 下图中,每一行(快时间维)对应的是一个脉冲回波的连续采样,在快时间维度,即使一个移动的物体,我们也可以看作不动,那么对于快…

代码随想录day50|198.打家劫舍、213.打家劫舍II、337.打家劫舍 III

198.打家劫舍 (中等) leetcode题目链接:198. 打家劫舍 - 力扣(LeetCode) 文章讲解:代码随想录 (programmercarl.com) 视频讲解:动态规划,偷不偷这个房间呢?| LeetCode…

前端css介绍

CSS介绍 CSS(Cascading Style Sheet,层叠样式表)定义如何显示HTML元素。 当浏览器读到一个样式表,它就会按照这个样式表来对文档进行格式化(渲染)。 CSS语法 CSS实例 每个CSS样式由两个组成部分:选择器和…

C语言 DAY07:预编译,宏,选择性编译,库(静态库,动态库)

声明与定义分离 声明:将声明单独封装成一个以.h为后缀名的头文件 定义:将定义的变量,函数,数组所在的源文件单独封装成一个.c文件。其实就是在源文件基础上将定义过的所有东西的声明分离出去就是了。 注意:1.声明的…