一百二十、Kettle——用kettle把Hive数据同步到ClickHouse

news2024/12/23 6:05:15

一、目标

用kettle把hive数据同步到clickhouse,简单运行、直接全量导入数据

工具版本:kettle:8.2     Hive:3.1.2     ClickHouse21.9.5.16

二、前提

(一)kettle连上hive

 

(二)kettle连上clickhouse

 

三、实施步骤

(一)打开kettle,新建转换任务。拖拽表输入、字段选择、表输出控件

1.表输入控件:在输入控件模块

2.字段选择控件:在转换控件模块

3.表输出控件:在输出控件模块

 (二)配置表输入控件,尤其注意SQL里的字段类型转换

可以修改步骤名称为hive输入,选择hive数据库连接,然后写查询SQL语句

注意:hive里的string类型字段,需要转换为类似varchar(50)的具体大小的varchar字段

经测试:

--int字段、float、timestamp字段都可以直接用
--string字段   cast(device_no as varchar(50))

 (三)配置字段选择控件

1.在选择和修改页面,点击获取选择的字段

2.在元数据模块,点击获取改变的字段。修改相应的字段,比如字段名、字段类型、字段格式等等

(四)配置表输出控件

1.在主选项页面

(1)可以修改步骤名称为clickhouse输出

(2)选择连接对应的clickhouse数据库、目标模式就是数据库名、目标表为表名

(3)勾选指定数据库字段

(4)勾选使用批量插入

 2.在数据库字段页面

点击获取字段,检查相同字段名是否映射

 (五)Ctrl+S保存,给kettle任务命名,然后点击运行。

运行成功!

(六)在clickhouse表里检查数据,验证一下 

 这样,用kettle从hive导入click house就成功了。

注意点有两个,一是kettle的版本问题,二是从hive导入click house一定要注意字段的类型转换。

乐于奉献共享,帮我你我他!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/592906.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

10. 数据结构之树

前言 之前介绍了顺序表的数据结构,包含队列,栈等,这种结构都是一对一的,但是现实生活中,经常会遇见一对多的数据结构,比如族谱,部门机构等,此时我们需要一个更复杂的数据结构来表示…

分布式系统概念和设计——(事务与并发控制)

分布式系统概念和设计 事务与并发控制 简介 事务的目标是在多个事务访问对象以及服务器面临崩溃的情况下,保证所有由服务器管理的对象始终维持在一个一致的状态上 事务是由客户定义的针对服务器对象的一组操作,组成为一个不可分割的单元,由…

Unity | HDRP高清渲染管线学习笔记:HDRP配置文件(HDRP Asset)

目录 一、Frame Settings(帧设置) 二、Volume 三、HDRP配置文件、帧设置和Volume之间的关系 四、HDRP配置文件 1.Rendering (1)Color Buffer Format(颜色缓存格式) (2)Lit Sh…

芭比Q了,现在的00后实在是太卷了.....

都说00后躺平了,但是有一说一,该卷的还是卷。 这不,前段时间我们公司来了个00后,工作都没两年,跳槽到我们公司起薪20K,都快接近我了。后来才知道人家是个卷王,从早干到晚就差搬张床到工位睡觉了…

掌握这个90%的人都不会的大屏技术,裁员、降薪与你无关

裁员话题时不时就被拉到热搜上溜几圈,一方面让各位打工人们焦虑恐惧失业风险,另一方面也能让各位从一波波裁员危机事件中吸取“经验”。例如,技术人员狂敲代码、业务人员猛冲业绩…该被裁的依旧如此,在当今你得具备点别人没有的技…

测评补单操作在美客多店铺及产品优化中的决定性角色:深度解读

许多经营美客多平台的商家有一种观念,他们认为美客多平台的规则与亚马逊有所区别。在美客多上,店铺比产品更重要,而且平台的竞争相对较小。因此,他们认为在美客多平台进行补单操作是不必要的。 然而,是否真的如此呢&a…

RF接口测试(1)

RF是做接口测试的一个非常方便的工具,我们只需要写好发送报文的脚本,就可以灵活的对接口进行测试。 做接口测试我们需要做如下工作: 1、拼接发送的报文 2、发送请求的方法 3、对结果进行判断 我们先按步骤实现,再进行RF操作的…

人效九宫格|三个提升路径,三种管理模式,让人效实时可量化

文|盖雅学苑‍‍ 本文共5202字 在经济高速发展的过去,企业更关注机遇,当经济发展速度进入新常态时,企业更关注效率。在盖雅工场发布的《企业人效管理白皮书》中的数据显示,69.9%的企业依旧将人效提升作为紧急事项&am…

Vue主界面精美模板分享

文章目录 🐒个人主页🏅Vue项目常用组件模板仓库📖前言:🎀源码如下: 🐒个人主页 🏅Vue项目常用组件模板仓库 📖前言: 本篇博客主要提供vue组件之主页面组件源…

代码级质量技术之基本框架介绍

作者 | CQT&星云团队 一、背景 代码级质量技术:顾名思义为了服务质量更好,涉及到代码层面的相关技术,特别要指出的是,代码级质量技术不单纯指代码召回技术,如静态代码扫描、单元测试等。 研究代码级质量技术主要…

1.6 初探JdbcTemplate操作

一、JdbcTemplate案例演示 1、创建数据库与表 (1)创建数据库 执行命令:CREATE DATABASE simonshop DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; 或者利用菜单方式创建数据库 - simonshop 打开数据库simonshop &#x…

边缘计算盒子在视觉分析领域的优势

边缘计算盒子在视觉分析领域有广泛的应用。边缘计算盒子是一种集成了计算、存储和网络连接功能的设备,通常部署在物理环境中的边缘位置,如工厂、城市、交通系统等。它们能够在离数据源更近的位置进行实时数据处理和分析,从而提供更低的延迟和…

使用Docker安装Kafka

第一步:使用下述命令从Docker Hub查找镜像,此处我们要选择的是zookeeper官网的镜像 docker search zookeeper 第二步:拉取zookeeper镜像 docker pull zookeeper:latest 第三步:启动zookeeper容器 docker run -d --name zookee…

微服务-Elasticsearch基础篇【内含思维导图】

Elasticsearch官网:欢迎来到 Elastic — Elasticsearch 和 Kibana 的开发者 | Elastic 注意:Elasticsearch官网访问和加载的耗时很长!!! Lucene官网:Apache Lucene - Welcome to Apache Lucene 目录 一、E…

Docker基本操作与自定义镜像Docker-Compose与Docker镜像仓库

目录 一.基本操作 1.镜像操作 1.1.镜像名称 1.2.镜像命令 1.3.案例-拉取、查看镜像 1.4.案例-保存、导入镜像 2.容器操作 2.1.容器相关命令 2.2.案例-创建并运行一个容器 2.3.案例-进入容器,修改文件 2.4.小结 3.数据卷(容器数据管理&#x…

挑选在线帮助文档协作工具的技巧与要点

随着互联网的发展,越来越多的公司和团队开始使用在线帮助文档协作工具来共同编辑和维护文档。这些工具可以让多个用户同时协作编辑同一篇文档,从而提高工作效率和减少沟通成本。然而,在选择在线帮助文档协作工具时,需要注意一些技…

低代码平台投票榜揭晓:这些平台最受欢迎

低代码平台是软件开发工具,允许用户快速轻松地创建和部署应用程序,只需最少的编程知识。对于寻求在不需要大量IT资源的情况下构建自定义应用程序的企业来说,这些平台非常有用。在本文中,我们将讨论低代码平台排行榜投票榜&#xf…

注解和反射复习

注解 注解:给程序和人看的,被程序读取,jdk5.0引用 内置注解 override:修饰方法,方法声明和重写父类方法, Deprecated:修饰,不推荐使用 suppressWarnings用来抑制编译时的警告,必须添加一个或多个参数s…

外贸客户背调的几种干货技巧

外贸人要想做到知己知彼,那背调是必不可少的。 有经验的外贸人会通过关键词、邮箱等开展模糊搜索,然而这种方式不光效率低,而且搜索到的信息也不全。今天小编分享的这几种背调组合工具,不光收集到的客户信息全面,而且…

Nginx网络服务的配置(叫不醒和睡不着的是两个世界)

文章目录 一、Nginx概述二、Nginx相对于Apache的优点三、配置Nginx网络服务1.编译安装和启用Nginx服务(1)关闭防火墙和selinux(2)安装依赖包(3)创建运行用户、组(Nginx 服务程序默认以 nobody 身…