【Flink】FlinkSQL读取hive数据（批量）

news2024/10/7 20:31:39

一、简介：

Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本

二、依赖jar包准备：

官网地址如下：

Overview | Apache Flink

1、我们需要准备相关的jar包到Flink安装目录的lib目录下，我们需要根据官网hive的版本下载Flink的live连接包

2、额外我们需要准备Flink的hadoop依赖包，否则会报缺少包的错误，下载过程见如下博客

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration-CSDN博客

下载后的jar包传到Flink安装目录的lib目录下，如下图：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1459999.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

重铸安卓荣光——上传图片组件

痛点： 公司打算做安卓软件，最近在研究安卓，打算先绘制样式研究发现安卓并不像前端有那么多组件库，甚至有些基础的组件都需要自己实现，记录一下自己实现的组件成品展示一个上传图片的组件可以选择拍照或者从相册中…

php反序列化原理常见的魔术方法

序列化是什么？ 要想了解反序列化，就先要知道序列化是什么。下面是是一串序列化数组： a:2:{s:4:"name";s:6:"cike_y";s:3:"age";i:18;}a表示array（数组），2表示这个数组有两…

计算机网络Day1--计算机网络体系

1.三网合一电信网络、广播电视网络、计算机网络（最基础最重要发展最快） 2.Internet 名为国际互联网、因特网，指当前全球最大的、开放的、由众多网络相互连接而成的特定互连网，采用TCP/IP 协议族作为通信的规则，前…

NoSQL 数据库管理工具，搭载强大支持：Redis、Memcached、SSDB、LevelDB、RocksDB，为您的数据存储提供无与伦比的灵活性与性能！

NoSQL 数据库管理工具，搭载强大支持：Redis、Memcached、SSDB、LevelDB、RocksDB，为您的数据存储提供无与伦比的灵活性与性能！ 【官网地址】：http://www.redisant.cn/nosql 介绍直观的用户界面从单一应用程序中同…

设计模式----开题

简介： 本文主要介绍设计模式中的六大设计原则。开闭原则，里氏代换原则，依赖倒转原则，接口隔离原则，迪米特原则和合成复用原则。这几大原则是设计模式使用的基础，在使用设计模式时，应该牢记这六大…

IDEA 如何运行SpringBoot项目（手把手超详细截图）

IDEA 如何运行SpringBoot项目（手把手超详细截图） 第一章:github 导入项目在GitHub上面找到我们需要部署项目的URL，并且复制粘贴到IDEA中，如下图所示。第二章：Maven的准备与部署由于idea自带Maven环境&#xff0c…

利用vite快速搭建vue3项目

1、选择一个文件夹，在vscode终端打开，输入命令【npm create vitelatest】 npm create vitelatest 2、提示你输入项目名称之后，我这里设置的是【rookiedemo】 3、回车之后，出现选择框架的提示，我们选择【vue】回车 4、…

Python 数据可视化之密度散点图 Density Scatter Plot

🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 密度散点图（Density Scatter Plot），也称为密度点图或核密度估计散点图，是一种数据可视化技术，主要用于展示大量数据点在二维平面上的分布情况…

ElementUI table表格组件实现双击编辑单元格失去焦点还原，支持多单元格

在使用ElementUI table表格组件时有时需要双击单元格显示编辑状态，失去焦点时还原表格显示。实现思路： 在数据中增加isFocus:false.控制是否显示在table中用cell-dblclick双击方法先看效果： 上源码：在表格模板中用scope.row…

【Linux】主机搭建 Linux服务器环境笔记

目录前言选择系统软件1. 用U盘装系统2. 安装 Centos7.93. 网络套件应用软件1. ngnix2. 防火墙配置3. nodejs 后记前言过年买了个 mini 主机当玩具玩一下，这里记录下。选择已有主力机 (windows) 的情况下，使用过如下四种 Linux宿主环境。这里总…

数据结构-邻接链表

介绍邻接矩阵是运用较多的一种储存图的方法，但如果一张网图边数较少，就会出现二维矩阵中大部分数据为0的情况，浪费储存空间为了避免空间浪费，也可以采用数组与链表结合的方式来存储图假设有这样一张图我们可以先用一个数组…

关于本地docker启动xxl-job

之前通过github拉取xxl-job到本地启动，已经验证完了，主要要记住以下几个步骤: 1.拉取代码 GitHub地址：https://github.com/xuxueli/xxl-job Gitee地址：https://gitee.com/xuxueli0323/xxl-job 2.idea打开，找到tabl…

鸿蒙Next怎么升级，有便捷的方法？

早在2023年11月，市场上有自媒体博主表示，华为HarmonyOS NEXT的升级计划是2X年底到2X年初完成一亿部，2X年底完成三亿部。虽然该博主没有明确具体年份，但预计是2024年底2025年初升级一亿部HarmonyOS NEXT设备，2025年底完…

java数据结构与算法刷题-----LeetCode503. 下一个更大元素 II

java数据结构与算法刷题目录（剑指Offer、LeetCode、ACM）-----主目录-----持续更新(进不去说明我没写完)：https://blog.csdn.net/grd_java/article/details/123063846 解题思路：时间复杂度和空间复杂度都是O(n) 此题是739题的衍生题…

2.19C语言学习

关于memset和0x3f int a[100]; memset(a,0x3f,sizeof(a) ); 0x3f0011 111163 C中int型变量所占的位数为4个字节，即32位 0x3f显然不是int型变量中单个字节的最大值，应该是0x7f0111 1111 B 那为什么要赋值0x3f： 作为无穷大使用因为4个字节均…

python在flask中的请求数据“无限流”

文章目录一、问题描述二、解决方案一、问题描述在flask请求中，有个需求是让调用方一直调接口，并立马返回，而接口方缓存请求，依次执行。二、解决方案 from flask import Flask, request, jsonify from queue import Queue i…

直接上代码 import numpy as np def fit_ellipse(points:np.array None, extension_ratio: float 0.2, eccentricity: float 0.8, n_points: int 100):center np.mean(points, axis0)if points.shape[0] 2:axis_vector points[1] - points[0]distance np.linalg.norm(…

K8s ingress-nginx根据请求目录不同将请求转发到不同应用

K8s ingress-nginx根据请求目录不同将请求转发到不同应用 1. 起因有小伙伴做实验想要实现以下需求: 输入www.pana.com/app1访问app1的svc 输入www.pana.com/app2访问app2的svc 2. 实验 2.1 Dockerfile 先准备Dockerfile FROM nginx:1.20ADD index.html /usr/share/ngin…

.net6 webapi log4net完整配置使用流程

前置：为项目安装如下两个依赖 1.创建文件夹cfgFile 2.创建log4net.Config <?xml version"1.0" encoding"utf-8" ?> <log4net><appender name"ConsoleAppender" type"log4net.Appender.ConsoleAppender"…

Sora给中国AI带来的真实变化

OpenAI的最新技术成果——文生视频模型Sora，在春节假期炸裂登场，令海内外的AI从业者、投资人彻夜难眠。如果你还没有关注到这个新闻，简单介绍一下：Sora是OpenAI使用超大规模视频数据，训练出的一个通用视觉模型&#x…