Flink SQL管理平台flink-streaming-platform-web安装搭建-整理

news2024/11/16 9:58:00

目录

步骤

安装

第四步 配置flink web平台

第五步 运行demo

在Flink学习的入门阶段，非常重要的一个过程就是Flink环境搭建，这是认识FLInk框架的第一步，也是为后续的理论学习和代码练习打下基础。今天加米谷大数据就为大家带来Flink环境搭建的步骤解析，帮助大家一步步来部署好Flink环境。

步骤

1、使用git clone 到本地后，使用IDEA打开项目

2、修改数据库连接 flink-streaming-web/src/main/resources/application.properties

3、在本地数据库中创建 flink_web 库，并执行 docs/sql/flink_web.sql 构建数据库表

4、执行  mvn clean package -DskipTests

5、在 flink-streaming-platform-web 主目录下创建 lib 文件夹

6、将 flink-streaming-core/target/flink-streaming-core.jar 移动到 刚创建的lib 中

7、将 flink-streaming-core.jar 改名为 flink-streaming-core-1.3.0.RELEASE.jar

8、flink-streaming-web 模块是REST服务模块，运行启动类是：com.flink.streaming.web.StartApplication

9、启动完成后，访问本地: localhost:8080   用户名: admin  密码: 123456

10、系统设置：flink_streaming_platform_web_home=你自己的路径/flink-streaming-platform-web/

11、如果你开发环境有 YARN 就配置 yarn_rm_http_address  (根据你自己的确定)

12、如果是standalone模式，需要本地运行Flink 集群，并配置 flink_rest_http_address

最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。

这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址：

https://github.com/zhp8341/flink-streaming-platform-web

根据github上，作者的描述，flink-streaming-patform-web主要功能：

  • [1] 任务支持单流 、双流、 单流与维表等。
  • [2] 支持本地模式、yarn-per模式、STANDALONE模式 Application模式
  • [3] 支持catalog、hive。
  • [4] 支持自定义udf、连接器等,完全兼容官方连接器。
  • [5] 支持sql的在线开发，语法提示，格式化。
  • [6] 支持钉钉告警、自定义回调告警、自动拉起任务。
  • [7] 支持自定义Jar提交任务。
  • [8] 支持多版本flink版本（需要用户编译对应flink版本）。
  • [9] 支持自动、手动savepoint备份，并且从savepoint恢复任务。
  • [10] 支持批任务如：hive。
  • [11] 连接器、udf等三jar管理

是不是觉得很强大，很多同学已经摩拳擦掌想试试了。

安装

这里只介绍flink on yarn模式的安装，如果你的hadoop集群已经安装好了，大概半个小时就能好；否则，安装hadoop集群可老费事儿了。总体步骤如下：

第一步 hadoop集群

这里假设你的hadoop集群是好的，yarn是可以正常使用的，8088端口可以访问，如下：

 

flink on yarn，只需要下载一个flink安装包即可使用，下载命令：

http://archive.apache.org/dist/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz

解压

tar -xvf flink-1.13.5-bin-scala_2.11.tgz

关键：这里问题来了，我的flink怎么识别hadoop呢，需要配置一个环境变量，编辑 /etc/profile，键入内容：

export HADOOP_CONF_DIR=填你的hadoop配置文件目录，比如我的是/usr/local/hadoop2.8/etc/hadoop/conf
export HADOOP_CLASSPATH=`hadoop classpath`

好了，这样一个flink on yarn的环境就搭建好了。

官方地址文章开头已经给出，在github找到下载地址： https://github.com/zhp8341/flink-streaming-platform-web/releases/

 为什么我下的是适配flink 1.14.3的，我前面安装flink1.13.5，我也是下了一堆flink，经过尝试，才发现flink1.13.5这个版本，适配flink-streaming-platform-web tagV20220625。

解压后，修改配置文件：application.properties，懂的人知道这个其实是个springboot的配置文件。

#### jdbc信息
server.port=9084
spring.datasource.url=jdbc:mysql://192.168.1.1:3306/flink_web?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&useSSL=false
spring.datasource.username=bigdata
spring.datasource.password=bigdata

这里配置了一个数据库，需要自己新建一下，建表语句作者给出了：https://github.com/zhp8341/flink-streaming-platform-web/blob/master/docs/sql/flink_web.sql，把这段sql执行一下，在flink_web数据库建相应的一些整个系统运行需要的表。

 

启动web服务

# bin目录下面的命令

启动 : sh deploy.sh  start
停止 :  sh deploy.sh  stop

服务启动后，通过9084端口在浏览器访问

 

第四步 配置flink web平台

这一步很关键，页面上点击系统设置，进入配置页面：

 

这里的参数意义：

  1. Flink客户端目录：就是安装的Flink目录；
  2. Flink管理平台目录：就是下载的flink-streaming-platform-web放的目录；
  3. yarn RM http地址：就是yarn.resourcemanager.webapp.address，通常是8088端口；

经过测试，配置这3个参数即可使用。

第五步 运行demo

这里以官方demo为例，[demo1 单流kafka写入mysqld 参考](https://github.com/zhp8341/flink-streaming-platform-web/blob/master/docs/sql_demo/demo_1.md)，这是一个通过flink sql消费kafka，聚合结果写入mysql的例子。

  1. 在flink_web数据建表
CREATE TABLE sync_test_1 (
  `day_time` varchar(64) NOT NULL,
  `total_gmv` bigint(11) DEFAULT NULL,
  PRIMARY KEY (`day_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
  1. 下载依赖jar包

因为涉及到kafka和mysql，需要对应的connector依赖jar包，下图中标注出来了，放在Flink的lib目录(/var/lib/hadoop-hdfs/flink-1.13.5/lib)下面：

wget https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc_2.11/1.13.5/flink-connector-jdbc_2.11-1.13.5.jar

https://repo1.maven.org/maven2/org/apache/flink/flink-connector-kafka_2.11/1.13.5/flink-connector-kafka_2.11-1.13.5.jar

技巧：下载Flink的依赖jar包，有个地方下载很方便，地址是：

https://repo1.maven.org/maven2/org/apache/flink/

这样依赖，一切都准备好了。

在web页面新建sql流任务：

 

 我建的一个，任务属性我是这样填写的：

 

ql脚本内容：

create table flink_test_1 ( 
    id BIGINT,
    day_time VARCHAR,
    amnount BIGINT,
    proctime AS PROCTIME ()
)
with ( 
    'connector' = 'kafka',
    'topic' = 'flink_connector',
    'properties.bootstrap.servers' = 'kafka-001:9092', 
    'properties.group.id' = 'flink_gp_test1',
    'scan.startup.mode' = 'earliest-offset',
    'format' = 'json',
    'json.fail-on-missing-field' = 'false',
    'json.ignore-parse-errors' = 'true'
);
CREATE TABLE sync_test_1 (
    day_time string,
    total_gmv bigint,
    PRIMARY KEY (day_time) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://192.168.1.1:3306/flink_web?characterEncoding=UTF-8',
    'table-name' = 'sync_test_1',
    'username' = 'bigdata',
    'password' = 'bigdata'
);
INSERT INTO sync_test_1 
SELECT day_time,SUM(amnount) AS total_gmv
FROM flink_test_1
GROUP BY day_time;

创建好任务后，启动任务吧。

启动后，可以在yarn的8088端口页面看到起了一个application，名称是新建任务填写的名称加flink@前缀：

 这个任务，我们点进去看，通过管理平台提交的sql任务确实跑起来了，这个页面了解Flink的同学就很熟悉了：

其实，这段sql脚本，我们可以在flink的bin/sql-client.sh进入的那个小松鼠的黑框里面执行的，你们可以试一下。

 kafka控制台往主题里面写数据，主题不存在会自动创建：

我们再看看mysql里面： 

数据已经进来了。 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/56511.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

全栈性能测试教程之性能测试理论（一） mockserver应用

全栈性能测试教程之性能测试理论（一） mockserver应用

1、mockServer 1.1什么是mockServer moco替代 Server服务 mocoServer即为测试替身的服务 主要针对于单元测试的应用，主要应用于解除单元测试之间的依赖 1.2mocoServer使用的场景 前端程序员 前端已经写好页面，但是后端的接口没有写好&#xff…
阅读更多...
[Android]Mac电脑Android Studio使用真机调试运行

[Android]Mac电脑Android Studio使用真机调试运行

一、Mac电脑连接Android真机 我这里是一台中兴手机 1. 手机打开USB调试 打开“设置”找到“关于手机”进入，连续点击版本号，直到提示“您已经进入开发者模式”。回到“设置”找到“系统与更新”进入，再进入“开发者选项”，打开…
阅读更多...
Vue笔记_03组件_mavonEditor组件(基于vue)

Vue笔记_03组件_mavonEditor组件(基于vue)

目录下载mavonEditor导入并注册mavonEditor组件[1] 全局注册[2]局部注册使用mavonEditor属性修改举例说明1-不展示预览分屏工具栏修改举例说明-根据配置显示工具栏编辑器插槽举例说明-自定义工具栏按钮函数监听下载mavonEditor 使用命令 npm install mavon-editor --s 进行下载…
阅读更多...
Koa 6 响应(Response)

Koa 6 响应(Response)

Koa Koa 本文仅用于学习记录，不存在任何商业用途，如侵删 6 响应(Response) 文章目录Koa6 响应(Response)6.1 APIStringBufferStreamObjectKoa Response 对象是在 node 的原生响应对象之上的抽象，提供了诸多对 HTTP 服务器开发有用的功能。 6…
阅读更多...
Linux系统移植一：移植U-BOOT 添加自己的板子并编译（非petalinux版）

Linux系统移植一：移植U-BOOT 添加自己的板子并编译（非petalinux版）

Linux系统移植流程 之前一直用官方给的Linux系统文件，没有自己系统地移植过，故整理一遍 不使用petalinux工具，尽管它提升了开发效率，但是不利于学习移植过程 嵌入式Linux系统移植主要由四大部分组成： 搭建交叉开发环…
阅读更多...
【计算机网络】实验四 应用层和传输层协议分析(PacketTracer)

【计算机网络】实验四 应用层和传输层协议分析(PacketTracer)

一.实验目的 通过本实验，熟悉PacketTracer的使用，学习在PacketTracer中仿真分析应用层和传输层协议，进一步加深对协议工作过程的理解。 二.实验内容 研究应用层和传输层协议 从 PC 使用 URL 捕获 Web 请求，运行模拟并捕获通信…
阅读更多...
健身用什么耳机比较好、五款适合健身房运动的耳机推荐

健身用什么耳机比较好、五款适合健身房运动的耳机推荐

大家都运动本身是一件特别枯燥无味的事情，尤其是一个人在健身房沉浸式撸铁的时候，而听音乐是大多数人缓解枯燥的首选，不过在健身的过程中拥有一款既要音质好、又要适合运动佩戴防水防汗的耳机可就不那么容易了。今天给大家推荐几款最佳的运动…
阅读更多...
如何在lnmp中实现PHP多版本共存

如何在lnmp中实现PHP多版本共存

背景：one框架需要swool扩展，同时php版本需要7.3，目前服务器安装的是lnmp1.6其中php5.6. 所以觉得安装一个php7.3作为切换版本 ，以下是安装步骤 1.查找lnmp的install.sh文件，一般在/root/lnmp1.5/install.sh 下执行命令…
阅读更多...
【Docker】Compose容器编排：微服务实战

【Docker】Compose容器编排：微服务实战

Docker-Compose是Docker官方的开源项目， 负责实现对Docker容器集群的快速编排。是一个工具软件，可以 管理多个 Docker 容器 组成一个应用。你需要 定义一个 YAML 格式的配置文件docker-compose.yml ，写好多个容器之间的调用关系。然后&#x…
阅读更多...
GeoTools快速入门

GeoTools快速入门

本文将帮助读者获取GeoTools的源代码并进行编译。下载源代码并进行编译有助于读者对GeoTools建立整体性的理解，帮助读者厘清GeoTools的模块划分。同时因为GeoTools是一个开源类库，读者在实际使用中遇到的一些问题可以通过直接阅读GeoTools源代码来进行解…
阅读更多...
vue3+ts项目中封装3d单柱柱状图

vue3+ts项目中封装3d单柱柱状图

vue3ts项目中封装单柱的柱状图 成品图 下载echarts npm i echarts 封装组件为Barchart.vue文件 <template> </template><script setup lang"ts"> import { nextTick, watch } from vue import echarts from /assets/ts/echarts; import useRes…
阅读更多...
[附源码]计算机毕业设计在线项目管理Springboot程序

[附源码]计算机毕业设计在线项目管理Springboot程序

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…
阅读更多...
十三、Vue CLI（2）

十三、Vue CLI（2）

本章概要 项目结构编写一个 Hello 组件package.json 13.4 项目结构 通过 Vue CLI 生成的项目的目录结构及各文件夹和文件的用途说明如下&#xff1a; |--node_modules //项目依赖的模块 |--public //该目录下的文件不会被 Webpack 编译压缩处理&…
阅读更多...
Springboot社区疫情防控系统毕业设计,社区疫情防控管理系统设计与实现,毕设作品参考

Springboot社区疫情防控系统毕业设计,社区疫情防控管理系统设计与实现,毕设作品参考

功能清单 【后台管理员功能】 关于我们设置&#xff1a;设置学校简介、联系我们、加入我们、法律声明、学校详情 广告管理&#xff1a;设置小程序首页轮播图广告和链接 留言列表&#xff1a;所有用户留言信息列表&#xff0c;支持删除 会员列表&#xff1a;查看所有注册会员信…
阅读更多...
【树莓派开发日记2 】树莓派安装Ubuntu22系统及启动黑屏等问题的踩坑记录

【树莓派开发日记2 】树莓派安装Ubuntu22系统及启动黑屏等问题的踩坑记录

树莓派安装Ubuntu22系统及启动黑屏等问题的踩坑记录 在成功进行了组装后&#xff0c;就到了最为关键的部分了&#xff0c;进行树莓派的系统烧录。虽然树莓派有自己对应的系统&#xff0c;raspbian&#xff0c;但是绝大部分的开发者还是会选择Ubuntu系统作为主要的开发系统 Ub…
阅读更多...
软件架构模式

软件架构模式

如果有兴趣了解更多相关内容&#xff0c;欢迎来我的个人网站看看&#xff1a;瞳孔空间 创建软件系统基本结构的原则称为软件体系结构。软件结构由软件元素及其相互关系组成&#xff0c;这些元素起着蓝图的作用&#xff0c;规划了要执行的任务的模式。软件设计团队极大地依赖于…
阅读更多...
【java】2-串行与并发分别将计数器从1累加到10亿

【java】2-串行与并发分别将计数器从1累加到10亿

串行、并行、并发 串行是100个人的队伍从一条通道里顺序通行 并行是100个人从n(n>1)条通道分别通行 并发是只有一条通道&#xff0c;100个人排成n个队伍&#xff0c;每队依次派一个人从通道通行&#xff1b;或是有m条通道&#xff0c;100个人排成n个队伍&#xff0c;各个队…
阅读更多...
[附源码]计算机毕业设计SpringBoot心理健康系统

[附源码]计算机毕业设计SpringBoot心理健康系统

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…
阅读更多...
Spark3 AQE (Adaptive Query Execution) 一文搞懂 新特性

Spark3 AQE (Adaptive Query Execution) 一文搞懂 新特性

Spark 3 AQE (Adaptive Query Execution) 序 在搭建平台的过程中&#xff0c;我们使用 CDH 6.3.2 进行搭建&#xff0c;但 CDH 中阉割掉了 spark-sql 功能&#xff0c;所以我们外挂了 Spark 3&#xff0c;补充 spark-sql 功能&#xff0c;版本为 3.3。在使用的过程中&#xff…
阅读更多...
【抓包工具】win 10 / win 11：WireShark 下载、安装、使用

【抓包工具】win 10 / win 11：WireShark 下载、安装、使用

目录 一、WireShark 下载 二、WireShark 安装 &#xff08;1&#xff09;双击运行安装程序 &#xff08;2&#xff09;Choose Components&#xff1a;选择组件 &#xff08;3&#xff09;Additional Tasks&#xff1a;附加任务 &#xff08;4&#xff09;Choose lnstall …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023