基于Hadoop搭建Flink集群详细步骤

news2024/11/16 19:47:50

目录

1.xftp上传flink压缩包至hadoop102的/opt/software/目录下

2.解压flink压缩包至/opt/module/目录下

4.配置masters

5.配置workers

6.配置环境变量my_env.sh

7.重启环境变量

9.另外两台重启环境变量

10.开启hadoop集群和flink集群

11.浏览器输入网址查验flink集群是否开启

12. 关闭flink集群命令


Hadoop集群搭建请参考博文《Hadoop集群搭建详细步骤》

1.xftp上传flink压缩包至hadoop102的/opt/software/目录下

2.解压flink压缩包至/opt/module/目录下

[lxm@hadoop102 software]$ tar -zxvf ./flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/

4.配置masters

5.配置workers

6.配置环境变量my_env.sh

7.重启环境变量

[lxm@hadoop102 software]$ source /etc/profile
[lxm@hadoop102 flink-1.13.0]$ xsync /opt/module/flink-1.13.0/

[lxm@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh 

9.另外两台重启环境变量

重启环境变量之前也可以查看是否分发成功

[lxm@hadoop103 ~]$ source /etc/profile

[lxm@hadoop104 ~]$ source /etc/profile

10.开启hadoop集群和flink集群

[lxm@hadoop102 ~]$ myhadoop.sh start

[lxm@hadoop102 ~]$ start-cluster.sh

[lxm@hadoop102 ~]$ jpsall

 

11.浏览器输入网址查验flink集群是否开启

http://hadoop102:8081

12. 关闭flink集群命令

[lxm@hadoop102 ~]$ stop-cluster.sh 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/353999.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

三、NetworkX工具包实战1——创建图、节点和连接【CS224W】(Datawhale组队学习)

开源内容:https://github.com/TommyZihao/zihao_course/tree/main/CS224W 子豪兄B 站视频:https://space.bilibili.com/1900783/channel/collectiondetail?sid915098 斯坦福官方课程主页:https://web.stanford.edu/class/cs224w NetworkX…

RFID射频识别技术(四) RFID高频电路基础|课堂笔记|10月11日

2022年10月11日 week7 ​​​​​​​ 目录 ​​​​​​​ 第四讲: RFID高频电路基础 一、RLC(串联)电路的阻抗

人工智能时代- 是时候改变学习方法了!

一、背景 现在 ChatGPT 非常火爆,很多问题能够给出非常专业的回答,对我们的学习有一些帮助。 今天突发奇想,问问 ChatGPT 一个问题:“Java 程序员如何做到让自己的代码更具有拓展性?” 下面将贴出 ChatGPT 相关的人…

上市公司企业持续创新能力、创新可持续性(原始数据+计算代码+计算结果)(2008-2021年)

数据来源:自主计算 时间跨度:2008-2021年 区域范围:沪深A股上市公司 指标说明: 参考何郁冰(2017)[1]的做法,将持续创新作为独立研究变量,同时采用创新投入指标(研发经费) 和创新…

【AHK】打开网络连接/打开wifi列表/打开蓝牙列表

需求:打开wifi列表检查自动连接的wifi,打开蓝牙列表查看蓝牙设备电量,并通过快捷键激活,能像wink那样打开连接列表。 同时也是一种思路,就是一般是输入 Windows打开xx的快捷键,一般是找不到的,那…

Apache Flink 实时计算在美的多业务场景下的应用与实践

摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在 Flink Forward Asia 2022 主会场的分享。本篇内容主要分为四个部分:实时生态系统在美的的发展和建设现状核心传统业务场景 Flink 实时数字化转型实践新兴业务场景 Flink 实时数…

Ubuntu最新版本(Ubuntu22.04LTS)安装nfs服务器及使用教程

目录 一、概述 二、在Ubuntu搭建nfs服务器  👉2.1 安装nfs服务器  👉2.2 创建nfs服务器共享目录  👉2.3 修改nfs服务器配置文件  👉2.4 重启nfs服务器 三、客户端访问nfs服务器共享目录  🎈3.1 在nfs客户端挂载服…

Tile防丢器引入全新防盗模式,苹果Find My功能拓展到大众消费电子

Tile 宣布引入全新的防盗模式,Tile 配件启用之后,反跟踪扫描和安全功能就无法检测到该配件。Tile 为了遏制其物品追踪产品用于追踪某人,此前推出了 Scan and Secure 功能。iPhone 和安卓用户可以通过该功能扫描附近的 Tile 设备,以…

【C++之容器篇】map和set常见函数接口的使用与剖析

目录前言一、set1. 简介2. 成员类型3. 构造函数(1) set()(2)set(InputIterator first,InputIterator last)(3)使用4. 拷贝构造函数和赋值运算符重载5. empty()6. size()7. insert()(1)pair<iterator,bool> insert(const K& key)(2)iterator insert(iterator pos,cons…

零信任-Cisco思科零信任介绍(10)

​目录 ​思科零信任介绍 思科零信任所涉及产品 思科零信任架构拓扑介绍 ​思科零信任框架VS零信任安全框架 思科零信任架构的应用场景 思科零信任解决方案的优势 思科零信任的未来发展展望 思科零信任介绍 Cisco Zero Trust是思科公司推广的一种安全模型&#xff0c;旨…

实现qq群消息接收和发送功能

QQWebsocketClient是什么 实现qq群消息接收和发送功能&#xff0c;基于websocket技术和cqhttp服务开发 一、 效果截图 二、实现思路 使用cqhttp进行socket反向代理&#xff0c;获取qq聊天的所有消息 编写java客户端&#xff0c;连接至cqhttp服务器获取聊天消息 获取聊天消…

spring boot 自动配置类,详细过程

springboot version(v2.7.8)启动类SpringBootApplication public class SecurityApplication { public static void main(String[] args) {SpringApplication.run(SecurityApplication.class, args);} }1 点击 SpringBootApplication进入&#xff0c;EnableAutoConfiguration 开…

把Typora图片自动上传网

闲话少说 总共三步下载PicGohttps://github.com/Molunerfinn/PicGo/releases/download/v2.3.1/PicGo-Setup-2.3.1-x64.exe直接点就行这里略过Gitee我们需要使用 Git 来保存我们的图片&#xff0c;又因为国内访问 Github 速度比较慢&#xff0c;所以这里推荐使用国内的 Git 托管…

Blazor入门100天 : 身份验证和授权 (1) - 建立带身份验证工程

目录 建立默认带身份验证 Blazor 程序角色/组件/特性/过程逻辑DB 改 Sqlite将自定义字段添加到用户表脚手架拉取IDS文件,本地化资源freesql 生成实体类,freesql 管理ids数据表初始化 Roles,freesql 外键 > 导航属性完善 freesql 和 bb 特性 知识点 Microsoft.AspNetCore.…

数据结构与算法之数组寻找峰值分而治之

这一篇分享一道在数组中寻找峰值的题目&#xff0c;使用到分而治之&#xff0c;二分查找等思想。本文章会讲解这个二分查找的本质&#xff0c;以及为什么要用二分查找&#xff0c;它能解决哪一类题目&#xff1f;目录&#xff1a;一.题目及其要求1.分而治之2.题目思路3.具体做法…

渗透测试实战 - 外网渗透内网穿透(超详细)

文章目录实验环境Target1 - Centos7 &#xff08;web服务&#xff09;Target2 - Ubuntu &#xff08;内网web服务&#xff09;Target3 - Windows7 (客户端)实验目的实验步骤测试Target1信息收集22/21端口 弱口令爆破(MSF&#xff0c;hydra)3306端口8888端口80端口主机信息收集反…

在AWS Glue上使用JDBC连接Trino

呼应此前一篇文章《在Spark上使用JDBC连接Trino》&#xff0c;继续在AWS Glue上测试JDBC连接Trino&#xff0c;同样&#xff0c;这是一个非常不典型的应用用场景&#xff0c;本文仅记录测试步骤和结果&#xff0c;不做评论。本文地址&#xff1a;https://laurence.blog.csdn.ne…

还在想假期去哪玩?直接做一个旅游攻略小程序

憋了几年好不容易解封准备出去散散心,但看着大江南北这么多景点是不是有点让你选择强迫症呢?那就先制作一个旅游攻略小程序看看驴友们的分享吧。

E. Explosions?(思维+单调队列

Problem - E - Codeforces 题意&#xff1a;有 n 个怪&#xff0c;生命值为&#xff0c;你有两种操作&#xff0c;一种花费 1 MP减少一个怪的一格血量&#xff0c;可以操作任意次&#xff1b;另一次是花费 x MP&#xff0c;制造一个爆炸&#xff0c;可以不断消灭两侧连续严格递…

【C语言】 详谈指针

☃️内容专栏&#xff1a;【C语言】初阶部分 ☃️本文概括&#xff1a;继初识C语言&#xff0c;对C语言指针初阶部分进行归纳与总结。 ☃️本文作者&#xff1a;花香碟自来_ ☃️发布时间&#xff1a;2023.2.17 目录 一、指针和指针类型 1.1 指针 1.2 指针类型 其一&#x…