K8s flink-operator 例子

news2024/11/20 9:47:11
1.参考官网:
https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-stable/docs/try-flink-kubernetes-operator/quick-start/
2.首先环境具备 k8s、helm

我的环境 k8s 1.30 最新版本了 

[root@k8s-master ~]# kubectl get no -owide
NAME         STATUS   ROLES           AGE    VERSION   INTERNAL-IP      EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME
k8s-master   Ready    control-plane   156d   v1.30.0   192.168.56.211   <none>        CentOS Linux 7 (Core)   5.4.274-1.el7.elrepo.x86_64   containerd://1.6.9
k8s-node1    Ready    <none>          156d   v1.30.0   192.168.56.212   <none>        CentOS Linux 7 (Core)   5.4.274-1.el7.elrepo.x86_64   containerd://1.6.9
k8s-node2    Ready    <none>          156d   v1.30.0   192.168.56.213   <none>        CentOS Linux 7 (Core)   5.4.274-1.el7.elrepo.x86_64   containerd://1.6.9
[root@k8s-master ~]# kubectl get all -A
NAMESPACE     NAME                                            READY   STATUS    RESTARTS      AGE
default       pod/flink-kubernetes-operator-f56d6bf6f-skcnn   2/2     Running   0             23m
kube-system   pod/calico-kube-controllers-6df7596dbd-4scr5    1/1     Running   0             22m
kube-system   pod/calico-node-8b5p2                           1/1     Running   6 (30m ago)   156d
kube-system   pod/calico-node-p8bhd                           1/1     Running   6 (29m ago)   156d
kube-system   pod/calico-node-x4dr2                           1/1     Running   7 (15m ago)   156d
kube-system   pod/coredns-7b5944fdcf-ms42h                    1/1     Running   0             22m
kube-system   pod/coredns-7b5944fdcf-rndst                    1/1     Running   0             22m
kube-system   pod/etcd-k8s-master                             1/1     Running   7 (15m ago)   156d
kube-system   pod/kube-apiserver-k8s-master                   1/1     Running   7 (15m ago)   156d
kube-system   pod/kube-controller-manager-k8s-master          1/1     Running   9 (15m ago)   156d
kube-system   pod/kube-proxy-dr4lp                            1/1     Running   6 (29m ago)   156d
kube-system   pod/kube-proxy-nsvhl                            1/1     Running   6 (30m ago)   156d
kube-system   pod/kube-proxy-sgkfs                            1/1     Running   7 (15m ago)   156d
kube-system   pod/kube-scheduler-k8s-master                   1/1     Running   7 (15m ago)   156d

NAMESPACE     NAME                                     TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                  AGE
default       service/flink-operator-webhook-service   ClusterIP   10.97.88.103   <none>        443/TCP                  6d23h
default       service/kubernetes                       ClusterIP   10.96.0.1      <none>        443/TCP                  156d
kube-system   service/kube-dns                         ClusterIP   10.96.0.10     <none>        53/UDP,53/TCP,9153/TCP   156d

NAMESPACE     NAME                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/calico-node   3         3         3       3            3           kubernetes.io/os=linux   156d
kube-system   daemonset.apps/kube-proxy    3         3         3       3            3           kubernetes.io/os=linux   156d

NAMESPACE     NAME                                        READY   UP-TO-DATE   AVAILABLE   AGE
default       deployment.apps/flink-kubernetes-operator   1/1     1            1           6d23h
kube-system   deployment.apps/calico-kube-controllers     1/1     1            1           156d
kube-system   deployment.apps/coredns                     2/2     2            2           156d

NAMESPACE     NAME                                                  DESIRED   CURRENT   READY   AGE
default       replicaset.apps/flink-kubernetes-operator-f56d6bf6f   1         1         1       6d23h
kube-system   replicaset.apps/calico-kube-controllers-6df7596dbd    1         1         1       156d
kube-system   replicaset.apps/coredns-7b5944fdcf                    2         2         2       156d
[root@k8s-master ~]#
3.在 Kubernetes 集群上安装证书管理器以添加 Webhook 组件(每个 Kubernetes 集群只需要一次)
kubectl create -f https://github.com/jetstack/cert-manager/releases/download/v1.8.2/cert-manager.yaml
如果证书管理器安装因任何原因失败,可以通过传递 --set webhook.create=false给操作员的 helm install 命令来禁用 Webhook。

4.Helm 图表部署选定的稳定 Flink Kubernetes Operator 版本:

要查找稳定版本列表,请访问Downloads | Apache Flink

Helm 图表默认指向ghcr.io/apache/flink-kubernetes-operator镜像存储库。如果您遇到连接问题或者更喜欢使用 Dockerhub,则可以--set image.repository=apache/flink-kubernetes-operator在安装过程中使用。

执行命令:
helm install flink-kubernetes-operator flink-operator-repo/flink-kubernetes-operator  --set image.repository=apache/flink-kubernetes-operator
helm repo add flink-operator-repo https://downloads.apache.org/flink/flink-kubernetes-operator-1.9.0/
helm install flink-kubernetes-operator flink-operator-repo/flink-kubernetes-operator
[root@k8s-master ~]# helm install flink-kubernetes-operator flink-operator-repo/flink-kubernetes-operator
NAME: flink-kubernetes-operator
LAST DEPLOYED: Wed Sep 25 19:43:46 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
[root@k8s-master ~]# helm list
NAME                            NAMESPACE       REVISION        UPDATED                                 STATUS          CHART                           APP VERSION
flink-kubernetes-operator       default         1               2024-09-25 19:43:46.63808568 +0800 CST  deployed        flink-kubernetes-operator-1.9.0 1.9.0
[root@k8s-master ~]# kubectl get all -A
NAMESPACE      NAME                                             READY   STATUS    RESTARTS      AGE
cert-manager   pod/cert-manager-cainjector-5dbdc949c4-gjfln     1/1     Running   0             9m45s
cert-manager   pod/cert-manager-d68cffc95-rz7nr                 1/1     Running   0             9m45s
cert-manager   pod/cert-manager-webhook-759ddb6555-4p7n6        1/1     Running   0             9m45s
default        pod/flink-kubernetes-operator-68cbbd7779-l5bbr   2/2     Running   0             38s
kube-system    pod/calico-kube-controllers-6df7596dbd-4scr5     1/1     Running   0             34m
kube-system    pod/calico-node-8b5p2                            1/1     Running   6 (41m ago)   156d
kube-system    pod/calico-node-p8bhd                            1/1     Running   6 (41m ago)   156d
kube-system    pod/calico-node-x4dr2                            1/1     Running   7 (27m ago)   156d
kube-system    pod/coredns-7b5944fdcf-ms42h                     1/1     Running   0             34m
kube-system    pod/coredns-7b5944fdcf-rndst                     1/1     Running   0             34m
kube-system    pod/etcd-k8s-master                              1/1     Running   7 (27m ago)   156d
kube-system    pod/kube-apiserver-k8s-master                    1/1     Running   7 (27m ago)   156d
kube-system    pod/kube-controller-manager-k8s-master           1/1     Running   9 (27m ago)   156d
kube-system    pod/kube-proxy-dr4lp                             1/1     Running   6 (41m ago)   156d
kube-system    pod/kube-proxy-nsvhl                             1/1     Running   6 (41m ago)   156d
kube-system    pod/kube-proxy-sgkfs                             1/1     Running   7 (27m ago)   156d
kube-system    pod/kube-scheduler-k8s-master                    1/1     Running   7 (27m ago)   156d

NAMESPACE      NAME                                     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                  AGE
cert-manager   service/cert-manager                     ClusterIP   10.108.134.142   <none>        9402/TCP                 9m46s
cert-manager   service/cert-manager-webhook             ClusterIP   10.107.201.217   <none>        443/TCP                  9m46s
default        service/flink-operator-webhook-service   ClusterIP   10.100.57.92     <none>        443/TCP                  38s
default        service/kubernetes                       ClusterIP   10.96.0.1        <none>        443/TCP                  156d
kube-system    service/kube-dns                         ClusterIP   10.96.0.10       <none>        53/UDP,53/TCP,9153/TCP   156d

NAMESPACE     NAME                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/calico-node   3         3         3       3            3           kubernetes.io/os=linux   156d
kube-system   daemonset.apps/kube-proxy    3         3         3       3            3           kubernetes.io/os=linux   156d

NAMESPACE      NAME                                        READY   UP-TO-DATE   AVAILABLE   AGE
cert-manager   deployment.apps/cert-manager                1/1     1            1           9m46s
cert-manager   deployment.apps/cert-manager-cainjector     1/1     1            1           9m46s
cert-manager   deployment.apps/cert-manager-webhook        1/1     1            1           9m45s
default        deployment.apps/flink-kubernetes-operator   1/1     1            1           38s
kube-system    deployment.apps/calico-kube-controllers     1/1     1            1           156d
kube-system    deployment.apps/coredns                     2/2     2            2           156d

NAMESPACE      NAME                                                   DESIRED   CURRENT   READY   AGE
cert-manager   replicaset.apps/cert-manager-cainjector-5dbdc949c4     1         1         1       9m46s
cert-manager   replicaset.apps/cert-manager-d68cffc95                 1         1         1       9m46s
cert-manager   replicaset.apps/cert-manager-webhook-759ddb6555        1         1         1       9m45s
default        replicaset.apps/flink-kubernetes-operator-68cbbd7779   1         1         1       38s
kube-system    replicaset.apps/calico-kube-controllers-6df7596dbd     1         1         1       156d
kube-system    replicaset.apps/coredns-7b5944fdcf                     2         2         2       156d
[root@k8s-master ~]#

一旦操作员如上一步所示运行,您就可以提交 Flink 作业了:

kubectl create -f https://raw.githubusercontent.com/apache/flink-kubernetes-operator/release-1.9/examples/basic.yaml

您可以跟踪您的作业日志,在成功启动后(在新环境中可能需要一分钟,几秒钟后),您可以:

kubectl logs -f deploy/basic-example

要公开 Flink 仪表板,您可以添加端口转发规则或查看入口配置选项:

 kubectl port-forward svc/basic-example-rest 8081:8081 --address 192.168.56.211
或者是:
 kubectl port-forward svc/basic-example-rest 8081:8081 --address 0.0.0.0

现在可以通过 192.168.56.211:8081 访问 Flink 仪表板。

6.其中会用到的镜像:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2166035.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【QGIS】软件下载安装及GIS4WRF插件使用

【QGIS】软件下载安装及GIS4WRF插件使用 QGIS软件下载软件安装GIS4WRF插件导入参考 QGIS软件下载 官网-QGIS-Spatial without Compromise 下载安装包&#xff0c;居然有1.2G&#xff0c;那就慢慢下载吧&#xff01; 软件安装 双击安装包&#xff0c;如下&#xff1a; 接受…

MATLAB案例 | 沪深股市收益率的二元Copula模型

沪深股市收益率的二元Copula模型 1. 案例描述2.实现流程2.1 确定随机变量的边缘分布2.1.1 参数法计算流程2.1.2 非参数法 2.2 选取适当的Copula函数2.3 参数估计 3. 完整代码参考资料 1. 案例描述 现有上海和深圳股市同时期日开盘价、最高价、最低价、收盘价、收益率等数据,跨…

9.2自适应阈值分割

基本概念 在图像处理中&#xff0c;阈值分割是一种简单而有效的图像分割方法&#xff0c;它根据像素值将图像分割成前景和背景。自适应阈值分割是阈值分割的一种高级形式&#xff0c;它考虑了图像局部区域的亮度变化&#xff0c;从而能够更准确地分割图像。OpenCV是一个强大的…

完全二叉树和堆排序

完全二叉树 完全二叉树满足以下两个条件&#xff1a; 所有层的节点都完全填满&#xff1a;除了最后一层外&#xff0c;每一层的节点数都是最大节点数&#xff0c;即除了最后一层&#xff0c;其他层的节点数都是满的。 最后一层的节点尽可能地向左排列&#xff1a;在满足第一…

调试技巧 conso.trace()

console 的 trace() 方法向 Web 控制台输出一个堆栈跟踪。 trace是一个很好的调试错误的办法&#xff0c; console.trace() 方法用于显示当前执行的代码在堆栈中的调用路径。 可以查看函数在哪一些地方做了调用 这个在找不出变量在何处被修改的时候&#xff0c;很有用 同时…

TCP网络编程概述、相关函数、及实现超详解

文章目录 TCP网络编程概述1. TCP协议的特点2. TCP与UDP的差异3. TCP编程流程 TCP网络编程相关函数详解1. socket()&#xff1a;创建套接字参数说明&#xff1a;返回值&#xff1a;示例&#xff1a; 2. connect()&#xff1a;客户端连接服务器参数说明&#xff1a;返回值&#x…

力扣每日一题 公司命名 集合 找规律

Problem: 2306. 公司命名 &#x1f468;‍&#x1f3eb; 灵神题解 class Solution {public long distinctNames(String[] ideas) {// 创建一个大小为26的HashSet数组&#xff0c;用于存储每个首字母对应的字符串集合Set<String>[] groups new HashSet[26];Arrays.set…

基于Python大数据的音乐推荐及数据分析可视化系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码 精品专栏&#xff1a;Java精选实战项目…

Cadence Allegro17.4 板框倒角

一、Cadence Allegro 板框倒角有倒斜角和倒圆角两种形式&#xff1a; 1、 板框倒斜角 2、 板框倒圆角 二、有些时候不能倒角 如果我们绘制的板框是Shape属性的是不能正常倒角设置&#xff0c;要将Shape属性的板框更改为lines属性的板框。 1、 选择菜单栏Shape——Decompose …

Wireshark_流量分析

在当今数字化的时代&#xff0c;网络流量分析对于确保网络的稳定运行、排查故障以及保障网络安全至关重要。Wireshark 作为一款功能强大的网络数据包分析工具&#xff0c;为我们提供了多种实用的功能&#xff0c;帮助我们深入了解网络中的数据传输情况。 1、数据包筛选 数据包…

HTTP和HTTPS的区别,HTTP协议转HTTPS协议测试需要注意内容

简单快捷&#xff1a;HTTP 相对于 HTTPS 更简单和快速。在开发过程中&#xff0c;可能频繁地修改代码并测试&#xff0c;使用 HTTP 可以减少一些开发中的额外步骤和复杂性。 不涉及敏感信息&#xff1a;在本地开发环境中&#xff0c;通常不涉及真实用户数据或敏感信息的传输&a…

单链表实现和数组模拟单链表

现在有一个排好序的若干个元素(升序),现在要插入一个元素啊&#xff0c;请你输入插入该元素后的序列(升序) 请分别用单链表实现&#xff0c;和数组模拟单链表实现 为什么要用数组模拟单链表 1.内存局部性&#xff1a;数组在内存中是连续存储的&#xff0c;因此在访问元素时可…

了解针对基座大语言模型(类似 ChatGPT 的架构,Decoder-only)的重头预训练和微调训练

&#x1f349; CSDN 叶庭云&#xff1a;https://yetingyun.blog.csdn.net/ 随着自然语言处理&#xff08;NLP&#xff09;技术的飞速进步&#xff0c;基于 Transformer 架构的大语言模型在众多任务中取得了显著成就。特别是 Decoder-only 架构&#xff0c;如 GPT 系列模型&…

“警警”有条:zCloud告警中心的告警与处置实践

ENMOTECH 随着金融行业数字化转型步伐的加快&#xff0c;海量数据处理成为常态&#xff0c;而作为数据存储和管理的核心——数据库的稳定性与效率直接影响着企业的运营成效。某金融科技企业使用了近10个品类、300余套数据库来承载业务&#xff0c;在专业运维、集中管理等方面都…

【操作系统】速成3

Linux内核和windows内核 原来鸿蒙是微内核 windows混合内核 参考&#xff1a;xiaolincoding.com

5种强大的方式:AI在临终关怀中提升护理质量,改善生活

目录 什么是临终关怀中的AI&#xff1f;AI如何个性化临终关怀&#xff1f;AI如何改善临终关怀患者的生活质量&#xff1f; 疼痛管理症状管理的预测分析情感和心理支持高效的资源分配减轻家庭压力 临终关怀中AI的未来 近年来&#xff0c;医疗保健行业在人工智能&#xff08;AI…

MySQL --事务(上)

文章目录 1.什么是事务1.1为什么会出现事务1.2 事务的版本支持1.3 事务提交方式1.4事务常见操作方式1.4.1正常演示 - 证明事务的开始与回滚1.4.2非正常演示1 - 证明未commit&#xff0c;客户端崩溃&#xff0c;MySQL自动会回滚&#xff08;隔离级别设置为读未提交&#xff09;1…

Ubuntu环境切换到服务器某个用户后source等命令和Tab快捷补全都用不了了,提示没找到,但root用户可以

以escs用户为例&#xff1a; 输入以下命令 grep root /etc/passwd grep escs /etc/passwd 对比发现&#xff0c;root用户配的是bash&#xff0c;而escs却是sh&#xff0c; 所以把escs的sh改成和root一样的bash&#xff0c;命令为 usermod -s /bin/bash escs 改好后就可以了。 …

Win11 安装 PostgreSQL 数据库,两种方式详细步骤

文章目录 一、exe文件安装 &#xff08;推荐&#xff09;下载安装包1. 选择操作系统2. 跳转到EDB&#xff08;PostgreSQL 的安装包托管在 EDB上&#xff09;3. 选择版本点击下载按钮 安装1. 管理员打开安装包2. 选择安装目录3. 勾选安装项4. 设置数据存储目录5. 设置管理员密码…

C语言线程编程深度解析

文章目录 前言一、线程基础概念1. 什么是线程&#xff1f;2. 线程与进程的区别 二、POSIX线程库&#xff08;pthread&#xff09;1. pthread简介2. 编译与链接3. 创建线程示例代码&#xff1a; 4. 线程同步互斥锁&#xff08;Mutex&#xff09;示例代码&#xff1a; 条件变量&a…