学习笔记三十五：Ingress-controller高可用

news2024/12/28 19:54:35

Ingress-controller高可用

  • Ingress-controller高可用
    • 特别注意：
  • 通过keepalived+nginx实现ingress-nginx-controller高可用
    • 安装nginx主备：
    • 修改nginx配置文件。主备一样
    • keepalive配置
      • 主keepalived
      • 备keepalive
      • k8snode1和k8snode2启动服务
      • 测试vip是否绑定成功
      • 测试keepalived：
  • 测试Ingress HTTP代理k8s内部pod
    • 部署后端tomcat服务
    • 编写ingress规则
    • 如果有报错
      • 修改电脑本地的host文件，增加如下一行，IP为VIP
      • 代理流程：
  • 测试Ingress HTTPS代理k8s内部pod
    • 构建TLS站点
    • 创建Ingress
  • 同一个k8s搭建多套Ingress-controller
    • 原理以及注意事项
    • 创建Ingress规则：

Ingress-controller高可用

Ingress Controller是集群流量的接入层，对它做高可用非常重要，可以基于keepalive实现nginx-ingress-controller高可用，具体实现如下：

  • Ingress-controller根据Deployment+ nodeSeletor+pod反亲和性方式部署在k8s指定的两个work节点，nginx-ingress-controller这个pod共享宿主机ip，然后通过keepalive+nginx实现nginx-ingress-controller高可用

参考：https://github.com/kubernetes/ingress-nginx
https://github.com/kubernetes/ingress-nginx/tree/main/deploy/static/provider/baremetal

特别注意：

  • 因为我们现在安装的k8s版本是1.25，那就需要按照文档步骤ctr -n=k8s.io images import导出镜像，如果k8s版本是1.24之前的，可以用docker load -i解压，现在安装更新到了k8s1.25，所以导出镜像需要用ctr -n=k8s.io images import

将ingress-nginx-controllerv1.1.0.tar.gz 上传至节点
链接：https://pan.baidu.com/s/1BP1Vr0IUxkMYqrP-MDs8vQ?pwd=0n68
提取码：0n68

ctr -n=k8s.io images import ingress-nginx-controllerv1.1.0.tar.gz
docker load -i ingress-nginx-controllerv1.1.0.tar.gz
ctr -n=k8s.io images import kube-webhook-certgen-v1.1.0.tar.gz
docker load -i kube-webhook-certgen-v1.1.0.tar.gz

##如果k8s版本是1.24之前的用docker load -i解压
#docker load -i ingress-nginx-controllerv1.1.0.tar.gz

ingress-deploy.yaml
链接：https://pan.baidu.com/s/1nNx9ZDHCu1stqtV7qo6bJA?pwd=x9pg
提取码：x9pg

kubectl apply -f ingress-deploy.yaml

通过keepalived+nginx实现ingress-nginx-controller高可用

在这里插入图片描述

安装nginx主备：

在k8snode1和k8snode2上做nginx主备安装

yum install  epel-release  nginx keepalived nginx-mod-stream  -y

修改nginx配置文件。主备一样

cat /etc/nginx/nginx.conf

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}
# 四层负载均衡，为两台Master apiserver组件提供负载均衡
stream {

    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';

    access_log  /var/log/nginx/k8s-access.log  main;

    upstream k8s-ingress-controller {
       server 192.168.40.12:80 weight=5 max_fails=3 fail_timeout=30s;   # k8snode1 IP:PORT
       server 192.168.40.13:80 weight=5 max_fails=3 fail_timeout=30s;  # k8snode2 IP:PORT
    }
    
    server {
       listen 30080; 
       proxy_pass k8s-ingress-controller;
    }
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

}

#备注：
#server 反向服务地址和端口
#weight 权重
#max_fails 失败多少次，认为主机已挂掉，则踢出
#fail_timeout 踢出后重新探测时间

注意：nginx监听端口变成大于30000的端口，比方说30080,这样访问域名:30080就可以了，必须是满足大于30000以上，才能代理ingress-controller

keepalive配置

主keepalived

cat /etc/keepalived/keepalived.conf 

global_defs { 
   notification_email { 
     acassen@firewall.loc 
     failover@firewall.loc 
     sysadmin@firewall.loc 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_MASTER
} 

vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
}

vrrp_instance VI_1 { 
    state MASTER 
    interface ens33  # 修改为实际网卡名
    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的 
    priority 100    # 优先级，备服务器设置 90 
    advert_int 1    # 指定VRRP 心跳包通告间隔时间，默认1秒 
    authentication { 
        auth_type PASS      
        auth_pass 1111 
    }  
    # 虚拟IP
    virtual_ipaddress { 
        192.168.40.199/24
    } 
    track_script {
        check_nginx
    } 
}

#vrrp_script：指定检查nginx工作状态脚本（根据nginx状态判断是否故障转移）
#virtual_ipaddress：虚拟IP（VIP）

cat /etc/keepalived/check_nginx.sh 

#!/bin/bash
#1、判断Nginx是否存活
counter=$(ps -ef |grep nginx | grep sbin | egrep -cv "grep|$$" )
if [ $counter -eq 0 ]; then
    #2、如果不存活则尝试启动Nginx
    service nginx start
    sleep 2
    #3、等待2秒后再次获取一次Nginx状态
    counter=$(ps -ef |grep nginx | grep sbin | egrep -cv "grep|$$" )
    #4、再次进行判断，如Nginx还不存活则停止Keepalived，让地址进行漂移
    if [ $counter -eq 0 ]; then
        service  keepalived stop
    fi
fi

chmod +x  /etc/keepalived/check_nginx.sh

备keepalive

cat /etc/keepalived/keepalived.conf 

global_defs { 
   notification_email { 
     acassen@firewall.loc 
     failover@firewall.loc 
     sysadmin@firewall.loc 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_BACKUP
} 

vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
}

vrrp_instance VI_1 { 
    state BACKUP 
    interface ens33
    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的 
    priority 90
    advert_int 1
    authentication { 
        auth_type PASS      
        auth_pass 1111 
    }  
    virtual_ipaddress { 
        192.168.1.199/24
    } 
    track_script {
        check_nginx
    } 
}

cat /etc/keepalived/check_nginx.sh

#!/bin/bash
#1、判断Nginx是否存活
counter=$(ps -ef |grep nginx | grep sbin | egrep -cv "grep|$$" )
if [ $counter -eq 0 ]; then
    #2、如果不存活则尝试启动Nginx
    service nginx start
    sleep 2
    #3、等待2秒后再次获取一次Nginx状态
    counter=$(ps -ef |grep nginx | grep sbin | egrep -cv "grep|$$" )
    #4、再次进行判断，如Nginx还不存活则停止Keepalived，让地址进行漂移
    if [ $counter -eq 0 ]; then
        service  keepalived stop
    fi
fi

chmod +x /etc/keepalived/check_nginx.sh

注：keepalived根据脚本返回状态码（0为工作正常，非0不正常）判断是否故障转移。

k8snode1和k8snode2启动服务

systemctl daemon-reload
systemctl enable nginx keepalived
systemctl start nginx
systemctl start keepalived

测试vip是否绑定成功

在k8snode1执行

ip addr

在这里插入图片描述

测试keepalived：

停掉k8snode1上的keepalived。Vip会漂移到k8snode2

service  keepalived stop

在这里插入图片描述

在k8snode1启动keepalived ，Vip又会漂移到k8snode1

systemctl start keepalived

在这里插入图片描述

测试Ingress HTTP代理k8s内部pod

部署后端tomcat服务

tomcat:8.5.34-jre8-alpine
链接：https://pan.baidu.com/s/18AU47-mvEMeqFS9IGUQURw?pwd=abyo
提取码：abyo

cat ingress-demo.yaml

apiVersion: v1
kind: Service
metadata:
  name: tomcat
  namespace: default
spec:
  selector:
    app: tomcat
    release: canary
  ports:
  - name: http
    targetPort: 8080
    port: 8080
  - name: ajp
    targetPort: 8009
    port: 8009
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: tomcat-deploy
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: tomcat
      release: canary
  template:
    metadata:
      labels:
        app: tomcat
        release: canary
    spec:
      containers:
      - name: tomcat
        image: tomcat:8.5.34-jre8-alpine 
        imagePullPolicy: IfNotPresent  
        ports:
        - name: http
          containerPort: 8080
          name: ajp
          containerPort: 8009

kubectl apply -f ingress-demo.yaml

kubectl get pods -l app=tomcat

编写ingress规则

ingress-myapp.yaml
链接：https://pan.baidu.com/s/1UE81sqHEELqPQhB6lx5xEQ?pwd=hxmc
提取码：hxmc

kubectl apply -f ingress-myapp.yaml

编写ingress的配置清单

vim ingress-myapp.yaml 

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-myapp
  namespace: default
spec:
  ingressClassName: nginx
  rules:
  - host: tomcat.lucky.com
    http:
      paths:
      - backend:
          service:
            name: tomcat
            port:
              number: 8080
        path: /
        pathType: Prefix

kubectl apply -f ingress-myapp.yaml

如果有报错

报错如下：
在这里插入图片描述

解决办法：

kubectl delete -A ValidatingWebhookConfiguration ingress-nginx-admission
kubectl apply -f ingress-myapp.yaml
kubectl get pods -n ingress-nginx -o wide

修改电脑本地的host文件，增加如下一行，IP为VIP

本地hosts文件位置

C:\Windows\System32\drivers\etc

在这里插入图片描述

宿主机浏览器访问：tomcat.lucky.com在这里插入图片描述

代理流程：

tomcat.lucky.com:30080->192.168.40.199:30080->192.168.40.181:80,192.168.40.182:80->svc: tomcat:8080->tomcat-deploy-

测试Ingress HTTPS代理k8s内部pod

构建TLS站点

准备证书，在k8smaster1节点操作

cd /root/
openssl genrsa -out tls.key 2048
openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=tomcat.lucky.com

生成secret，在k8smaster1节点操作

kubectl create secret tls tomcat-ingress-secret --cert=tls.crt --key=tls.key

查看secret

kubectl get secret

在这里插入图片描述

查看tomcat-ingress-secret详细信息

kubectl describe secret tomcat-ingress-secret

在这里插入图片描述

创建Ingress

Ingress规则可以参考官方：
https://kubernetes.io/zh/docs/concepts/services-networking/ingress/

cat ingress-tomcat-tls.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-tomcat-tls
  namespace: default
spec:
  ingressClassName: nginx
  tls:
  - hosts:
    -  tomcat.lucky.com
    secretName: tomcat-ingress-secret
  rules:
  - host: tomcat.lucky.com
    http:
      paths:
      - path: /
        pathType:  Prefix
        backend:
         service:
           name: tomcat
           port:
            number: 8080

更新yaml文件

kubectl delete -f ingress-myapp.yaml
kubectl apply -f ingress-tomcat-tls.yaml

再次访问 tomcat.lucky.com
在这里插入图片描述
在这里插入图片描述

同一个k8s搭建多套Ingress-controller

原理以及注意事项

  • ingress可以简单理解为service的service，他通过独立的ingress对象来制定请求转发的规则，把请求路由到一个或多个service中。这样就把服务与请求规则解耦了，可以从业务维度统一考虑业务的暴露，而不用为每个service单独考虑。
  • 在同一个k8s集群里，部署两个ingress nginx。一个deploy部署给A的API网关项目用。另一个daemonset部署给其它项目作域名访问用。这两个项目的更新频率和用法不一致，暂时不用合成一个。
  • 为了满足多租户场景，需要在k8s集群部署多个ingress-controller，给不同用户不同环境使用。

主要参数设置：

containers:
        - name: nginx-ingress-controller
          image: registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.1.0
          args:
            - /nginx-ingress-controller
            - --ingress-class=ngx-ds

注意：–ingress-class设置该Ingress Controller可监听的目标Ingress Class标识；
注意：同一个集群中不同套Ingress Controller监听的Ingress Class标识必须唯一，且不能设置为nginx关键字（其是集群默认Ingress Controller的监听标识）；

创建Ingress规则：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-myapp
  namespace: default
spec:
  ingressClassName: nginx
  rules:
  - host: tomcat.lucky.com
    http:
      paths:
      - path: /
        pathType:  Prefix
        backend:
         service:
           name: tomcat
           port:
            number: 8080

注意：这里要设置为你前面配置的controller.ingressClass唯一标识

ingressClassName: nginx-ds

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1271510.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Hive：从HDFS回收站恢复被删的表

Hive：从HDFS回收站恢复被删的表

场景 一张手工维护的内部表，本来排查没有使用，然后删掉了，发现又需要使用，只能恢复这张表了。 1.确认HDFS是否开启回收站功能 2.查看回收站中的数据 被删除的数据会放在删除数据时使用的用户目录下，如：使…
阅读更多...
【C语言期末不挂科——指针进阶篇】【上】

【C语言期末不挂科——指针进阶篇】【上】

C语言进阶篇【上】 文章目录 C语言进阶篇【上】字符指针数组指针数组传参和指针传参  数组传参  一级指针传参  二级指针传参 前言： 我们在指针初阶篇学习了： 1、指针就是个变量，用来存放地址，地址唯一标识一块空间。 2、指…
阅读更多...
Android自动化测试中使用ADB进行网络状态管理！

Android自动化测试中使用ADB进行网络状态管理！

技术分享：使用ADB进行Android网络状态管理 Android自动化测试中的网络状态切换是提高测试覆盖率、捕获潜在问题的关键步骤之一，本文将介绍 如何使用ADB检测和管理Android设备的网络状态。 自动化测试中的网络状态切换变得尤为重要。 网络状态查询 adb s…
阅读更多...
esp32-s3部署yolox_nano进行目标检测

esp32-s3部署yolox_nano进行目标检测

ESP32-S3部署yolox_nano进行目标检测 一、生成模型部署项目01 环境02 配置TVM包03 模型量化3.1预处理3.2 量化 04 生成项目 二、烧录程序 手上的是ESP32-S3-WROOM-1 N8R8芯片，整个链路跑通了，但是识别速度太慢了，20秒一张图，所以暂…
阅读更多...
C语言线性表的链式存储（详解）

C语言线性表的链式存储（详解）

线性表的链式存储 线性表的顺序存储：用一块连续的内存空间 线性表的链式存储：不连续的内存空间 链表是由一系列的节点组成，每个节点包含两个域，一个是数据域，一个是指针域 链表的插入和删除原理 单项链表框架的搭建 …
阅读更多...
深度学习毕设项目 医学大数据分析 - 心血管疾病分析

深度学习毕设项目 医学大数据分析 - 心血管疾病分析

# 1 前言 🚩 基于大数据的心血管疾病分析 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数：3分工作量：3分创新点：4分 1 课题背景 本项目的任务是利用患者的检查结果预测心血管疾病(CVD)的存在与否。 2 数据…
阅读更多...
老师怎么分配学生座位

老师怎么分配学生座位

学生座位分配是教育过程中的一个重要环节，对于学生的学习效果、课堂氛围以及师生互动都有一定的影响。那么，老师应该如何分配学生的座位呢？ 了解每个学生的个性特点和学习习惯。不同的学生有不同的性格和特点，老师需要充分了解每个…
阅读更多...
MAMP Pro v6.8.1(PHP/MySQL开发环境)

MAMP Pro v6.8.1(PHP/MySQL开发环境)

MAMP Pro是一款专为Mac用户设计的全功能本地服务器软件，可以将电脑变成一个完整的Web开发环境。无论个人开发者、网站管理员还是团队协作，MAMP Pro都提供了强大的工具和便捷的管理方式，能够更加高效地构建和测试网站。 MAMP Pro的基本功能包括…
阅读更多...
Appium+Pytest实现app并发测试

Appium+Pytest实现app并发测试

前言 这个功能已经写完很长时间了，一直没有发出来，今天先把代码发出来吧，有一些代码是参考网上写的，具体的代码说明今天暂时先不发了，代码解释的太详细还得我花点时间^_^, 毕竟想让每个人都能看明白也不容易&#xff…
阅读更多...
uniapp 使用web-view外接三方

uniapp 使用web-view外接三方

来源 前阵子有个需求是需要在原有的项目上加入一个电子签名的功能，为了兼容性和复用性后面解决方法是将这个电子签名写在一个新的项目中，然后原有的项目使用web-view接入这个电子签名项目； 最近又有一个需求，是需要接入第三方的…
阅读更多...
LeetCode（43）快乐数【哈希表】【简单】

LeetCode（43）快乐数【哈希表】【简单】

目录 1.题目2.答案3.提交结果截图 链接： 快乐数 1.题目 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」 定义为： 对于一个正整数，每一次将该数替换为它每个位置上的数字的平方和。然后重复这个过程直到这个数变为 1，也…
阅读更多...
干销售找不到客户怎么办？

干销售找不到客户怎么办？

干销售找不到客户怎么办？ 销售找不到客户？别担心，我们有解决方案！ 当你面临销售找不到客户的困境时，不要轻易放弃。相反，你可以采取一些策略来帮助你找到潜在的客户。以下是一些建议，它们将有…
阅读更多...
什么是API？ （应用程序编程接口）

什么是API？ （应用程序编程接口）

我们经常听到 API 这个专业名称。那么什么是 API 呢？ 定义 API（Application Programming Interface，应用程序接口）是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软…
阅读更多...
47、Flink 的指标报告介绍（graphite、influxdb、prometheus、statsd和datalog）及示例（jmx和slf4j示例）

47、Flink 的指标报告介绍（graphite、influxdb、prometheus、statsd和datalog）及示例（jmx和slf4j示例）

Flink 系列文章 1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接 13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的ta…
阅读更多...
C/C++ Zlib库封装MyZip压缩类

C/C++ Zlib库封装MyZip压缩类

Zlib是一个开源的数据压缩库，提供了一种通用的数据压缩和解压缩算法。它最初由Jean-Loup Gailly和Mark Adler开发，旨在成为一个高效、轻量级的压缩库，其被广泛应用于许多领域，包括网络通信、文件压缩、数据库系统等。其压缩算法是…
阅读更多...
《如何戒掉坏习惯》精华摘抄

《如何戒掉坏习惯》精华摘抄

“劣质货币会驱逐优良货币。”这就是格雷沙姆法则（劣币驱逐良币 法则）。它是指一旦对劣质货币（假币）的流通放任不管，人们就不会 去使用优良货币（真正的货币），从而导致优良货币从市场…
阅读更多...
深入探索Maven：优雅构建Java项目的新方式（二）

深入探索Maven：优雅构建Java项目的新方式（二）

Meven高级 1，属性1.1 属性1.1.1 问题分析1.1.2 解决步骤步骤1:父工程中定义属性步骤2:修改依赖的version 1.2 配置文件加载属性步骤1:父工程定义属性步骤2:jdbc.properties文件中引用属性步骤3:设置maven过滤文件范围步骤4:测试是否生效 1.3 版本管理 2，…
阅读更多...
todesk连接ubuntu显示当前系统并无桌面环境，或无显示器，无法显示远程桌面，您需要自行安装X11桌面环境，或者使用终端文件功能

todesk连接ubuntu显示当前系统并无桌面环境，或无显示器，无法显示远程桌面，您需要自行安装X11桌面环境，或者使用终端文件功能

ToDesk远程遇到的问题如上图，换向日葵直接黑屏； 问题原因 截止发文时间，Todesk只支持X11协议，没有适配最新的Wayland协议，所以我们需要把窗口系统调整为X11才可以。 解决方法 修改配置文件，关闭wayland su…
阅读更多...
Hadoop入门学习笔记

Hadoop入门学习笔记

视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8 这里写目录标题 一、VMware准备Linux虚拟机1.1. VMware安装Linux虚拟机1.1.1. 修改虚拟机子网IP和网关1.1.2. 安装…
阅读更多...
AI PC专题：AI PC深入变革PC产业

AI PC专题：AI PC深入变革PC产业

今天分享的是AI系列深度研究报告：《AI PC专题：AI PC深入变革PC产业》。 （报告出品方：西南证券研究发展中心） 报告共计：30页 AI PC将深入变革PC产业  从出货量看，PC整体呈现周期性的特征。2…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023