Orchestrator自身高可用性方案

news2024/10/1 19:37:17

目录

获得 HA 的方法

一 没有高可用性 （No high availability）

使用场景

架构组成

架构图

二 半高可用性（Semi HA）

三 基于共享数据库后端高可用（HA via shared backend）

四 基于Raft协议高可用

五 方案对比

注意事项

笔记

orchestrator作为高可用的服务运行。本文档列出了orchestrator实现 HA 的各种方法

获得 HA 的方法

HA 可以通过选择以下任一方式来实现：

  • orchestrator/raft设置，orchestrator节点通Raft 共识算法进行通信。每个orchestrator节点都有一个私有数据库后端（MySQL或sqlit)。另请参阅Orchestrator/raft 文档
  • 共享后端设置。多个orchestrator节点都与同一个后端数据库通信，该后端可能是 Galera/XtraDB Cluster/InnoDB Cluster/NDB Cluster。同步是在数据库级别完成的。

一 没有高可用性 （No high availability）

使用场景

这种适用于测试。本地开发环境。

架构组成

这种架构由 单个orchestrator节点和单个后端数据库组成。

后端数据库可以是MySQL也可以是orchestrator自带的sqlite。

架构图

二 半高可用性（Semi HA）

这种架构只有orc服务有高可用行，后端数据库没有高可用行

方式一 

多个orc节点使用MySQL主从中的master。orc 服务实现了高可用，但是后端数据库却没有。后端数据库是主从架构，每个orc节点不能有自己单独的后端数据库。如果后端数据库的master无法进行故障转移

方式二 

多个orc节点使用都配置为代理层的IP 。代理层后端是MySQL双主架构，并且双主架构复制规则设置为statement。

  • 代理层一直指向同一个MySQL节点，除非这个MySQL发生了故障
  • master 宕机后 orc就会通过代理层去访问另一个数据库节点。但是这个数据库节点数据可能有落后，orc会补充这些丢失 通过持续发现的特性。
  • orchestrator查询保证基于STATEMENT格式的复制不会导致重复错误，并且主主设置将始终实现一致性。
  • orchestrator即使在进行故障恢复过程中也可以对后端宕机的master进行启动（恢复将在备用master重新启动）
  • 脑裂是有可能的。 根据您的设置、物理位置、代理类型，可能有不同的orchestrator服务节点与不同的后端MySQL服务器通信。这种情况可能会导致两个orchestrator服务都认为自己是“活动的”，这两个服务都将独立运行故障转移，这将导致拓扑损坏。

三 基于共享数据库后端高可用（HA via shared backend）

完全的高可用是 通过后端数据库也具有高可用能力 实现。现有的后端数据库解决方案有：

  • Galera
  • XtraDB Cluster
  • InnoDB Cluster
  • NDB Cluster

上面的架构都要

  •  Galera/XtraDB Cluster/InnoDB Cluster 使用单写模式运行。多个orchestrator节点可能通过代理与写入节点进行通信。如果写节点发生故障，后端集群将提升另一个数据库作为写节点；由您的代理来识别并将orchestrator的流量引导新的写节点。
  •  Galera/XtraDB Cluster/InnoDB Cluster 在多写模式下运行。一个好的设置建议是将每个orchestrator节点与数据库服务器部署在同一服务器上。由于复制是同步的，因此不存在裂脑。只有一个orchestrator节点可以成为领导者，并且该领导者只会与数据库节点达成共识。

四 基于Raft协议高可用

以上介绍的三种方式都没有引入Raft共识算法。

orchestrator节点直接通过Raft共识算法进行通信。每个orchestrator节点都有自己私有的后端数据库（可以是MySQL或者sqlite）。

只有一个orchestrator节点可以成为leader，并且始终是共识？的一部分。然而，所有其他节点都是独立活动的，并且正在轮询您的拓扑。

在这种设置中

  • 数据库节点之间没有通信
  • orchestrator节点之间通信最少 
  • 与MySQL拓扑节点的通信次数是orc节点个数的倍数。一个3个节点orc 意味着被监控的MySQL集群中需要被3个独立不同的orc节点探测。
  • 建议运行为3个节点或者5个节点
  • sqlite是orc内置的 不需要在额外的安装。如果流量较大 建议使用MySQL。

要访问orc服务 ，你只能与leader角色通信。

  • 使用/api/leader-check作为代理的  HTTP 健康状况检查。
  • 或者使用具有多个orchestrator后端的orchestrator-client；orchestrator-client将找出领导者的身份并向领导者发送请求。

五 方案对比

这比较了两种高可用性部署方法的部署、行为、限制和优势：orchestrator/raft与orchestrator/[galera|xtradb cluster|innodb cluster]

我们将假设并比较：

  • 3数据中心设置（可用区可以算作数据中心）
  • 3节点 orchestrator/raft 设置
  • 3 orchestrator节点和 galera|xtradb cluster|innodb cluster多写模式（集群中的每个 MySQL 都可以接受写入）
  • 代理 可以运行 HTTP或者mysql健康检查
  • MySQL,MariaDB,Percona Server统称为MySQL。

比较orchestrator/raftsynchronous replication backend
通信每个orchestrator节点都有一个私有的后端DB；orchestrator节点通过raft协议进行通信每个orchestrator节点连接到MySQL同步复制组中的不同成员。orchestrator节点之间不进行通信。
后端数据库
 		MySQL 或 sqliteMySQL
对后端数据库的依赖如果无法访问自己的私有后端数据库，服务会出现如果无法访问自己的私有后端数据库，则服务不健康
数据库数据一致性跨数据库后端独立。可能会有所不同，但在稳定的系统上会收敛到相同的整体情况单个数据集，跨数据库后端同步复制
数据库访问千万不要直接写。只有raft节点在协调/合作时访问后端数据库。否则可能会导致不一致。读取没问题可直接访问、写入；所有orchestrator节点/客户端都会看到完全相同的图片

Leader and actions

单一Leader。只有Leader才能进行恢复。所有节点都可以进行发现（探测）和自我分析单一Leader。只有Leader才能进行发现（探测）、分析和恢复。
HTTP 访问必须只能访问领导者（可以通过代理或强制执行orchestrator-client）可以访问任何健康的节点（可以通过代理强制执行）。为了读取一致性，最好只与领导者交谈（可以通过代理或强制执行orchestrator-client）
命令行HTTP/API 访问（例如curl，jq）或orchestrator-client使用熟悉的命令行界面封装常见 HTTP/API 调用的脚本HTTP/API 和/或orchestrator-client脚本或orchestrator ...命令行调用。
安装orchestrator仅在服务节点上提供服务。orchestrator-client任何地方的脚本（需要访问 HTTP/API）。orchestrator服务节点上的服务。orchestrator-client任何地方的脚本（需要访问 HTTP/API）。orchestrator任何地方的客户端（需要访问后端数据库）
ProxyHTTP。只能将流量引导至Leader ( /api/leader-check)HTTP。必须仅将流量引导至健康节点 ( /api/status)；最好只将流量引导至Leader节点 ( /api/leader-check)
No Proxyorchestrator-client与所有后端一起使用orchestrator。orchestrator-client将引导流量至 master。orchestrator-client与所有后端一起使用orchestrator。orchestrator-client将引导流量至 master。
跨机房每个orchestrator节点（以及私有后端）可以在不同的 DC 上运行。节点间通信不多，流量低。每个orchestrator节点（以及关联的后端）可以在不同的 DC 上运行。orchestrator节点不直接通信。MySQL组复制通信频繁。流量主要与拓扑大小和轮询率呈线性关系。写入延迟。
探测orchestrator所有节点探测每个拓扑服务器每个拓扑服务器由单个活动节点探测
故障分析由所有节点独立执行仅由领导者执行（数据库是共享的，因此所有节点无论如何都会看到完全相同的图片）
故障转移仅由Leader执行仅由Leader节点执行
抵御失败的能力

如果有3个节点，1个节点允许宕机

如果有5个节点，2个节点允许宕机

如果有3个节点，1个节点允许宕机

如果有5个节点，2个节点允许宕机

节点从短暂故障中恢复节点重新加入集群，并根据更改进行更新。数据库节点重新加入集群，并根据更改进行更新。
节点从长期中断中恢复必须从健康节点克隆数据库。取决于您的 MySQL 后端实现。可能从备份进行 SST/恢复。

注意事项

以下是在两种方法之间进行选择时的注意事项：

  • 您只有一个数据中心 (DC)：选择共享数据库甚至更简单的设置
  • 您对 Galera/XtraDB Cluster/InnoDB Cluster 感到满意，并且可以自动设置和维护它们：选择共享数据库后端。
  • 您拥有高延迟跨 DC 网络：选择orchestrator/raft方案。
  • 您不想为orchestrator后端分配 MySQL 服务器：选择orchestrator/raft 和  SQLite数据库
  • 您有数千个 MySQL 集群：选择MySQL

笔记

  • 另一种同步复制设置是单个写入器的同步复制设置。这需要orchestrator节点和底层集群之间有一个额外的代理，上面没有考虑。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/919524.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

python中的matplotlib画折线图（数据分析与可视化）

python中的matplotlib画折线图（数据分析与可视化）

先导包（必须安装了numpy 、pandas 和matplotlib才能导包）： import numpy as np import pandas as pd import matplotlib.pyplot as plt核心代码： import numpy as np import pandas as pd import matplotlib.pyplot as pltpd.se…
阅读更多...
什么是软件压力测试?软件压力测试工具和流程有哪些?

什么是软件压力测试?软件压力测试工具和流程有哪些?

软件压力测试 一、含义：软件压力测试是一种测试应用程序性能的方法，通过模拟大量用户并发访问，测试应用程序在压力情况下的表现和响应能力。软件压力测试的目的是发现系统潜在的问题，如内存泄漏、线程锁、资源泄漏等，…
阅读更多...
小猫爪：嵌入式小知识15-XCP基础简介

小猫爪：嵌入式小知识15-XCP基础简介

小猫爪：嵌入式小知识15-XCP基础简介 0 目录1 前言2 XCP的由来3 XCP基础简介3.1 XCP的协议组成3.2 XCP的通信模式3.2.1 Standard communication model3.2.2 Block Transfer communication model3.2.3 Interleaved communication model 3.3 XCP帧格式3.4 XCP的专业术语…
阅读更多...
又一个国产操作系统将现身，基于AOSP，兼容安卓应用

又一个国产操作系统将现身，基于AOSP，兼容安卓应用

日前媒体报道指又一家手机企业似乎自研自主操作系统，名字为*IOS，已申请域名备案，这被认为是它开始自研手机操作系统的迹象，自研操作系统似乎已成为国产手机努力的方向。 关于*IOS最早在2014年就曾传出，但是后来因故而最…
阅读更多...
【Unity】Text文本组件的一些操作

【Unity】Text文本组件的一些操作

Unity的Text组件的几种常见的操作方法 Text组件是Unity中用于在UI界面上显示文本的组件。它包含了一些常见的属性和方法，可以用来控制文本的内容、外观和交互。以下是一些常见的Text组件的操作： 设置文本内容：通过直接在Unity编辑器中的Text…
阅读更多...
计算机竞赛 基于GRU的 电影评论情感分析 - python 深度学习 情感分类

计算机竞赛 基于GRU的 电影评论情感分析 - python 深度学习 情感分类

文章目录 1 前言1.1 项目介绍 2 情感分类介绍3 数据集4 实现4.1 数据预处理4.2 构建网络4.3 训练模型4.4 模型评估4.5 模型预测 5 最后 1 前言 🔥 优质竞赛项目系列，今天要分享的是 基于GRU的 电影评论情感分析 该项目较为新颖，适合作为竞…
阅读更多...
VM——获取图像中的圆环区域

VM——获取图像中的圆环区域

、需求：下图是圆柱形铝罐，需要获取图像中的罐沿区域。 2、方法如下： (1)通过找外圆，提取圆形区域 （2）利用“拷贝填充”模块，绘制外圆ROI，选择“输出掩膜” （3&#xff09…
阅读更多...
【排错经验】树莓派4B摄像头问题集锦（USB摄像头）

【排错经验】树莓派4B摄像头问题集锦（USB摄像头）

1、E: Unable to locate package luvcview 这款软件不是在任意版本的操作系统下都适用的，要查看自己Ubuntu版本支持的uvcview。 方法：输入命令：sudo apt-cache search uvcview 由图可知，我这个版本的操作系统支持的是guvcview 所…
阅读更多...
GMS基本模块TIN、Solids、Modflow2000/2005、MT3DMS、MODPATH。及其在地下水流动、溶质运移、粒子追踪方面的应用

GMS基本模块TIN、Solids、Modflow2000/2005、MT3DMS、MODPATH。及其在地下水流动、溶质运移、粒子追踪方面的应用

解决地下水数值模拟技术实施过程中遇到的困难，从而提出切实可行的环境保护措施，达到有效保护环境、防治地下水污染，推动经济社会可持续发展的目的。 （1）水文地质学，地下水数值模拟基础理论；&am…
阅读更多...
WPF中手写地图控件（3）——动态加载地图图片

WPF中手写地图控件（3）——动态加载地图图片

瓦片增加一个Loading动画 可以查看我的另一个博客WPF中自定义Loading图 从中心扩散 进行从里到外的扩散，方向是上左下右。如下图所示 于是我们可以定义一个拥有坐标X跟Y的集合，他允许这个集合，内部使用枚举器的MoveNext自动排序&#xf…
阅读更多...
K8S如何部署ZooKeeper以及如何进行ZooKeeper的平滑替换

K8S如何部署ZooKeeper以及如何进行ZooKeeper的平滑替换

前言 在之前的章节中，我们已经成功地将Dubbo项目迁移到了云环境。在这个过程中，我们选择了单机ZooKeeper作为注册中心。接下来，我们将探讨如何将单机ZooKeeper部署到云端，以及在上云过程中可能遇到的问题及解决方案。 ZooKeeper…
阅读更多...
最优的家电设备交互方式是什么？详解家电设备交互的演进之旅

最优的家电设备交互方式是什么？详解家电设备交互的演进之旅

家电，在人们的日常生活中扮演着不可或缺的角色，也是提升人们幸福感的重要组成部分，那你了解家电的发展史吗？ 70年代 结婚流行“四大件”：手表、自行车、缝纫机，收音机，合成“三转一响”。 80年…
阅读更多...
精进语言模型：探索LLM Training微调与奖励模型技术的新途径

精进语言模型：探索LLM Training微调与奖励模型技术的新途径

大语言模型训练（LLM Training） LLMs Trainer 是一个旨在帮助人们从零开始训练大模型的仓库，该仓库最早参考自 Open-Llama，并在其基础上进行扩充。 有关 LLM 训练流程的更多细节可以参考 【LLM】从零开始训练大模型。 使用仓库之…
阅读更多...
36k字从Attention解读Transformer及其在Vision中的应用（pytorch版）

36k字从Attention解读Transformer及其在Vision中的应用（pytorch版）

文章目录 0.卷积操作1.注意力1.1 注意力概述（Attention）1.1.1 Encoder-Decoder1.1.2 查询、键和值1.1.3 注意力汇聚： Nadaraya-Watson 核回归1.2 注意力评分函数1.2.1 加性注意力1.2.2 缩放点积注意力1.3 自注意力（Self-Attention）1.3.1 自注意力的定义和计算1.3.2 自注意…
阅读更多...
DataFrame.query()--Pandas

DataFrame.query()--Pandas

1. 函数功能 Pandas 中的一个函数，用于在 DataFrame 中执行查询操作。这个方法会返回一个新的 DataFrame，其中包含符合查询条件的数据行。请注意，query 方法只能用于筛选行，而不能用于筛选列。 2. 函数语法 DataFrame.query(ex…
阅读更多...
【OJ比赛日历】快周末了，不来一场比赛吗？ #08.26-09.01 #16场

【OJ比赛日历】快周末了，不来一场比赛吗？ #08.26-09.01 #16场

CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！ 以下信息仅供参考，以比赛官网为准 目录 2023-08-26（周六） #8场比赛2023-08-27…
阅读更多...
redis在linux和windows上的安装配置(解决问题：没有可用软件包 redis)

redis在linux和windows上的安装配置(解决问题：没有可用软件包 redis)

linux系统 安装 yum install redis安装 在终端输入yum install redis安装。 报错：没有可用软件包 redis。 解决： 运行以下命令更新软件包信息： sudo yum clean all sudo yum update 然后继续尝试yum install redis。 如果还不成功&a…
阅读更多...
探索最短路径问题：寻找优化路线的算法解决方案

探索最短路径问题：寻找优化路线的算法解决方案

1. 前言：最短路径问题的背景与重要性 在现实生活中，我们常常面临需要找到最短路径的情况，如地图导航、网络路由等。最短路径问题是一个关键的优化问题，涉及在图中寻找两个顶点之间的最短路径，以便在有限时间或资源内找…
阅读更多...
最新AI系统ChatGPT程序源码+搭建部署教程/支持GPT4/支持ai绘画/H5端/完整知识库

最新AI系统ChatGPT程序源码+搭建部署教程/支持GPT4/支持ai绘画/H5端/完整知识库

一、AI系统 如何搭建部署AI创作ChatGPT系统呢？小编这里写一个详细图文教程吧！ SparkAi使用Nestjs和Vue3框架技术，持续集成AI能力到AIGC系统！ 程序核心功能： 程序已支持ChatGPT3.5/4.0提问、AI绘画、Midjourney绘画&…
阅读更多...
【Axure原型分享】能统计中英文字数的多行输入框

【Axure原型分享】能统计中英文字数的多行输入框

今天和大家分享能统计中英文字数的多行输入框的原型模板，在输入框里输入内容后，能够动态根据输入框的内容，统计出字符数量，包括总字数、中文字数、英文字数、数字字数、其他标点符号的字数，具体效果可以观看下方视频或…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023