一键构建分布式云原生平台

news2024/11/18 10:47:06

在这里插入图片描述

目录

    • 专栏导读
    • 一、分布式云原生平台
      • 1、应用无所不能
      • 2、运行无处不在
      • 3、服务千行白业
    • 二、分布式云原生平台关键要素
      • 1、统一应用管理
      • 2、统一流量自治
      • 3、统一数据管理
      • 4、统一运维
    • 三、多云多集群已经广泛应用
    • 四、分布式云的优势:
      • 1、避免厂商锁定
      • 2、满足合规化要求
      • 3、增强系统韧性
      • 4、提高灵活性和可扩展性
    • 五、云原生的现状
    • 六、Karmada一键管理多集群
      • 1、K8s原生API兼容
      • 2、丰富的多集群调度
      • 3、集群资源空间隔离
      • 4、多种模式集群同步
    • 七、Kurator:打造统一的分布式云原生基础设施
    • 八、KubeEdge:一键构建云原生边缘计算平台
    • 九、Volcana:一键构造云原生批量计算平台
    • 十、istio:一键构建分布式流量统一管理
    • 十一、Prometheus:一键构建分布式云监控

专栏导读

🏆作者简介:哪吒,CSDN2022博客之星Top1、CSDN2021博客之星Top2、多届新星计划导师✌、博客专家💪 ,专注Java硬核干货分享,立志做到Java赛道全网Top N。

🏆本文收录于Java基础教程系列(进阶篇),本专栏是针对大学生、初级Java工程师精心打造,针对Java生态,逐个击破,不断学习,打通Java技术栈

🏆订阅后,可以阅读Java基础教程系列(进阶篇)中全部文章包含Java基础、Java高并发、Spring、MySQL等Java进阶技术栈

🏆还可以订阅其姐妹篇Java基础教程系列,包含全部Java基础知识点、Java8新特性、Java集合、Java多线程、Java代码实例理论结合实战,实现Java的轻松学习

🏆哪吒多年工作总结:Java学习路线总结,搬砖工逆袭Java架构师。

🏆面试福音:10万字208道Java经典面试题总结(附答案)

大家好,我是哪吒。

一、分布式云原生平台

1、应用无所不能

包含Flink、Spark、mxnet、Pytorch、TIkv等。

2、运行无处不在

公有云、私有云、边缘站点、边缘节点等。

3、服务千行白业

金融、制造、互联网、交通、物流、能源

二、分布式云原生平台关键要素

分布式云是多云、混合云、私云的简称,云原生平台是我们多次在各种会议上反复提到的,云原生基础技术是以K8S、容器、服务网格为代表的,这是CNCF基金会定义的概念。

1、统一应用管理

  • 融合调度
  • 多云容器管理
  • 云边端一体

统一的应用管理我们看到CNCF很多项目,比如说Ago,F02:10:57…英文项目,一般是管理单云、单集群的应用。多云、多集群的应用管理,现在业界比较缺少开箱即用的方案,去年华为云也开源了KAWADA…的项目,李老师也讲了他们也用KAMADA管理。

2、统一流量自治

  • 互联网络
  • 服务网格治理

统一流量治理在业界主要是以服务网格为代表的技术,在CNCF基金会,现在主要有Istio,Istio正在捐基金会的过程中,由于历史原因,之前号称不捐,今年发起捐赠流程。

3、统一数据管理

  • 数据加速
  • 数据迁移

统一的数据管理,跨云、跨边缘的数据管理,这一块是比较缺乏的。

4、统一运维

  • 统一监控
  • 统一调用链
  • 统一日志

统一的运维监控调用日志,这一块有很多不少的成熟技术方案,比如说监控领域的实施标准普罗米修斯,解决多云多集群的监控。调用链现在也有一些,对多云的支持还不是很完善,统一的日志有以前的ERK,现在有一些(英文)02:12:45…开源了轻量级的日志数据。

三、多云多集群已经广泛应用

介绍一下大云多集群的使用调查,根据最新的(英文)一家调研机构调查的结果Flexera,看一下右边,现在有80%的企业采用混合云的方案,混合云完美的把原来企业自有的基础设施利用起来,7%的用户使用了多公有云,2%的用户采用了多私有云的方案,混合云我们看到是主流的方案。

左边的图我们看到整个多云已经很多了,89%,已经包含了多云、多公有云、多私有云和混合云,纯粹采用单云的企业比较少,大家为了高可用经常提的是两地多中心、两地三中心,大家用多云还是比较好的。

四、分布式云的优势:

1、避免厂商锁定

如果我只把服务部署在一家厂商里,这时候厂商的定价对我的限制很大,如果这个厂商有些技术是比较私有化的,比如说没有符合CNCF基金会做的一致性认证,用厂商私有的K8S解决方案,可能会面临被厂商锁定的风险。厂商锁定之后,作为客户来讲我的话语权就没有那么重了,我可能会受厂商控制,成本也可能居高不下,为了这方面我可能会更喜欢用多云的方案。

2、满足合规化要求

在合规性要求上面我们讲单云上只考虑首先采用单云安全的技术框架来解决合规性的问题,可能这种技术放在其他的环境中,比如说在私有云场景下,或者在其他云上面就会出现一些安全的漏洞。比如说是多云场景下的话,我部署的时候安全性就足够考虑,合规性就得到了完美充分的考虑,系统上线的风险就会大大降低。

3、增强系统韧性

系统的韧性是我们在稳定性方面很重要的要求。服务首先看稳定运行,要提供02:16:18…英文性能高都没有用。

4、提高灵活性和可扩展性

我们的服务在应对一些突发流量的时候,我们能够灵活的扩展。当我的一个区域,比如说因为运营商的网络挖断了,这是时有发生的,我的流量能够自动切换,我的应用能够自动部署到另一个区域,另一个集群,并且我的流量能够自动弹过去,这是分布式运营的优势。

分布式云原生是云原生以应用为中心发展的必然方向,是企业泛在业务的最终形态。

五、云原生的现状

讲一下什么是KAMADA,这是分布式云原生,背景是这样的,云原生以应用为中心发展的必然方向是企业的泛在形式,原来我们的云原生都是典型的,每个边缘是割裂的单独集群形式存在的,这时候我们会面临这么多的问题。首先是体验分析,我们管理需要单集群的管理,没有统一的管理入口。算力是由单独的,每个云的计算资源受限,比如说我们在华北每个机房里部署集群,可能这个集群的资源在公有云上也是有限制的,不是无限扩展的。当这个单独的资源面临到没有资源的情况下,机房已经完全占完了,这时候我们再扩容是扩不了的,算力是受限制的。

然后是流量,流量是我们在业务的体现形式,当我们的流量需要根据不同区域,尤其是南北向的流量,不同区域需要网关一层感知底层不同集群的负载数量的时候,感知实际能力进行切分。在原来的云原生平台,单云的时候是很难做到的。

我们现在提出的一个概念叫分布式云原生,分布式云原生是将中心云、专属云、边缘运、本地自己IDC统一管理起来,做到算力、数据和流量的统一管理,这种方案的好处是比较显而易见的,刚才讲的四点体验,应用算力、应用流量、应用数据能够得到充分的发挥。

六、Karmada一键管理多集群

1、K8s原生API兼容

  • K8s原生API + 扩展策略
  • 零改造,开箱即用

2、丰富的多集群调度

  • 支持集群亲和性,多维度HA等算法
  • 支持静态、动态权重拆分引用

3、集群资源空间隔离

不同集群资源分别存放,隔离权限

4、多种模式集群同步

  • 支持中心管理和分布式管理
  • 结合KubeEdge实现边缘集群管理

管理多集群的架构,karmada通过多种方式

  1. 主动push的方式,另外是主动获取我们要部署的worklod资源对象,第三种类型是管理边缘集群的情况。边缘集群助理KubeEdge里面的工作负载,Service,策略,RBAC等等策略都是完全兼容的,我们不需要进行任何改造。
  2. 调度的能力现在还是比较丰富的,支持集群的亲和性,支持动态权重的拆分,这个主要是针对workload那种。
  3. 集群资源的隔离,可以对不同的集群资源分别存放,隔离一些租户可以通过这个做到。

七、Kurator:打造统一的分布式云原生基础设施

  • 业界收个分布式云原生开源套件,开箱即用
  • 开源开放的分布式云原生平台,助力企业业务跨云跨边、分布式化升级
  • 整合Karmada、KubeEdge、Volcano、Kubernetes、Istio、Prometheus等业界主流开源技术栈
  • 提供多云、多集群统一编排,统一调度,统一流量治理,边云协同,统一监控运维等核心能力。

八、KubeEdge:一键构建云原生边缘计算平台

  • 边缘侧提供原生的Kubernetes API。
  • 边云一体资源调度和流量协同
  • 边缘离线自治
  • 极致轻量
  • 支持海量边缘设备管理

在这里插入图片描述

九、Volcana:一键构造云原生批量计算平台

  • 丰富的高级调度能力
  • 主流计算框架支持
  • 增强作业管理(应用感知的作业生命周期管理、支持队列概念)
  • 异构设备支持,异构设备调度,包含x86、ARM、GPU等

一键支持构建云原生的批量计算,这是通过部署Volcano实现,相对于K8S提供了更加高级的调度能力,比如说在大数据、批量计算等领域,我们w需要(英文)分级调度,这种更适合大数据离线计算这种,从这里看出支持的主流计算框架包括离线的作业计算和大数据计算。第三个是通过V可以增强作业的管理,V内部是可以感知应用生命周期的spark、Flink、TensorFlow、PyTorch、MindSpore、PaddlePaddl,
可以异构设备,包括CPU、GPU,又包括X86、ARM、GPU、昇腾资源调度。

十、istio:一键构建分布式流量统一管理

  • 通过Sidecar透明代理工作负载进出口流量
  • 统一管理分布式云平台流量的路由、负载均衡、故障转移等
  • 统一策略管理,宝藏跨云、跨集群的流量安全

也支持通过Istio一键式分布流量管理,Istio支持多集群流量治理,但是安装Istio等等还是比较麻烦的,因为Istio多集群有很多模式,这里举了一个例子,多集群的prima—remotew,其中一个做主集群,在remote集群安装Istio的组件,比如说在非扁平网络模式下需要安装东西向的gateway,安装很复杂,有很多Istio的模式,Istio非常复杂。

这种方式的好处是为了管理分布式流量,通过sidecar…利用Istio东西向跨集群的能力,现在常常讲的南北向流量进入云上面的时候,我们的流量是从LB那一层走到每个集群里,流量往这个集群发30%还是50%,往那个流量发50%还是70%,其实只是解决了南北向流量的问题。实际上在同一个应用往往会部署在跨集群部署,跨云部署,有时候会涉及到A服务和B服务,首先我们更期望A服务是在同一个集群里调用B服务,但是有时候当Service B在集群里故障了之后,能够自动切到另外一个集群吗?南北向的负载均衡LB已经无能为力了,我们只能用Istio切换到另外一个集群,实现故障转移。

十一、Prometheus:一键构建分布式云监控

  • Prometheus定期收集Metrics,并可以提供告警
  • Metrics采集可以来源于Kubernetes集群本身,也可以来自应用、节点
  • 通过级联,可以提高大规模处理能力,应对数十个集群的监控
  • 级联拓扑是一个树状结构,顶层的Prometheus负责查询和汇聚所有下面集群的指标

再看一下prometheus,一键构建分布式云监控,kurator把整个prometheus来自于节点和应用,另外p支持级联,类似于树状结构负责暴露分布式运营平台所有下面的集群指标。
这里我们有时候在分布式云,不同的集群里会涉及到我们打通两个集群网络,打通网络要不通过VPN的方式,要不通过公有云厂商专线的能力,提供专线的服务,有时候成本很高。如果我们想用开源的方法怎么做呢?可以通过submariner,帮助我们打通打集群的容器网络,通过安装submariner我们可以把多集群pod和pod网络打通,打通成扁平的网络,这时候pod和pod通过IP可以直接访问。如果了解K8S集群的话,没有这个东西的话,跨集群的pod网络是不通的,因为pod IP地址是私有的,外部不可见。

在这里插入图片描述


在这里插入图片描述

Java学习路线总结,搬砖工逆袭Java架构师

10万字208道Java经典面试题总结(附答案)

Java基础教程系列

Java基础教程系列(进阶篇)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/419412.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

收藏!7个国内「小众」的程序员社区

技术社区是大量开发者的集聚地,在技术社区可以了解到行业的最新进展,学习最前沿的技术,认识有相同爱好的朋友,在一起学习和交流。 国内知名的技术社区有CSDN、博客园、开源中国、51CTO,还有近两年火热的掘金&#xff…

基于决策树及集成算法的回归与分类案例

基于决策树及集成算法的回归与分类案例 描述 本任务基于决策树及集成算法分别实现鲍鱼年龄预测案例和肿瘤分类案例。鲍鱼年龄预测案例是建立一个回归模型,根据鲍鱼的特征数据(长度、直径、高度、总重量、剥壳重量、内脏重量、壳重)等预测其…

Python:超级大全网上面试题搜集整理(四)

转载参考: python 面试题(高级)_python高级面试题_梦幻python的博客-CSDN博客 cpython pypy_介绍Cython,Pypy Cpython Numba各有什么缺点【面试题详解】_函明的博客-CSDN博客 Cython、PyPy专题开篇 - 知乎 Python抽象类和接口类_python 接口类_代码输…

蓝桥杯客观题知识点

一、异步和同步的在于 有无统一的时钟信号 异步无 同步有 RS485 半双工、异步、串行、差分输入------多级通信(USB\键盘等外设) RS232 全双工、异步、串行、单端输入------一对一通信 二、组合逻辑电路和时序逻辑电路的区别 组合:任意时…

使用反射重新执行不同的方法

0. 用到的技术 反射获取正在执行的方法名称Class[]数组的获取 1. 为什么要这样做? 情况如下: 当我调用sendCommands方法发送请求时可能会收到errorCode为403也就是代码中的MDS_ERROR,就是当token(mds)失效了这种情况,我们就需要重新刷新token,并且重新执行该方法 假设还有1…

SYN FLOOD攻击和HTTP慢速攻击实验笔记

SYN_FLOOD攻击和HTTP慢速攻击是DDOS攻击的两种方式。 SYN Flood攻击 SYN Flood攻击的原理就是阻断TCP三次握手的第三次ACK包,即不对服务器发送的SYNACK数据包做出应答。由于服务器没有收到客户端发来的确认响应,就会一直保持连接直到超时,当…

产品营销软文怎么写吸引人?

随着互联网的发展,人们获取信息的渠道变得越来越多,其中软文营销成为了众多企业推广自己产品的主要方式之一。那么,软文营销怎么写才能吸引人呢?这里有一些建议,可以帮助你解决这个问题。 要想写出一篇成功的软文&…

自拍的照片不太清晰怎么办?拍摄的模糊照片如何修复高清?

如果您的人像照片不太清晰,可能是由于手持相机时快门速度过慢、摄像机抖动或者焦点不准确等原因造成的。 自己拍摄的照片总是感觉不太清晰,放大看的话更是模糊,该如何是好? 以下是一些避免自拍照片模糊的方法: 1、使…

XSKY星辰天合荣获环球网“年度科技优秀创新案例”

近日,环球网主办的第四届环球趋势大会在广州举行,由环球时报、环球网联合主办的“2022 环球趋势案例征集活动”评选结果同步揭晓,XSKY星辰天合荣获 2022 环球趋势案例“年度科技创新优秀案例”。“2022 环球趋势案例”是人民日报旗下&#xf…

6个免费高清图库素材库,设计师、自媒体都在用~

免费高清图片素材分享,建议收藏起来. 1、菜鸟图库 https://www.sucai999.com/pic.html?vNTYxMjky 超大图库网站,含有几百万张图片素材,自然、植物、人物、日常、交通等涵盖多种类型,全部都有详细的标签分类。图片素材质量都很高…

DOM 事件相关知识总结——事件绑定、事件流(事件冒泡、捕获)

1. 事件绑定方式 1. 直接给元素添加事件属性 <input onclick"alert(我被点击了&#xff01;)" type"button" value"点我试试" />优点&#xff1a;大家都会&#xff0c;几乎所有的浏览器都支持 缺点&#xff1a;夹杂在HTML代码中&…

79-Linux_Socket实现客户端与服务器端间通讯

Socket实现客户端与服务器端间通讯一.网络编程的接口1.socket2.bind3.listen4.accept5.connect6.close7.ssize_t recv和ssize_t send8.UDP 数据读写二.tcp流式服务和粘包问题三.客户端及服务器端实现的代码.1.客户端2.服务器端一.网络编程的接口 头文件: #include <sys/typ…

win11使用移动硬盘(固态非固态)卡顿问题解决

以前win10使用移动硬盘没用出现过卡顿的问题&#xff0c;后来更新win11后&#xff0c;硬盘在处理文件和文件新建以及编辑的时候&#xff0c;都会莫名其妙卡1-3秒左右。以为是盘坏了&#xff0c;各种检测和修复。发现没有问题 后来还找移动硬盘的商家沟通&#xff0c;也无果打算…

C语言基础应用(四)选择结构

引言&#xff1a; 在日常生活中&#xff0c;我们时时刻刻面临着选择&#xff0c;在C语言中&#xff0c;如果我们需要判断条件从而实现不同的要求&#xff0c;我们就需要使用选择结构。 注&#xff1a;以下代码均未导入头文件&#xff0c;如果读者使用了代码&#xff0c;请记得…

day9 条件变量的基本使用

目录 条件变量 条件变量 应用场景&#xff1a;生产者消费问题&#xff0c;是线程同步的一种手段&#xff1b; 必要性&#xff1a;为了实现等待某个资源&#xff0c;让线程休眠&#xff0c;提高运行效率&#xff1b; 等待资源&#xff1a; //1、一直等待资源 int pthread_c…

linux 匿名文件 memfd_create

专栏内容&#xff1a;linux下并发编程个人主页&#xff1a;我的主页座右铭&#xff1a;天行健&#xff0c;君子以自强不息&#xff1b;地势坤&#xff0c;君子以厚德载物&#xff0e;目录 前言 概述 原理 接口 代码演示 结尾 前言 本专栏主要分享linux下并发编程相关知识…

慌了!ChatGPT吃我饭,还要掀我碗?

ChatGPT面世&#xff0c;各种被AI取代“失业言论”笼罩在人们头顶&#xff0c;本文聚焦这一问题&#xff0c;推荐关注ChatGPT的小伙伴阅读。 一时间火爆全网的新晋网红——ChatGPT&#xff0c;就问&#xff1a;还有谁不认识&#xff1f; 谷歌计划在旗舰搜索引擎中添加对话式人…

TCP/UDP协议 (详解)

&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了 博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳,欢迎大佬指点!人生格言&#xff1a;当你的才华撑不起你的野心的时候,你就应该静下心来学习! 欢迎志同道合的朋友一起加油喔&#x1f9be;&am…

网络安全之入侵检测

目录 网络安全之入侵检测 入侵检测经典理论 经典检测模型 入侵检测作用与原理 意义 异常检测模型&#xff08;Anomaly Detection&#xff09; 误用检测模型&#xff08;Misuse Detection&#xff09; 经典特征案例 ​编辑自定义签名 ​编辑 签名检查过程 检测生命周期…

提升 Prometheus 的高可用性:Thanos 的部署与实践!

背景 在高可用 prometheus&#xff1a;问题集锦文章中有简单提到 Prometheus 的高可用方案&#xff0c;尝试了联邦、Remote Write 之后&#xff0c;我们最终选择了 Thanos 作为监控配套组件&#xff0c;利用其全局视图来管理我们的多地域、300集群的监控数据。本文主要介绍 Th…