T3 出行云原生容器化平台实践

news2024/11/6 3:15:01

作者:林勇,就职于南京领行科技股份有限公司,担任云原生负责人,也是公司容器化项目的负责人。主要负责 T3 出行云原生生态相关的所有工作,如服务容器化、多 Kubernetes 集群建设、应用混部、降本增效、云原生可观测性基础设施建设等。

公司简介

T3 出行是南京领行科技股份有限公司打造的智慧出行生态平台,由中国第一汽车集团有限公司、东风汽车集团有限公司、重庆长安汽车股份有限公司发起,联合腾讯、阿里巴巴等互联网企业共同投资打造。公司以“成为最值得信赖的出行服务企业”为品牌愿景,“科技引领 愉悦出行”为使命,倡导“可信,更自由”的出行理念,致力为用户提供“可信、安全、品质”出行服务,让用户感受更加自由的出行体验。

背景介绍

随着 T3 出行业务体量持续上涨,服务的稳定性需要系统化的保障。容器化改造将提供标准化的环境,基于应用运行环境实现完整的版本控制,消除开发到生产的环境差异,保证应用生命周期内环境一致性和标准化。同时容器化环境可以让服务共享计算资源,并通过混部方式来提高整体计算资源的利用率,降低企业应用的基础设施运营成本。

容器化之前 T3 出行是传统的虚拟机模式,所有业务都部署在虚拟机上,全体产研通过堡垒机、传统的监控系统、日志平台等进行日常应用的运维。而一旦服务容器化开始,我们必然需要一个云原生的容器化管理平台,让 T3 出行全体产研从传统的虚拟机操作模式转变为云原生操作模式。同时,之前日常的应用运维模式需要使用多个平台进行协作,产研定位一个应用性能问题往往需要来回切换多个平台。所以我们希望容器化平台可以集成周边的配套,如日志查看、监控系统,让产研尽量在一个平台内完成日常运维的工作;也可以作为平台工程的一部分,让产研在开发环境可以拥有足够的权限创建、更新、删除非基线环境,而无需了解底层架构知识,通过自助化的环境能力可以让研发并行开发测试,最终让业务可以快速、高效增长。

选型说明

我们的选型思路基本上是根据功能、UI 体验、社区活跃度、学习成本这 4 点来的。首先必须要满足我们对容器平台的需求(在背景介绍中已经描述),其次是社区活跃度以及生态,最后是 UI 体验,在 UI 体验中包含了用户的学习成本,我们希望以低学习成本的方式让 T3 出行的研发更够快速上手容器平台,同时也具备运维视角,如此就既满足了研发的应用视角纬度,也满足了运维的集群视角维度。 我们在选型期间对比了 Rancher、Openshift、KubeSphere,最终选择了 KubeSphere 作为 T3 出行云原生容器平台。KubeSphere 定位是以应用为中心的容器平台,提供简单易用的操作界面,帮助用户屏蔽掉那些技术细节,一定程度上降低了学习成本。同时 Kubesphere 具备优秀的容器管理能力、多集群支持能力、多租户能力、天然集成的可观测能力等,让我们可以在一个平台上满足了日常运维所需。

实践过程

多集群统一管理

KubeSphere 多集群中角色分为主集群和成员集群,由 1 个主集群和多个成员集群组成,与我们原先的集群规划不谋而合。主集群我们作为成员集群的控制面存在,通过主集群下发不同的管理策略给到成员集群。对于成员集群而言,我们根据不同的环境、不同的租户性质也会划分到不同集群。如根据环境区分,我们会有开发集群、测试集群、预生产集群、生产集群;而根据租户性质,我们会有一些对接三方业务的集群。

项目管理

在很多传统的 DevOps 平台中,并没有与项目进行联动,服务往往只是关联了组织架构,当组织架构变动,服务的元信息就不准确了。而且,对于一个项目来说,经常会有跨部门合作的情况,而业务发布的视角却是在各自的部门下的,项目成员无法在一个视图下看到项目的所有业务,在项目的协作过程中自然就增加了许多沟通成本。而 KubeSphere 就是基于项目维度对容器服务进行管理的,在 KubeSphere 中一个项目对应的就是 Kubernetes 一个 Namespace,租户之间的视图是隔离的,日常只需要在自己的项目视图下进行协作即可。

我们的 DevOps 平台正在逐步的往项目集成方向发展,目前我们是按照业务域进行统一管理,一个业务域代表了一个 KubeSphere 中的一个项目,业务域下会有多个相关的业务服务,无论组织架构如何变换,业务域始终不变。

多租户管理

KubeSphere 中的多租户管理是基于企业空间维度来完成的,企业空间是用来管理项目、DevOps 项目、应用模板和应用仓库的一种逻辑单元。我们可以在企业空间中控制资源访问权限,也可以安全地在团队内部分享资源。企业空间可以关联多个集群中的多个项目,并对企业空间中的成员进行权限管理,引用 KubeSphere 官方配图便于大家直观的理解:

我们是以业务域为项目维度进行统一管理,那么企业空间作为 KubeSphere 最小的租户管理单元自然是被我们按照业务域进行划分。所以 T3 当下的多租户管理逻辑就是:企业空间(业务域)→ 集群(开发、测试等)→ 项目(业务域)。同时在企业空间中,我们也抽象出了部门管理纬度,使用 KubeSphere 的部门管理,便于我们给不同的人员赋予不同集群(环境)操作权限。

内部 DevOps 平台与 KubeSphere 的结合

T3 容器化之前已有一套 DevOps 平台,这套 DevOps 平台交付的制品是部署在虚拟机上的。而容器化项目开展的前置条件就是必须支持容器发布,如果让现有的 DevOps 平台改造成云原生化的 DevOps 平台工作量巨大,项目风险不可控,所以我们最终选择了 DevOps 平台与 KubeSphere 的结合。内部 DevOps 平台新增容器发布功能,只进行容器服务的发布和 Pod 副本数的扩缩容操作,由 KubeSphere 对发布后的容器进行接管,给研发人员展示容器发布后的应用状态,让研发人员自助式的与容器进行交互。

可以说,KubeSphere 接管了 T3 容器化发布的后半场,研发人员执行发布后,便会来到 KubeSphere 上进行与容器的交互操作,如日志查看、监控查看、进入容器控制台、查看容器事件等。

效果

  • T3 出行的业务已经全面容器化,所有的集群已被 KubeSphere 纳管,产研的日常应用维护工作都需要基于 KubeSphere 平台进行开展。
  • 得益于 KubeSphere 的以应用为中心的设计,帮用户屏蔽了底层技术细节,目前 T3 出行全体产研都可以自助式的使用 KubeSphere 进行日常的工作,也让 T3 产研从传统的应用维护模式成功的转向了云原生应用维护模式。
  • KubeSphere 集成了监控、日志、事件,提高了 T3 产研日常的人效。
  • KubeSphere 集群级别的可观测,是我们提升集群资源利用率的参考依据。

未来规划

  1. 内部 DevOps 平台与 KubeSphere 深度融合,给 T3 产研带来更好的体验。
  2. 基于 T3 的业务场景采用更多优秀的开源项目,与社区共同成长。
  3. FinOps 与 Serverless 的探索与实践。

本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/380661.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2023年中小企业实施智能制造的建议

智能制造的载体是制造系统,制造系统从微观到宏观有不同的层次,主要包括制造装备、制造单元、制造车间(工厂)、制造企业和企业生态等。随着智能制造的深入推进,未来智能制造将向以下五个方向发展。 (一&…

FPGA采集AD7606全网最细讲解 提供串行和并行2套工程源码和技术支持

目录1、前言2、AD7606数据手册解读输入信号采集范围输出模式选择过采样率设置3、AD7606串行输出采集4、AD7606并行输出采集5、vivado仿真6、上板调试验证7、福利:工程代码的获取1、前言 AD7606是一款非常受欢迎的AD芯片,因为他支持8通道同时采集数据&am…

CFT Show 信息收集篇

CFT Show 信息收集篇1.CFT Show 信息收集篇1.1.WEB-11.1.1.打开靶场1.1.2.寻找Flag1.2.WEB-21.2.1.打开靶场1.2.2.寻找Flag1.3.WEB-31.3.1.打开靶场1.3.2.寻找Flag1.3.2.1.F12查看器1.3.2.2.查看源码1.3.2.3.抓包1.4.WEB-41.4.1.打开靶场1.4.2.寻找Flag1.4.2.1.robots介绍1.4.2…

10个黑客基础教程!简单有效

如果你的电脑运行缓慢,请使用下面介绍的方法来帮助加速、优化和提高电脑的性能。 1.关闭启动时自动运行的应用程序 计算机上安装的许多应用程序都可以将自己配置为在启动期间自动启动并继续在后台运行,但是,如果不是每天都使用这些应用程序…

基于vscode创建SpringBoot项目,连接postgresql数据库 2 更简单

1、Vue下载安装步骤的详细教程(亲测有效) 1_水w的博客-CSDN博客 2、Vue下载安装步骤的详细教程(亲测有效) 2 安装与创建默认项目_水w的博客-CSDN博客 3、基于vscode开发vue项目的详细步骤教程_水w的博客-CSDN博客 4、基于vscode开发vue项目的详细步骤教程 2 第三方图标库FontAw…

Spark RDD持久化

RDD Cache缓存 RDD通过Cache或者Persist方法将前面的计算结果缓存,默认情况下会把数据以序列化的形式缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供…

杂记——14.git在idea上的使用及其实际开发介绍

这篇文章我们来讲一下git在idea上的使用,以及在实际开发过程中各个分支的使用及其具体的流程 目录 1.git在idea上的使用 1.1 idea上的git提交 1.2 idea上的分支切换 2.git在实际运用时的分支及其流程 2.1分支介绍 2.2具体流程 3.小结 1.git在idea上的使用 …

GraalVM-云原生时代的JVM(Java)

文章目录一、GraalVM是什么?二、GraalVM有哪些特点?2.1、高性能2.2、多语言支持2.3、互操作性2.4、安全性三、GraalVM的应用效果3.1、提高性能3.2、简化开发3.3、降低成本3.4、节省资源3.5、支持云环境四、使用GraalVM编译springboot应用程序4.1、下载并…

网络应用之表单提交

表单提交学习目标能够知道表单的提交方式能够知道表单中action属性的作用1. 表单属性设置<form>标签 表示表单标签&#xff0c;定义整体的表单区域action属性 设置表单数据提交地址method属性 设置表单提交的方式&#xff0c;一般有“GET”方式和“POST”方式, 不区分大小…

嵌入式之ubuntu终端操作与shell常用命令详解

目录 文件和目录列表 基本列表功能 显示列表长度 过滤输出列表 浏览文件系统 Linux 文件系统 遍历目录 处理文件 创建文件 复制文件 制表键自动补全 重命名文件 删除文件 处理目录 创建目录 删除目录 ​编辑其他常用命令与操作 Uname命令 clear命令 返回上一级命令 显…

Netty学习(一):Netty概述

一、原生NIO存在的问题 NIO 的类库和API繁杂&#xff0c;使用麻烦:需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。需要具备其他的额外技能:要熟悉Java 多线程编程&#xff0c;因为NIO编程涉及到Reactor 模式&#xff0c;你必须对多线程和网络编程…

buu刷题(第一周)

目录 [DDCTF 2019]homebrew event loop action:trigger_event%23;action:buy;5%23action:get_flag; [CISCN2019 华东南赛区]Web4 [RootersCTF2019]babyWeb [GWCTF 2019]mypassword [NESTCTF 2019]Love Math 2 [BSidesCF 2019]Pick Tac Toe [RootersCTF2019]ImgXweb [SW…

2023 年网络安全漏洞的主要原因

​  网络安全漏洞已经并将继续成为企业面临的主要问题。因此&#xff0c;对于企业领导者来说&#xff0c;了解这些违规行为的原因至关重要&#xff0c;这样他们才能更好地保护他们的数据。 在这篇博文中&#xff0c;我们将概述 2023 年比较普遍的网络安全漏洞的主要原因。 云…

OpenCV4.x图像处理实例-道路车辆检测(基于背景消减法)

通过背景消减进行道路车辆检测 文章目录 通过背景消减进行道路车辆检测1、车辆检测思路介绍2、BackgroundSubtractorMOG23、车辆检测实现在本文中,将介绍如何使用简单但有效的背景-前景减法方法执行车辆检测等任务。本文将使用 OpenCV 中使用背景-前景减法和轮廓检测,以及如何…

这篇教你搞定Android内存优化分析总结

一、内存优化概念1.1 为什么要做内存优化&#xff1f;内存优化一直是一个很重要但却缺乏关注的点&#xff0c;内存作为程序运行最重要的资源之一&#xff0c;需要运行过程中做到合理的资源分配与回收&#xff0c;不合理的内存占用轻则使得用户应用程序运行卡顿、ANR、黑屏&…

QT之OpenGL帧缓冲

QT之OpenGL帧缓冲1. 概述1.1 帧缓冲的创建与删除1.2 帧缓冲的数据来源1.2.1 数据源与帧缓冲的关系1.2.2 纹理Attachment1.2.3 渲染缓冲对象Attachment1.2.4 两者的区别1.2.5 关于两者的使用场景2. Demo3. 后期处理4. 参考1. 概述 OpenGL管线的最终渲染目的地被称作帧缓冲(fram…

【代码随想录训练营】【Day28】第七章|回溯算法|93.复原IP地址|78.子集|90.子集II

复原IP地址 题目详细&#xff1a;LeetCode.93 这道题与上一道练习题分割回文字符串十分详细&#xff0c;一样是涉及到分割字符串、判断字符串、递归与回溯的问题&#xff0c;所以这道题要解决的难点在于&#xff1a; 如何分割IP地址字符串如何判断分割的IP地址是否合法递归的…

Kafka基本概念

什么是Kafka Kafka是一个消息系统。它可以集中收集生产者的消息&#xff0c;并由消费者按需获取。在Kafka中&#xff0c;也将消息称为日志(log)。 一个系统&#xff0c;若仅有一类或者少量的消息&#xff0c;可直接进行发送和接收。 随着业务量日益复杂&#xff0c;消息的种类…

2.单例模式

基本概念 单例模式&#xff1a;保证一个类只有一个实例&#xff0c;并提供一个访问该实例的全局访问点 常见应用场景 读取配置文件的类一般设计为单例模式网站计数器应用程序的日志应用&#xff0c;因为共享日志文件一直处于打开状态&#xff0c;只能有一个实例去操作Spring…

新C++(11):unordered_map\set的封装

"假如可以让音乐停下来"一、unordered_map\unordered_set简介在C98中&#xff0c;STL底层提供了以红黑树封装的关联式容器map\set&#xff0c;其查询效率可以达到LogN(以2为底)。而在C11中&#xff0c;STL又提供了unordered(无序)容器&#xff0c;其使用方式与map\se…