本文尝试从Kubernetes Controller的种类、交互逻辑、最佳实践、伪代码示例及历史演进5个方面对其进行详细阐述，希望对您有所帮助！
一、Kubernetes Controller种类
Kubernetes Controller Manager 是 Kubernetes 集群的核心组件之一，负责管理和协调集群内各种控制器。控制器是实现 Kubernetes 集群自动化管理的核心部分，通过持续协调集群的实际状态和期望状态，确保资源的正确配置和运行。
Kubernetes Controller Manager 包含多个控制器，每个控制器负责特定的资源和任务。以下是一些主要控制器及其功能：
-
Node Controller
- 作用：监控节点的状态，负责在节点不可用时执行相应的操作，例如将 Pod 标记为不可调度、在节点无法通信时驱逐 Pod。
-
Replication Controller
- 作用：确保指定数量的 Pod 副本在任何时候都在运行。如果 Pod 被删除或崩溃，Replication Controller 会创建新的 Pod 来满足副本数要求。
-
Endpoint Controller
- 作用：填充 Endpoints 对象，使服务能够正确地找到相应的 Pod，确保服务与后端 Pod 之间的通信。
-
Service Account & Token Controllers
- 作用：创建默认的 Service Account 并管理 API 访问令牌，确保每个命名空间都有一个默认的 Service Account。
-
Namespace Controller
- 作用：处理命名空间的创建和删除，确保在删除命名空间时清理相关资源。
-
Job Controller
- 作用：管理 Job 对象，确保 Job 中定义的任务（Pod）按预期运行和完成，适用于一次性任务或批处理任务。
-
CronJob Controller
- 作用：管理 CronJob 对象，按照预定义的时间表周期性地运行 Job。
-
DaemonSet Controller
- 作用：确保每个节点上都运行一个 DaemonSet 定义的 Pod，通常用于节点级别的任务，例如日志收集和监控。
-
StatefulSet Controller
- 作用：管理有状态应用，确保有状态 Pod 的创建、删除和更新按序执行，维护 Pod 的稳定网络标识和持久存储。
-
Deployment Controller
- 作用：管理 Deployment 对象，确保应用按期望的版本和副本数运行，支持滚动更新和回滚。
-
ReplicaSet Controller
- 作用：类似于 Replication Controller，但功能更强大，通常与 Deployment 一起使用，确保指定数量的 Pod 副本在任何时候都在运行。
-
Horizontal Pod Autoscaler (HPA) Controller
- 作用：根据资源使用情况（例如 CPU 或内存）自动扩展或缩减 Pod 数量，以满足应用的需求。
-
Vertical Pod Autoscaler (VPA) Controller
- 作用：根据实际资源使用情况调整 Pod 的资源请求和限制（CPU 和内存），提高资源利用率。
-
Garbage Collector Controller
- 作用：负责清理被删除资源的相关依赖资源，例如删除被删除 Pod 关联的 PersistentVolumeClaim（PVC）。
-
Certificate Signing Request (CSR) Controller
- 作用：管理和批准/拒绝证书签名请求，通常用于自动化证书管理。
这些控制器通过不断检查集群的实际状态和期望状态，执行必要的操作来确保 Kubernetes 集群的稳定和可靠运行。
Kubernetes Controller Manager 包含的控制器非常多，以下是一些更高级的或特定于某些功能的控制器：
-
Ingress Controller
- 作用：管理 Ingress 资源，提供外部访问到集群内部服务的方式，通过 HTTP/HTTPS 路由流量。
-
ResourceQuota Controller
- 作用：管理和执行 ResourceQuota 资源，确保命名空间内的资源使用不超过设定的配额。
-
LimitRange Controller
- 作用：管理和执行 LimitRange 资源，设置命名空间内 Pod 和容器的默认资源请求和限制。
-
PersistentVolume Controller
- 作用：管理 PersistentVolume 资源，确保持久存储卷的生命周期，包括创建、绑定和回收。
-
PersistentVolumeClaim Controller
- 作用：管理 PersistentVolumeClaim 资源，确保持久存储卷正确地绑定到请求的 Pod。
-
StorageClass Controller
- 作用：管理 StorageClass 资源，定义不同存储提供者的存储类型和配置，支持动态存储卷的创建。
-
Certificate Controller
- 作用：管理 Kubernetes 内部证书的创建和分发，通常与 Cert-Manager 等工具集成。
-
PodDisruptionBudget (PDB) Controller
- 作用：管理 PodDisruptionBudget 资源，限制计划内的 Pod 中断（例如滚动更新或节点维护）以确保应用的高可用性。
-
NetworkPolicy Controller
- 作用：管理 NetworkPolicy 资源，控制 Pod 间的网络流量，增强集群的安全性。
-
Service Controller
- 作用：管理 Service 资源，确保服务的负载均衡和 IP 地址分配。
-
TTL Controller for Finished Resources
- 作用：管理和清理已完成的 Job 和 Pod，根据定义的 TTL（生存时间）自动删除这些资源。
-
EndpointSlice Controller
- 作用：管理 EndpointSlice 资源，提供比传统 Endpoints 更高效和可扩展的服务发现机制。
-
CSIDriver and CSINode Controllers
- 作用：管理和协调 CSI（容器存储接口）驱动程序，确保 CSI 驱动程序的注册和节点能力的报告。
-
VolumeAttachment Controller
- 作用：管理 VolumeAttachment 资源，处理动态存储卷的挂载和卸载请求。
-
ServiceAccountToken Controller
- 作用：管理 ServiceAccount 令牌的创建和分发，为 Pod 提供安全的 API 访问凭证。
这些控制器涵盖了 Kubernetes 集群中广泛的资源和功能，通过不断协调和管理这些资源，确保集群的自动化操作、资源管理和高可用性。
以下是一些更为细分和特定功能的控制器：
-
CSIDriver Controller
- 作用：管理 CSI 驱动程序的生命周期，确保 CSI 驱动程序正确注册和使用。
-
CSINode Controller
- 作用：协调 CSI 驱动程序和 Kubernetes 节点，确保节点报告正确的存储能力。
-
VolumeSnapshot Controller
- 作用：管理 VolumeSnapshot 和 VolumeSnapshotContent 资源，支持持久卷的快照和恢复功能。
-
CronJob Controller
- 作用：管理 CronJob 资源，按照预定义的时间表定期运行 Job。
-
ResourceClaim and ResourceClaimTemplate Controllers
- 作用：管理资源声明（ResourceClaim）和资源声明模板（ResourceClaimTemplate），用于动态分配和管理共享资源。
-
CustomResourceDefinition (CRD) Controller
- 作用：管理 CRD 资源，允许用户定义和使用自定义资源类型。
-
Event Controller
- 作用：管理集群中的事件对象，用于记录和追踪集群中的重要操作和状态变化。
-
Garbage Collector
- 作用：自动清理被删除资源的相关依赖资源，例如删除被删除 Pod 关联的 PersistentVolumeClaim（PVC）。
-
Priority and Fairness (P&F) Controller
- 作用：管理 API 请求的优先级和公平性，确保高优先级请求得到及时处理，同时防止资源耗尽。
-
TokenCleaner Controller
- 作用：清理过期的服务账户令牌，确保集群安全性。
-
PodSecurityPolicy (PSP) Controller
- 作用：管理 Pod 安全策略，控制 Pod 的安全设置和权限。
-
CertificateSigningRequest (CSR) Controller
- 作用：管理和批准/拒绝证书签名请求，通常用于自动化证书管理。
-
RuntimeClass Controller
- 作用：管理 RuntimeClass 资源，支持不同的容器运行时配置。
-
EndpointSlice Controller
- 作用：管理 EndpointSlice 资源，提供比传统 Endpoints 更高效和可扩展的服务发现机制。
-
MutatingAdmissionWebhook and ValidatingAdmissionWebhook Controllers
- 作用：管理和执行动态准入控制策略，通过 Webhook 实现对资源创建、更新的动态验证和修改。
-
ClusterRole and ClusterRoleBinding Controllers
- 作用：管理集群级别的角色和角色绑定，控制集群内用户和服务账户的权限。
-
Role and RoleBinding Controllers
- 作用：管理命名空间级别的角色和角色绑定，控制命名空间内用户和服务账户的权限。
-
Lease Controller
- 作用：管理租约资源（Lease），用于协调集群中的主选举等分布式协调任务。
-
APIService Controller
- 作用：管理 APIService 资源，协调 Kubernetes API 聚合层的注册和可用性。
这些控制器共同工作，确保 Kubernetes 集群的自动化管理、资源调度、安全性和高可用性。通过这些控制器，Kubernetes 实现了对集群资源的全面管理和高效运行。
二、Kubernetes 主要控制器与其他组件交互示意图
示意图
交互说明
-
kubectl / CLI 与 API Server 的交互：
- 用户通过 kubectl 或其他客户端工具向 API Server 发出 CRUD 操作请求（创建、读取、更新、删除）。
-
API Server 与 etcd 的交互：
- API Server 将集群状态存储到 etcd，并从 etcd 读取状态数据。
-
API Server 与 Scheduler 的交互：
- Scheduler 从 API Server 获取未调度的 Pod，确定它们的调度位置后将结果返回给 API Server。
-
API Server 与 Controller Manager 的交互：
- Controller Manager 从 API Server 获取资源状态，根据控制逻辑进行必要的调整，然后将更新后的状态提交回 API Server。
-
Controller Manager 内部控制器的交互：
- 各控制器（如 Node Controller、Replication Controller 等）负责特定资源的管理，通过 API Server 获取和更新状态。
-
API Server 与 Kubelet 的交互：
- Kubelet 从 API Server 获取调度到该节点的 Pod 信息，管理 Pod 和容器的生命周期，并将节点和 Pod 的状态报告给 API Server。
-
Kubelet 与 Container Runtime 的交互：
- Kubelet 通过 CRI 接口与容器运行时（如 Docker 或 containerd）通信，管理容器的创建、启动、停止等操作。
-
Kubelet 与 Pod Network 的交互：
- Kubelet 配置 Pod 的网络，通过 CNI 插件设置网络连接。
-
Kubelet 与 kube-proxy 的交互：
- Kube-proxy 维护网络规则和服务发现，通过 API Server 获取服务信息并在节点上配置网络规则。
-
Controller Manager 与 Persistent Storage 的交互：
- Controller Manager 通过 CSI 插件管理持久存储卷的生命周期，包括卷的创建、绑定和删除。
通过这样的示意图和详细说明，可以更直观地理解 Kubernetes 各主要组件和控制器之间的交互关系。
三、Kubernetes Controller最佳实践
在 Kubernetes 中，控制器（Controller）是保持系统实际状态与期望状态一致的关键组件。为了确保控制器的高效、可靠和安全运行，以下是一些最佳实践：
设计和实现控制器的最佳实践
-
Idempotency（幂等性）
- 确保控制器的操作是幂等的，这意味着无论操作执行多少次，结果应该是相同的。这可以避免因重复执行而产生的副作用。
-
Reconciliation Loop（协调循环）
- 实现一个可靠的协调循环来监控资源状态变化，并采取相应行动使其达到期望状态。这个循环应该能够处理突发的事件和定期的状态检查。
-
Event Handling（事件处理）
- 使用 Kubernetes 提供的 Informer 和 Watch 机制来监听资源变化事件，减少不必要的 API 调用，提高响应速度。
-
Error Handling（错误处理）
- 设计可靠的错误处理机制，记录错误日志，避免控制器因未处理的异常而崩溃。重试机制应考虑指数退避策略（exponential backoff）以避免过载。
-
Rate Limiting（限流）
- 实施限流机制来控制控制器的执行频率，防止由于频繁的重试和协调操作导致的资源消耗过大。
部署和管理控制器的最佳实践
-
Scalability（可扩展性）
- 确保控制器能够水平扩展（Horizontal Scaling），通过增加副本数来处理更多的负载。
-
Resource Management（资源管理）
- 为控制器设置合理的资源请求和限制（CPU 和内存），避免因资源耗尽导致控制器性能下降或崩溃。
-
Observability（可观察性）
- 实施日志记录、监控和告警机制。使用 Prometheus 监控控制器的指标，确保系统运行健康。
-
Security（安全性）
- 使用 Kubernetes RBAC（角色访问控制）来限制控制器的权限，仅授予其所需的最低权限（Principle of Least Privilege）。
- 定期更新控制器的镜像，确保使用最新的安全补丁。
开发控制器的最佳实践
-
Controller Libraries and Frameworks（控制器库和框架）
- 利用现有的 Kubernetes 控制器库和框架（如 Kubebuilder 和 Operator SDK）来简化控制器的开发和管理。
-
Testing（测试）
- 实施单元测试、集成测试和端到端测试，确保控制器在各种条件下的正确性和稳定性。
- 使用 Kind 或 Minikube 等本地 Kubernetes 环境进行测试，模拟真实场景。
-
Documentation（文档）
- 提供详细的控制器文档，包括架构设计、配置选项、使用指南和故障排除步骤，帮助用户理解和使用控制器。
高可用性和容错的最佳实践
-
Redundancy（冗余）
- 部署多个副本的控制器来提高高可用性，确保在单个副本失败时仍有其他副本继续工作。
-
Health Checks（健康检查）
- 配置 Liveness 和 Readiness 探针，以便 Kubernetes 能够自动检测和恢复故障的控制器实例。
-
Graceful Shutdown（优雅停机）
- 实现优雅停机机制，确保控制器在接收到终止信号时能够完成当前的协调任务，避免中间状态不一致。
通过遵循这些最佳实践，可以确保 Kubernetes 控制器的高效、可靠和安全运行，有助于维护集群的稳定性和高可用性。
四、Controller伪代码实现
为了实现一个遵循最佳实践的 Kubernetes 控制器，以下是一个使用 Go 语言编写的伪代码示例。该控制器监控自定义资源 Foo，并确保每个 Foo 对象对应一个名为 bar-{foo_name} 的 ConfigMap 存在。
完整的 Go 语言实现 Kubernetes 控制器伪代码
package main
import (
"context"
"fmt"
"log"
"time"
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
corev1 "k8s.io/api/core/v1"
"k8s.io/client-go/informers"
"k8s.io/client-go/kubernetes"
"k8s.io/client-go/rest"
"k8s.io/client-go/tools/cache"
"k8s.io/client-go/util/retry"
"k8s.io/client-go/util/workqueue"
"k8s.io/apimachinery/pkg/util/wait"
)
// FooController 定义控制器结构体
type FooController struct {
clientset *kubernetes.Clientset
informer cache.SharedIndexInformer
workqueue workqueue.RateLimitingInterface
}
// NewFooController 创建新的控制器实例
func NewFooController(clientset *kubernetes.Clientset, informer cache.SharedIndexInformer) *FooController {
workqueue := workqueue.NewNamedRateLimitingQueue(workqueue.DefaultControllerRateLimiter(), "Foo")
informer.AddEventHandler(cache.ResourceEventHandlerFuncs{
AddFunc: func(obj interface{}) {
key, err := cache.MetaNamespaceKeyFunc(obj)
if err == nil {
workqueue.Add(key)
}
},
UpdateFunc: func(oldObj, newObj interface{}) {
key, err := cache.MetaNamespaceKeyFunc(newObj)
if err == nil {
workqueue.Add(key)
}
},
DeleteFunc: func(obj interface{}) {
key, err := cache.DeletionHandlingMetaNamespaceKeyFunc(obj)
if err == nil {
workqueue.Add(key)
}
},
})
return &FooController{
clientset: clientset,
informer: informer,
workqueue: workqueue,
}
}
// Run 启动控制器
func (c *FooController) Run(stopCh <-chan struct{}) {
defer c.workqueue.ShutDown()
go c.informer.Run(stopCh)
if !cache.WaitForCacheSync(stopCh, c.informer.HasSynced) {
log.Fatalf("Error syncing cache")
return
}
wait.Until(c.runWorker, time.Second, stopCh)
}
// runWorker 处理队列中的项目
func (c *FooController) runWorker() {
for c.processNextItem() {
}
}
// processNextItem 处理队列中的下一个项目
func (c *FooController) processNextItem() bool {
key, quit := c.workqueue.Get()
if quit {
return false
}
defer c.workqueue.Done(key)
err := c.syncHandler(key.(string))
if err != nil {
c.workqueue.AddRateLimited(key)
} else {
c.workqueue.Forget(key)
}
return true
}
// syncHandler 同步资源状态
func (c *FooController) syncHandler(key string) error {
namespace, name, err := cache.SplitMetaNamespaceKey(key)
if err != nil {
return fmt.Errorf("invalid resource key: %s", key)
}
// 获取 Foo 对象
foo, err := c.informer.GetIndexer().ByNamespace(namespace).Get(name)
if err != nil {
if cache.IsNotFound(err) {
// Foo 对象已被删除
return nil
}
return err
}
// 确保对应的 ConfigMap 存在
configMapName := fmt.Sprintf("bar-%s", name)
configMap, err := c.clientset.CoreV1().ConfigMaps(namespace).Get(context.TODO(), configMapName, metav1.GetOptions{})
if err != nil {
if cache.IsNotFound(err) {
// 创建 ConfigMap
configMap = &corev1.ConfigMap{
ObjectMeta: metav1.ObjectMeta{
Name: configMapName,
Namespace: namespace,
},
Data: map[string]string{
"foo": name,
},
}
_, err = c.clientset.CoreV1().ConfigMaps(namespace).Create(context.TODO(), configMap, metav1.CreateOptions{})
if err != nil {
return err
}
} else {
return err
}
}
return nil
}
func main() {
config, err := rest.InClusterConfig()
if err != nil {
log.Fatalf("Error building kubeconfig: %s", err.Error())
}
clientset, err := kubernetes.NewForConfig(config)
if err != nil {
log.Fatalf("Error building kubernetes clientset: %s", err.Error())
}
informerFactory := informers.NewSharedInformerFactory(clientset, time.Minute)
fooInformer := informerFactory.Core().V1().ConfigMaps().Informer()
controller := NewFooController(clientset, fooInformer)
stopCh := make(chan struct{})
defer close(stopCh)
go controller.Run(stopCh)
<-stopCh
}
代码说明
-
初始化控制器
NewFooController函数初始化控制器，设置事件处理程序，将资源事件添加到工作队列。
-
运行控制器
Run方法启动控制器，运行 Informer 并同步缓存，然后启动工作线程处理队列中的项目。
-
处理队列中的项目
runWorker方法从队列中提取项目并调用processNextItem处理它们。processNextItem方法调用syncHandler同步资源状态，并根据处理结果决定是否重新调度该项目。
-
同步资源状态
syncHandler方法获取Foo对象，并确保对应的 ConfigMap 存在。如果不存在，则创建它。
最佳实践
- Idempotency（幂等性）：确保每次处理同一个资源时，结果是一致的，不会产生副作用。
- Reconciliation Loop（协调循环）：通过
syncHandler实现协调循环，保持实际状态与期望状态一致。 - Event Handling（事件处理）：使用 Informer 监听资源变化，减少 API 调用。
- Error Handling（错误处理）：通过重试机制处理错误，并使用速率限制器防止过载。
- Rate Limiting（限流）：使用
RateLimitingInterface控制工作队列的处理速率。 - Scalability（可扩展性）：使用工作队列和多工作线程，提高处理能力。
- Resource Management（资源管理）：在实际部署时，应设置合理的资源请求和限制。
- Observability（可观察性）：记录日志（在实际实现中应添加日志记录）和监控指标。
- Security（安全性）：使用适当的 RBAC 配置，确保控制器仅有必要的权限。
五、Kubernetes Controller历史演进
Kubernetes Controller Manager 作为 Kubernetes 集群的核心组件之一，其功能和架构在不同版本的 Kubernetes 中不断演进。以下是 Kubernetes Controller Manager 的历史演进概述：
初期阶段 (v1.0 之前)
在 Kubernetes 的早期版本中，Controller Manager 的概念并不明确。早期的控制器逻辑直接内置在 API Server 中，负责管理 Pod 和其他资源的生命周期。随着 Kubernetes 的发展，控制器逻辑逐渐被抽象和独立出来，形成了一个单独的组件。
v1.0 (2015)
- 单一二进制：最初，所有控制器都是作为一个单一的二进制文件
kube-controller-manager运行。这种设计简化了部署和管理，但缺乏灵活性。 - 基本控制器：包括 Node Controller、Replication Controller、Endpoint Controller 和 Service Account Controller 等基本控制器。
v1.2 (2016)
- Horizontal Pod Autoscaler (HPA)：引入了 HPA 控制器，用于基于 CPU 使用率自动扩展 Pod 数量。
v1.5 (2016)
- CustomResourceDefinition (CRD)：替换了 ThirdPartyResource (TPR)，允许用户定义自定义资源。CRD 控制器负责管理这些自定义资源。
- StatefulSet Controller：引入 StatefulSet 控制器，用于管理有状态应用，确保有序和稳定的 Pod 部署。
v1.6 (2017)
- Multiple Schedulers：引入了对多调度器的支持，允许用户使用自定义调度器。
- PodDisruptionBudget (PDB)：引入 PDB 控制器，限制计划内的 Pod 中断以确保应用的高可用性。
v1.8 (2017)
- Taints and Tolerations：增强了调度功能，引入了污点和容忍，允许节点标记不适合运行某些 Pod 的原因。
v1.9 (2017)
- Workloads API 组：引入了新的工作负载 API 组，包括 Deployment、DaemonSet 和 StatefulSet 等，简化了工作负载管理。
v1.10 (2018)
- Volume Snapshots：引入 VolumeSnapshot 和 VolumeSnapshotContent 控制器，支持持久卷的快照和恢复功能。
v1.12 (2018)
- Topology Aware Volume Scheduling：改进了持久卷调度，考虑到存储卷的拓扑要求，以优化性能。
v1.14 (2019)
- Cluster API：引入 Cluster API 控制器，用于管理 Kubernetes 集群的生命周期（创建、升级、删除）。
v1.16 (2019)
- Custom Metrics：扩展 HPA 控制器，支持基于自定义指标的自动扩展。
v1.18 (2020)
- EndpointSlice：引入 EndpointSlice 控制器，提供比传统 Endpoints 更高效和可扩展的服务发现机制。
v1.19 (2020)
- CSI Volume Health Monitoring：改进了 CSI 控制器，添加了卷健康监控功能。
v1.20 (2020)
- Storage Capacity Tracking：增强了存储调度，支持跟踪和报告存储容量。
v1.21 (2021)
- Immutable Secrets and ConfigMaps：引入不可变的 Secrets 和 ConfigMaps，提高集群的安全性和性能。
v1.22 (2021)
- PodSecurityPolicy (PSP) Deprecated：宣布弃用 PodSecurityPolicy，逐步引入新的安全策略机制。
v1.23 (2021)
- CronJob Controller：CronJob 控制器正式成为稳定版，用于管理定时任务。
v1.24 (2022)
- PodSecurity Admission：引入 Pod 安全准入控制器，取代 PSP，提供灵活的 Pod 安全策略。
v1.25 (2022)
- Dynamic Resource Allocation：引入动态资源分配控制器，支持共享资源的动态分配和管理。
总结
Kubernetes Controller Manager 的演进体现了 Kubernetes 不断扩展和增强其功能以满足各种需求的过程。随着 Kubernetes 的发展，Controller Manager 添加了许多新功能和控制器，以更好地管理和调度集群资源，提升系统的自动化和智能化水平。这些演进帮助 Kubernetes 成为一个强大且灵活的容器编排平台。
完。
希望对您有用！关注锅总，及时获得更多花里胡哨的运维实用操作！
锅总微信公众号
锅总个人博客
https://gentlewok.blog.csdn.net/
