kubernetes-operator开发教程（基于kubebuilder脚手架）

news2024/12/23 22:59:36

1、Operator介绍

Operator是什么？
Kubernetes Operator是一个自定义控制器，用于通过自动化操作来管理复杂应用或服务。

实现原理是什么？
Kubernetes Operator的实现原理基于自定义控制器（Controller）和自定义资源定义（CRD）。

k8s的文档中本身没有operator这个词，operator实质是指：用户注册自己自定义的CRD，然后创建对应的资源实例（称为Custom Resource，简称CR），而后通过自己编写Controller来不断地检测当前k8s中所定义的CR的状态，如果状态和预期不一致，则调整。Controller具体做的事就是通过调用k8s api server的客户端，根据比较预期的状态和实际的状态，来对相应的资源进行 增删改查。

2、kubebuilder介绍

Kubebuilder 是一个强大的工具，使得基于 Kubernetes 构建 Operator 变得更加简单和高效。它提供了一套规范化的开发流程和模板代码，帮助开发人员快速上手并构建功能丰富的 Kubernetes Operator

具体使用教程可查看文档：https://xuejipeng.github.io/kubebuilder-doc-cn

下载教程（LINUX环境）

wget https://github.com/kubernetes-sigs/kubebuilder/releases/latest/download/kubebuilder_linux_amd64

mv kubebuilder_linux_amd64 kubebuilder 
chmod +x kubebuilder
mv kubebuilder /usr/local/bin/

验证：
kubebuilder version

3、demo开发

实现一个可以根据指定字段管理deployment、service的operator

3.1 开发环境

go 1.21.0
kubebuilder 3.11.1
k8s 1.19.3

兼容性这里踩了很多坑，kubebuilder、go版本使用较新版本即可。基本能够向下兼容

同时需要保证当前开发环境能够通过kubectl访问k8s集群

3.2 kubebuilder创建operator开发环境

mkdir myoperator && cd myoperator


kubebuilder init --domain timmy.com

#创建API 
# GroupVersionKind（GVK） 就是 K8s 资源的坐标，也是唯一标识
kubebuilder create api --group timmy --version v1 --kind MyApp

上述操作执行完后会得到这样一个项目
在这里插入图片描述
我们主要修改的就是 CRD的 结构体文件 （第一个），还有就是 controller 的 调楷 方法。

3.3 定义一个CRD

myapp_types.go

package v1

import (
	metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
	appsv1 "k8s.io/api/apps/v1"
)

// EDIT THIS FILE!  THIS IS SCAFFOLDING FOR YOU TO OWN!
// NOTE: json tags are required.  Any new fields you add must have json tags for the fields to be serialized.

// MyAppSpec defines the desired state of MyApp
type MyAppSpec struct {
	// INSERT ADDITIONAL SPEC FIELDS - desired state of cluster
	// Important: Run "make" to regenerate code after modifying this file

	// Foo is an example field of MyApp. Edit myapp_types.go to remove/update
	//Foo string `json:"foo,omitempty"`
	Image         string `json:"image"`
	ServicePort   int32  `json:"servicePort"`
	ContainerPort int32  `json:"containerPort"`
	Replicas      *int32  `json:"replicas"`
}

// MyAppStatus defines the observed state of MyApp
type MyAppStatus struct {
	// INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
	// Important: Run "make" to regenerate code after modifying this file
	appsv1.DeploymentStatus `json:",inline"`
}

//+kubebuilder:object:root=true
//+kubebuilder:subresource:status

// MyApp is the Schema for the myapps API
type MyApp struct {
	metav1.TypeMeta   `json:",inline"`
	metav1.ObjectMeta `json:"metadata,omitempty"`

	Spec   MyAppSpec   `json:"spec,omitempty"`
	Status MyAppStatus `json:"status,omitempty"`
}

//+kubebuilder:object:root=true

// MyAppList contains a list of MyApp
type MyAppList struct {
	metav1.TypeMeta `json:",inline"`
	metav1.ListMeta `json:"metadata,omitempty"`
	Items           []MyApp `json:"items"`
}

func init() {
	SchemeBuilder.Register(&MyApp{}, &MyAppList{})
}

生成代码：
make manifests

安装CRD：
make install

部署CR：
kubectl apply -f config/samples/app_v1_myapp.yaml
kubectl get myapp

3.4 controller开发

一般只需要修改调楷方法Reconcile()就行

实现逻辑：

  • 如果 AppService 实例不存在，则根据 AppServiceSpec 创建
    • 创建 Deployment 资源
    • 创建 Service 资源
  • 如果 AppService 实例存在，则将 Annotations 中记录的 Spec 值与当前的 Spec 比较
    • 如果前后的 Spec 不同
      • 更新 Deployment 资源
      • 更新 Service 资源
    • 如果前后的 Spec 相同，则无需额外的操作
  • 使用 Annotations 记录当前 Spec 的值（Annotations是资源对象中的注解，此处用来记录当前的资源对象spec，后续用来做前后对比）

myapp_controller.go

/*
Copyright 2023.

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
*/

package controller

import (
	"context"
	"fmt"
	"github.com/go-logr/logr"
	appsv1 "k8s.io/api/apps/v1"
	corev1 "k8s.io/api/core/v1"
	"k8s.io/apimachinery/pkg/api/errors"
	metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
	"k8s.io/apimachinery/pkg/runtime"
	"k8s.io/apimachinery/pkg/runtime/schema"
	"k8s.io/apimachinery/pkg/util/intstr"
	"k8s.io/apimachinery/pkg/util/json"
	"reflect"
	ctrl "sigs.k8s.io/controller-runtime"
	"sigs.k8s.io/controller-runtime/pkg/client"
	"sigs.k8s.io/controller-runtime/pkg/reconcile"

	v1 "myoperator/api/v1"
)

// MyAppReconciler reconciles a MyApp object
type MyAppReconciler struct {
	client.Client
	Scheme *runtime.Scheme
	Log    logr.Logger
}

//+kubebuilder:rbac:groups=app.timmy,resources=myapps,verbs=get;list;watch;create;update;patch;delete
//+kubebuilder:rbac:groups=app.timmy,resources=myapps/status,verbs=get;update;patch
//+kubebuilder:rbac:groups=app.timmy,resources=myapps/finalizers,verbs=update

//+kubebuilder:rbac:groups="apps",resources=deployments,verbs=get;list;watch;create;update;patch;delete
//+kubebuilder:rbac:groups="apps",resources=deployments/status,verbs=get
//+kubebuilder:rbac:groups="",resources=services,verbs=get;list;watch;create;update;patch;delete
//+kubebuilder:rbac:groups="",resources=services/status,verbs=get

// Reconcile is part of the main kubernetes reconciliation loop which aims to
// move the current state of the cluster closer to the desired state.
// TODO(user): Modify the Reconcile function to compare the state specified by
// the MyApp object against the actual cluster state, and then
// perform operations to make the cluster state reflect the state specified by
// the user.
//
// For more details, check Reconcile and its Result here:
// - https://pkg.go.dev/sigs.k8s.io/controller-runtime@v0.15.0/pkg/reconcile
func (r *MyAppReconciler) Reconcile(ctx context.Context, req ctrl.Request) (ctrl.Result, error) {
	//_ = log.FromContext(ctx)

	//用于在日志记录器中添加键值对的上下文信息。在这个例子中，"myapp" 是键，req.NamespacedName 是值。req.NamespacedName的值是一个 "命名空间/资源对象名称"的组合
	logger := r.Log.WithValues("myapp", req.NamespacedName)
	logger.Info("Reconciling myapp")

	//判断MyApp对象是否存在
	instance := &v1.MyApp{}
	if err := r.Client.Get(ctx, req.NamespacedName, instance); err != nil {
		if errors.IsNotFound(err) {
			return reconcile.Result{}, nil
		}
		return reconcile.Result{}, err
	}
	//fmt.Println(instance)
	logger.Info("app kind: " + instance.Kind + ", app name: " + instance.Name)
	if instance.DeletionTimestamp != nil {
		return reconcile.Result{}, nil
	}

	//
	deployment := &appsv1.Deployment{}
	if err := r.Client.Get(ctx, req.NamespacedName, deployment); err != nil {
		if !errors.IsNotFound(err) {
			return ctrl.Result{}, err
		}
		// 1. 不存在，则创建
		// 1-1. 创建 Deployment
		deployment = NewDeployment(instance)
		if err := r.Client.Create(ctx, deployment); err != nil {
			return ctrl.Result{}, err
		}

		// 1-2. 创建 Service
		svc := NewService(instance)
		if err := r.Client.Create(ctx, svc); err != nil {
			return ctrl.Result{}, err
		}

	} else {
		oldSpec := &v1.MyAppSpec{}
		if err := json.Unmarshal([]byte(instance.Annotations["spec"]), oldSpec); err != nil {
			return ctrl.Result{}, err
		}
		fmt.Println(*oldSpec)
		fmt.Println(instance.Spec)
		// 2. 对比更新
		if !reflect.DeepEqual(instance.Spec, *oldSpec) {
			// 2-1. 更新 Deployment 资源
			newDeployment := NewDeployment(instance)
			currDeployment := &appsv1.Deployment{}
			if err := r.Client.Get(ctx, req.NamespacedName, currDeployment); err != nil {
				return ctrl.Result{}, err
			}
			currDeployment.Spec = newDeployment.Spec
			if err := r.Client.Update(ctx, currDeployment); err != nil {
				return ctrl.Result{}, err
			}

			// 2-2. 更新 Service 资源
			newService := NewService(instance)
			currService := &corev1.Service{}
			if err := r.Client.Get(ctx, req.NamespacedName, currService); err != nil {
				return ctrl.Result{}, err
			}
			currIP := currService.Spec.ClusterIP
			currService.Spec = newService.Spec
			currService.Spec.ClusterIP = currIP
			if err := r.Client.Update(ctx, currService); err != nil {
				return ctrl.Result{}, err
			}
		}
	}

	// 3. 关联 Annotations
	data, _ := json.Marshal(instance.Spec)
	if instance.Annotations != nil {
		instance.Annotations["spec"] = string(data)
	} else {
		instance.Annotations = map[string]string{"spec": string(data)}
	}
	if err := r.Client.Update(ctx, instance); err != nil {
		return ctrl.Result{}, err
	}

	return ctrl.Result{}, nil
}

func NewDeployment(app *v1.MyApp) *appsv1.Deployment {
	labels := map[string]string{"app": app.Name}
	selector := &metav1.LabelSelector{MatchLabels: labels}

	return &appsv1.Deployment{
		TypeMeta: metav1.TypeMeta{
			APIVersion: "apps/v1",
			Kind:       "Deployment",
		},
		ObjectMeta: metav1.ObjectMeta{
			Name:      app.Name,
			Namespace: app.Namespace,
			OwnerReferences: []metav1.OwnerReference{
				*metav1.NewControllerRef(app, schema.GroupVersionKind{
					Group:   v1.GroupVersion.Group,
					Version: v1.GroupVersion.Version,
					Kind:    app.Kind,
				}),
			},
		},
		Spec: appsv1.DeploymentSpec{
			Replicas: app.Spec.Replicas,
			Selector: selector,
			Template: corev1.PodTemplateSpec{
				ObjectMeta: metav1.ObjectMeta{Labels: labels},
				Spec: corev1.PodSpec{
					Containers: []corev1.Container{
						{
							Name:            app.Name,
							Image:           app.Spec.Image,
							ImagePullPolicy: corev1.PullIfNotPresent,
							Ports: []corev1.ContainerPort{
								{
									Name:          "http",
									ContainerPort: app.Spec.ContainerPort,
								},
							},
						},
					},
				},
			},
		},
	}
}



func NewService(app *v1.MyApp) *corev1.Service {
	return &corev1.Service{
		TypeMeta: metav1.TypeMeta{
			Kind:       "Service",
			APIVersion: "v1",
		},
		ObjectMeta: metav1.ObjectMeta{
			Name:      app.Name,
			Namespace: app.Namespace,
			OwnerReferences: []metav1.OwnerReference{
				*metav1.NewControllerRef(app, schema.GroupVersionKind{
					Group:   v1.GroupVersion.Group,
					Version: v1.GroupVersion.Version,
					Kind:    app.Kind,
				}),
			},
		},
		Spec: corev1.ServiceSpec{
			Type: corev1.ServiceTypeNodePort,
			Ports: []corev1.ServicePort{
				{
					Protocol:   corev1.ProtocolTCP,
					Port:       app.Spec.ServicePort,
					TargetPort: intstr.FromInt(int(app.Spec.ContainerPort)),
				},
			},
			Selector: map[string]string{
				"app": app.Name,
			},
		},
	}
}

// SetupWithManager sets up the controller with the Manager.
func (r *MyAppReconciler) SetupWithManager(mgr ctrl.Manager) error {
	return ctrl.NewControllerManagedBy(mgr).
		For(&v1.MyApp{}).
		Complete(r)
}

测试：

1、运行控制器：
make run

2、创建一个对象
kubectl apply -f test.yml

apiVersion: app.timmy/v1
kind: MyApp
metadata:
  labels:
    app.kubernetes.io/name: myapp
    app.kubernetes.io/instance: myapp-sample
  name: myapp-sample
spec:
  image: nginx
  servicePort: 80
  containerPort: 80
  replicas: 2

3、查看deploy、svc是否创建

3.5 部署上线

1、部署kustomize
make kustomize

2、添加权限（在controller中添加注释，部署上线是会根据这些生成权限对象）

//+kubebuilder:rbac:groups="apps",resources=deployments,verbs=get;list;watch;create;update;patch;delete
//+kubebuilder:rbac:groups="apps",resources=deployments/status,verbs=get
//+kubebuilder:rbac:groups="",resources=services,verbs=get;list;watch;create;update;patch;delete
//+kubebuilder:rbac:groups="",resources=services/status,verbs=get

3、构建镜像
make docker-build IMG=myapp-operator:v1

注意，这是根据Dockerfile来构建的，如果无法拉取镜像，可以选择切换国内源，或者代码。go依赖下载也是如此

4、部署上线
make deploy IMG=myapp-operator:v1

本文参考：
https://github.com/schwarzeni/kubebuilder-appservice/tree/master

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1000215.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

conda常用命令及问题解决-创建虚拟环境

conda常用命令及问题解决-创建虚拟环境

好久没写博文了，感觉在学习的过程中还是要注意积累与分享，这样利人利己。 conda包清理，许多无用的包是很占用空间的 conda clean -p //删除没有用的包 conda clean -y -all //删除pkgs目录下所有的无用安装包及cacheconda创建虚拟环境…
阅读更多...
机器学习入门教学——标签编码、序号编码、独热编码

机器学习入门教学——标签编码、序号编码、独热编码

1、前言 在机器学习过程中，我们经常需要对特征进行分类，例如：性别有男、女，国籍有中国、英国、美国等，种族有黄、白、黑。 但是分类器并不能直接对字符型数据进行分类，所以我们需要先对数据进行处理。如果…
阅读更多...
索引失效有哪些？

索引失效有哪些？

在工作中，如果我们想要提高一条语句的查询速度，通常都会想对字段建立索引。 但是索引不是万能的。建立了索引，并不意味着任何查询语句都能走索引扫描。 稍不注意，可能查询语句就会导致索引失效，从而走了全表扫描&…
阅读更多...
美业创新之路：广告电商模式让你的品牌脱颖而出

美业创新之路：广告电商模式让你的品牌脱颖而出

美业是一个巨大的市场，但也面临着激烈的竞争和消费者的多样化需求。如何在这个市场中脱颖而出，实现品牌的增长和盈利呢？答案就是广告电商模式。 广告电商模式是一种结合了社交电商和广告分佣的新型电商模式，它可以让消费者在购物的…
阅读更多...
几种研发管理流程

几种研发管理流程

一、CMMI 1.初始阶段 软件过程混乱，有时甚至混乱。几乎没有流程的定义。成功取决于个人的努力。管理是被动的。 2.可重复/可管理 建立了基本的项目管理流程来跟踪成本，进度和功能特征。已经建立了必要的过程规程，以便能够重复先前类似应用…
阅读更多...
RPC框架核心技术

RPC框架核心技术

一、RPC框架整体架构 RPC Client && RPC Server RPC Client 1、动态代理，根据lookUp信息（接口-实现-方法）动态创建出代理类，（创建代理类RPC服务端的目标接口）。即Lookup为远端目标接口地址&#…
阅读更多...
localStorage是什么？有哪些特点？

localStorage是什么？有哪些特点？

localStorage的主要作用是本地存储，它可以将数据按照键值对的方式保存在浏览器中，直到用户或者脚本主动清除数据，否则该数据会一直存在。也就是说，使用了本地存储的数据将被持久化保存。 localStorage与sessionStorage的区别是存…
阅读更多...
Cpolar+Tipas：在Ubuntu上搭建私人问答网站，为您提供专业的问题解答

Cpolar+Tipas：在Ubuntu上搭建私人问答网站，为您提供专业的问题解答

文章目录 前言2.Tipask网站搭建2.1 Tipask网站下载和安装2.2 Tipask网页测试2.3 cpolar的安装和注册 3. 本地网页发布3.1 Cpolar临时数据隧道3.2 Cpolar稳定隧道（云端设置）3.3 Cpolar稳定隧道（本地设置） 4. 公网访问测试5. 结语 前…
阅读更多...
什么是JavaScript中的严格模式（strict mode）？应用场景是什么？

什么是JavaScript中的严格模式（strict mode）？应用场景是什么？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 严格模式（Strict Mode）：⭐ 使用场景⭐ 写在最后 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&…
阅读更多...
shell脚本指令：for循环、函数、数组、grep等指令的使用

shell脚本指令：for循环、函数、数组、grep等指令的使用

1、实现一个对数组求和的函数，数组通过实参传递给函数 2、写一个函数，输出当前用户的uid和gid 并使用变量接收结果 #!/bin/bash echo "请输入一个数组" read -a arr function add_arr() {var1${#arr[*]}for i in ${arr[*]} do((sumi))doner…
阅读更多...
技术解码 | GB28181/SIP/SDP 协议--EasyGBS国标GB28181平台国标视频技术SIP解析

技术解码 | GB28181/SIP/SDP 协议--EasyGBS国标GB28181平台国标视频技术SIP解析

EasyGBS国标视频云服务是基于国标GB/T28181协议的视频能力平台，可实现的视频功能包括：实时监控直播、录像、检索与回看、语音对讲、云存储、告警、平台级联等功能。平台部署简单、可拓展性强，支持将接入的视频流进行全终端、全平台分发&#…
阅读更多...
中国人民大学与加拿大女王大学金融硕士——人生总要逼自己一把

中国人民大学与加拿大女王大学金融硕士——人生总要逼自己一把

我们每个人都是一个独特而丰富的个体，身上蕴藏着各种潜力和可能性。要不断去开发自己的潜能，不断学习和提升自己的知识和技能，保持对新知识和趋势的敏感。想要在职场上走得更远，就要逼自己一把，在职继续攻读硕士学位是…
阅读更多...
82 # koa-bodyparser 中间件的使用以及实现

82 # koa-bodyparser 中间件的使用以及实现

准备工作 安装依赖 npm init -y npm i koakoa 文档：https://koajs.cn/# koa 中不能用回调的方式来实现，因为 async 函数执行的时候不会等待回调完成 app.use(async (ctx, next) > {console.log(ctx.path, ctx.method);if (ctx.path "/login…
阅读更多...
518抽奖软件，是否会重复中奖，还是没人只能抽中一次

518抽奖软件，是否会重复中奖，还是没人只能抽中一次

518抽奖软件简介 518抽奖软件，518我要发，超好用的年会抽奖软件，简约设计风格。 包含文字号码抽奖、照片抽奖两种模式，支持姓名抽奖、号码抽奖、数字抽奖、照片抽奖。(www.518cj.net) 不会重复中奖 类似抽奖箱的概念&#xff0c…
阅读更多...
【1++的数据结构】之哈希（二）

【1++的数据结构】之哈希（二）

👍作者主页：进击的1 🤩 专栏链接：【1的数据结构】 文章目录 一，前言二，位图1. 位图2. 位图的应用 三，布隆过滤器 一，前言 上一节我们讲解了哈希表，简单的了解了哈希思想…
阅读更多...
探索工业4.0：数字孪生如何重塑工业生产流程？

探索工业4.0：数字孪生如何重塑工业生产流程？

在过去的几十年里，工业生产经历了从机械化、自动化到数字化的巨大转变。随着工业4.0的到来，我们正处于第四次工业革命的边缘，这次革命将由数字孪生技术引领。本文将深入探讨数字孪生在工业生产中的应用和潜力。 数字孪生（Digital …
阅读更多...
第六章 进程管理与系统监控

第六章 进程管理与系统监控

第六章 进程管理与系统监控 ​ 一个具有较好的安全性和稳定性的系统是用户所需要的。无论进行何种操作和业务处理，用户都希望系统始终处于安全、稳定的状态。因此，即时地进行系统的进程管理和系统监控工作是保证系统安全、稳定的状态。 1.进程管理 1.…
阅读更多...
C++项目实战——基于多设计模式下的同步异步日志系统-⑥-日志等级类与日志消息类设计

C++项目实战——基于多设计模式下的同步异步日志系统-⑥-日志等级类与日志消息类设计

文章目录 专栏导读日志等级类设计日志等级划分to_string函数设计日志等级类整理 日志消息类设计 专栏导读 🌸作者简介：花想云 ，在读本科生一枚，C/C领域新星创作者，新星计划导师，阿里云专家博主，…
阅读更多...
第4篇 vue的 ECMAScript 6的学习

第4篇 vue的 ECMAScript 6的学习

一 ECMAScript 6 1.1 ECMAScript 6 ECMAScript 和 JavaScript 的关系是，前者是后者的规格，后者是前者的一种实现（另外的 ECMAScript 方言还有 Jscript 和 ActionScript）。 因此，ES6 既是一个历史名词，也…
阅读更多...
java+ssm+mysql高校图书管理系统

java+ssm+mysql高校图书管理系统

项目介绍： 本系统为基于jspssmmysql的高校图书管理系统，包含管理员、学生角色，功能如下： 管理员（高级管理和普通管理）：用户管理（管理员和学生管理）；图书管理…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023