containerd源代码分析: 整体架构

news2024/11/19 0:50:49

本文从代码的大的整体组织上来熟悉containerd项目
containerd项目总的说是一个cs模式的原生控制台程序组。containerd作为服务端来接收处理client的各种请求，如常用的拉取推送镜像，创建查询停止容器，生成快照，发送消息等。client/server之间通过grpc和ttrpc框架进行交互。
我们可以先看一下contanerd源代码中的cmd下文件夹如图:

image.png
每一个目录都会生成一个二进制文件:
containerd 为服务主程序。
containerd-shim-runc-v2: 为主程序和runtime程序之间交互的垫片二进制
contianerd-stress:不是实际生产使用的程序，而是为了对containerd进行压力测试使用
ctr: 是containerd的客户端二进制，可以发送各种命令请求。上一个用法图:

image.png

我们看到了项目的最终输出的物理文件。那么具体的交互逻辑或者说流程是什么样的。其实每个具体的功能都是通过各个相应的插件来完成。containerd背后有各种标准如oci、cni、csi等，采用插件的形式方便了各个供应商扩展自己的功能。我们先从静态代码上梳理一下.在项目的core目录下包含了containerd实现的大模块，如容器、内容、差异、镜像、元数据存储、租约、指标、挂载点、镜像注册中心、快照、沙箱、运行时。

image.png
我们以content模块为例将进行探索。
在core/content/content.go中抽象出来了content的接口类型如:

type Store interface {
   Manager
   Provider
   IngestManager
   Ingester
}

这个是个接口聚合，每个都可以展开成一个具体接口或者接口组合。
如:

// InfoProvider provides info for content inspection.
type InfoProvider interface {
   // Info will return metadata about content available in the content store.
   //
   // If the content is not present, ErrNotFound will be returned.
   Info(ctx context.Context, dgst digest.Digest) (Info, error)
}

我们刚才说每个功能都是由插件实现(插件会在server启动时加载，先埋下伏笔)那么进入plugins/content/local/store.go，可以看到它实现了上面的InfoProvider接口

func (s *store) Info(ctx context.Context, dgst digest.Digest) (content.Info, error) {
   p, err := s.blobPath(dgst)
   if err != nil {
      return content.Info{}, fmt.Errorf("calculating blob info path: %w", err)
   }

   fi, err := os.Stat(p)
   if err != nil {
      if os.IsNotExist(err) {
         err = fmt.Errorf("content %v: %w", dgst, errdefs.ErrNotFound)
      }

      return content.Info{}, err
   }
   var labels map[string]string
   if s.ls != nil {
      labels, err = s.ls.Get(dgst)
      if err != nil {
         return content.Info{}, err
      }
   }
   return s.info(dgst, fi, labels), nil
}

Manager的接口也被实现了，这里不列出了。现在是实现有了。插件在哪里使用它呢，通过在鼠标右键->查找用法(IDEA+go插件环境)找到
cmd/containerd/server/server.go文件中的

func LoadPlugins(ctx context.Context, config *srvconfig.Config) ([]plugin.Registration, error) {
   // load all plugins into containerd
   //  .............
   // load additional plugins that don't automatically register themselves
   registry.Register(&plugin.Registration{
      Type: plugins.ContentPlugin,
      ID:   "content",
      InitFn: func(ic *plugin.InitContext) (interface{}, error) {
         root := ic.Properties[plugins.PropertyRootDir]
         ic.Meta.Exports["root"] = root
         return local.NewStore(root)
      },
   })
   
   //....................
}

第11行，return local.NewStore(root) 对store进行了实例化。
插件类型为plugins.ContentPlugin,id为content.到此完成了插件对接口实现的包装和注册。
plugins/content/local/store.go对store的实现可以在本地直接调用。没有涉及到客户端client发送请求调用。
客户端请求的插件同样可以在上述的loadplugins函数中找到

clients := &proxyClients{}
for name, pp := range config.ProxyPlugins {
   var (
      t plugin.Type
      f func(*grpc.ClientConn) interface{}

      address = pp.Address
      p       v1.Platform
      err     error
   )

   switch pp.Type {
    //........

   case string(plugins.ContentPlugin), "content":
      t = plugins.ContentPlugin
      f = func(conn *grpc.ClientConn) interface{} {
         return csproxy.NewContentStore(csapi.NewContentClient(conn))
      }
      //......
      
      ```
registry.Register(&plugin.Registration{
   Type: t,
   ID:   name,
   InitFn: func(ic *plugin.InitContext) (interface{}, error) {
      ic.Meta.Exports = exports
      ic.Meta.Platforms = append(ic.Meta.Platforms, p)
      conn, err := clients.getClient(address)
      if err != nil {
         return nil, err
      }
      return f(conn), nil
   },
})

第1行声明了客户端proxyClients，第17行创建了生成store的函数体。在第29行对proxyClients实例化创建了到server的连接，并在第33行调用前面声明的函数体完成初始化的逻辑，同时在第23行也实现了对插件的注册。
在这个函数里还进行了snapshot、sandbox、diff插件的注册。
如果再进一步看下第18行的代码发现它是调用core/content/proxy/content_store.go中的函数func NewContentStore(client contentapi.ContentClient) content.Store{...}
可以在plugins/services/content/service.go中找到具体的grpc plugin content

func init() {
   registry.Register(&plugin.Registration{
      Type: plugins.GRPCPlugin,
      ID:   "content",
      Requires: []plugin.Type{
         plugins.ServicePlugin,
      },
      InitFn: func(ic *plugin.InitContext) (interface{}, error) {
         cs, err := ic.GetByID(plugins.ServicePlugin, services.ContentService)
         if err != nil {
            return nil, err
         }
         return contentserver.New(cs.(content.Store)), nil
      },
   })
}

可以看到在第6行又依赖了plugins.ServicePlugin插件类型。serviceplugin类型在plugins/services/content/store.go文件中可以找到

func init() {
   registry.Register(&plugin.Registration{
      Type: plugins.ServicePlugin,
      ID:   services.ContentService,
      Requires: []plugin.Type{
         plugins.EventPlugin,
         plugins.MetadataPlugin,
      },
      InitFn: func(ic *plugin.InitContext) (interface{}, error) {
         m, err := ic.GetSingle(plugins.MetadataPlugin)
         if err != nil {
            return nil, err
         }
         ep, err := ic.GetSingle(plugins.EventPlugin)
         if err != nil {
            return nil, err
         }

         s, err := newContentStore(m.(*metadata.DB).ContentStore(), ep.(events.Publisher))
         return s, err
      },
   })
}

id为services.ContentService的插件。并且调用插件返回content.store,并在第13行作为参数传入contentserver的new构造函数创建contentserver实例。
contentserver主要完成的接收grpc的请求然后调用store的实现。
如info功能的业务逻辑如下：

func (s *service) Info(ctx context.Context, req *api.InfoRequest) (*api.InfoResponse, error) {
   dg, err := digest.Parse(req.Digest)
   if err != nil {
      return nil, status.Errorf(codes.InvalidArgument, "%q failed validation", req.Digest)
   }

   bi, err := s.store.Info(ctx, dg)
   if err != nil {
      return nil, errdefs.ToGRPC(err)
   }

   return &api.InfoResponse{
      Info: infoToGRPC(bi),
   }, nil
}

由于使用了grpc的通讯框架，content的协议定义文件为api/services/content/v1/content.proto，里面定义了消息格式

message InfoRequest {
 string digest = 1;
}

message InfoResponse {
 Info info = 1;
}

和服务接口

service Content {
 // Info returns information about a committed object.
 //
 // This call can be used for getting the size of content and checking for
 // existence.
 rpc Info(InfoRequest) returns (InfoResponse);
 // ......
 }

生成的go grpc实现的文件为：api/services/content/v1/content_grpc.pb.go 其中info功能的服务功能如下：

func _Content_Info_Handler(srv interface{}, ctx context.Context, dec func(interface{}) error, interceptor grpc.UnaryServerInterceptor) (interface{}, error) {
   in := new(InfoRequest)
   if err := dec(in); err != nil {
      return nil, err
   }
   if interceptor == nil {
      return srv.(ContentServer).Info(ctx, in)
   }
   info := &grpc.UnaryServerInfo{
      Server:     srv,
      FullMethod: "/containerd.services.content.v1.Content/Info",
   }
   handler := func(ctx context.Context, req interface{}) (interface{}, error) {
      return srv.(ContentServer).Info(ctx, req.(*InfoRequest))
   }
   return interceptor(ctx, in, info, handler)
}

在第7行、第14行调用了上述插件中的contentserver的info实现。
此handler也封装到了Content_ServiceDesc结构中然后通过此文件中的

func RegisterContentServer(s grpc.ServiceRegistrar, srv ContentServer) {
   s.RegisterService(&Content_ServiceDesc, srv)
}

函数封装了contentserver,此函数也被plugins/services/content/contentserver/contentserver.go中的

func (s *service) Register(server *grpc.Server) error {
   api.RegisterContentServer(server, s)
   return nil
}

调用,此函数在插件加载完成后又被server注册到本地缓存中具体见文章开始的cmd/containerd/server/server.go中的new函数代码段：

for _, p := range loaded {
   id := p.URI()
   log.G(ctx).WithFields(log.Fields{"id": id, "type": p.Type}).Info("loading plugin")
   var mustSucceed int32

   initContext := plugin.NewContext(
      ctx,
      initialized,
      map[string]string{
         plugins.PropertyRootDir:      filepath.Join(config.Root, id),
         plugins.PropertyStateDir:     filepath.Join(config.State, id),
         plugins.PropertyGRPCAddress:  config.GRPC.Address,
         plugins.PropertyTTRPCAddress: config.TTRPC.Address,
      },
   )
   initContext.RegisterReadiness = func() func() {
      atomic.StoreInt32(&mustSucceed, 1)
      return s.RegisterReadiness()
   }

   // load the plugin specific configuration if it is provided
   if p.Config != nil {
      pc, err := config.Decode(ctx, id, p.Config)
      if err != nil {
         return nil, err
      }
      initContext.Config = pc
   }
   result := p.Init(initContext)
   if err := initialized.Add(result); err != nil {
      return nil, fmt.Errorf("could not add plugin result to plugin set: %w", err)
   }

   instance, err := result.Instance()
   if err != nil {
      if plugin.IsSkipPlugin(err) {
         log.G(ctx).WithFields(log.Fields{"error": err, "id": id, "type": p.Type}).Info("skip loading plugin")
      } else {
         log.G(ctx).WithFields(log.Fields{"error": err, "id": id, "type": p.Type}).Warn("failed to load plugin")
      }
      if _, ok := required[id]; ok {
         return nil, fmt.Errorf("load required plugin %s: %w", id, err)
      }
      // If readiness was registered during initialization, the plugin cannot fail
      if atomic.LoadInt32(&mustSucceed) != 0 {
         return nil, fmt.Errorf("plugin failed after registering readiness %s: %w", id, err)
      }
      continue
   }

   delete(required, id)
   // check for grpc services that should be registered with the server
   if src, ok := instance.(grpcService); ok {
      grpcServices = append(grpcServices, src)
   }
   if src, ok := instance.(ttrpcService); ok {
      ttrpcServices = append(ttrpcServices, src)
   }
   if service, ok := instance.(tcpService); ok {
      tcpServices = append(tcpServices, service)
   }

   s.plugins = append(s.plugins, result)
}
if len(required) != 0 {
   var missing []string
   for id := range required {
      missing = append(missing, id)
   }
   return nil, fmt.Errorf("required plugin %s not included", missing)
}

// register services after all plugins have been initialized
for _, service := range grpcServices {
   if err := service.Register(grpcServer); err != nil {
      return nil, err
   }
}

第一行loaded表示所以加载后的插件，在29行初始化插件，第34行得到cotnent.store接口的实例，第54行把实例放到缓存grpcservices中，
最后在第75行中调用contentserver的register函数。
上面主要是grpc server端的服务逻辑。客户端的使用逻辑可以在
core/content/proxy/content_store.go文件中找到，看info函数代码：

func (pcs *proxyContentStore) Info(ctx context.Context, dgst digest.Digest) (content.Info, error) {
   resp, err := pcs.client.Info(ctx, &contentapi.InfoRequest{
      Digest: dgst.String(),
   })
   if err != nil {
      return content.Info{}, errdefs.FromGRPC(err)
   }

   return infoFromGRPC(resp.Info), nil
}

在第2行中调用grpc client代理的info方法向服务器发送请求。

项目中调用的地方不止一处。由下图可见在ctr客户端的cmd/ctr/commands/content/content.go文件中也有使用

image.png

// Nothing updated, do no clear
if len(paths) == 0 {
   info, err = cs.Info(ctx, info.Digest)
} else {
   info, err = cs.Update(ctx, info, paths...)
}

如第3行的info和第5行的update均是grpc通信示例。
至此从迷宫一样的代码中梳理出了一个骨架结构，是否可以学到一些设计思想呢？snapshot、diff、sandbox模块的逻辑类似content，具体的细节功能不再展开，后面将就容器的创建流程在对代码进行梳理。不对的地方，请不吝批评指正！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1540271.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

程序设计语言+嵌入式系统设计师备考笔记

程序设计语言+嵌入式系统设计师备考笔记

0、前言 本专栏为个人备考软考嵌入式系统设计师的复习笔记，未经本人许可，请勿转载，如发现本笔记内容的错误还望各位不吝赐教（笔记内容可能有误怕产生错误引导）。 1、嵌入式系统开发与设计 1.1嵌入式应用程序的生成与加…
阅读更多...
在线获取文本列表并集计算器

在线获取文本列表并集计算器

具体请前往：在线文本并集计算工具
阅读更多...
rabbitmq 3.9.29 docker mac 管理员页面无法打开

rabbitmq 3.9.29 docker mac 管理员页面无法打开

SyntaxError: Unexpected token ‘catch’ SyntaxError: Unexpected token ‘catch’ at EJS.Compiler.compile (http://127.0.0.1:15672/js/ejs-1.0.min.js:1:6659) at new EJS (http://127.0.0.1:15672/js/ejs-1.0.min.js:1:1625) at format (http://127.0.0.1:15672/js/main…
阅读更多...
【Flask】Flask数据迁移操作

【Flask】Flask数据迁移操作

Flask数据迁移操作 前提条件 安装第三方包： # ORM pip install flask-sqlalchemy # 数据迁移 pip install flask-migrate # MySQL驱动 pip install pymysql # 安装失败，指定如下镜像源即可 # pip install flask-sqlalchemy https://pypi.tuna.tsinghu…
阅读更多...
【Docker】golang操作容器使用rename动态更新容器的名字

【Docker】golang操作容器使用rename动态更新容器的名字

【Docker】golang操作容器使用rename动态更新容器的名字 大家好 我是寸铁👊 总结了一篇golang操作容器使用rename动态更新容器的名字✨ 喜欢的小伙伴可以点点关注 💝 前言 今天遇到一个新的需求，要动态改变运行中的容器名字。 可以考虑先把…
阅读更多...
鸿蒙实战开发-如何通过拖动滑块调节应用内字体大小

鸿蒙实战开发-如何通过拖动滑块调节应用内字体大小

介绍 本篇Codelab将介绍如何使用基础组件Slider，通过拖动滑块调节应用内字体大小。要求完成以下功能： 实现两个页面的UX：主页面和字体大小调节页面。拖动滑块改变字体大小系数，列表页和调节页面字体大小同步变化。往右拖动滑块字…
阅读更多...
Redis 教程系列之Redis 安装(二)

Redis 教程系列之Redis 安装(二)

Windows 下安装 下载地址：Releases tporadowski/redis GitHub。 Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘，解压后，将文件夹重新命名为 redis。 打开文件夹，内容如下： 打开一个 cmd 窗口 使用 c…
阅读更多...
更改Ubuntu桌面环境

更改Ubuntu桌面环境

功能异常 1： Ubuntu 22.04 将桌面 .desktop文件，用鼠标拖动到左侧的收藏夹菜单栏：无法实现，且会造成原来的 .desktop文件异常失效。 在多桌面环境下，切换到 KDE桌面，桌面 .desktop文件则是正常 OK的。 都 …
阅读更多...
使用 PyOpenGL 进行 2D 图形渲染总结

使用 PyOpenGL 进行 2D 图形渲染总结

一、说明 OpenGL是一个广泛使用的开放式跨平台实时 3D 图形库，开发于二十多年前。它提供了一个低级API，允许开发人员以统一的方式访问图形硬件。在开发需要硬件加速且需要在不同平台上运行的复杂 2D 或 3D 应用程序时，它是首选平台。它可以在…
阅读更多...
CSS3 中的盒模型：标准与IE盒模型的差异

CSS3 中的盒模型：标准与IE盒模型的差异

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…
阅读更多...
pytest之统一接口请求封装

pytest之统一接口请求封装

pytest之统一接口请求封装 pytest的requests_util.pyrequests_util.py 接口自动化测试框架的封装yaml文件如何实现接口关联封装yaml文件如何实现动态参数的处理yaml文件如何实现文件上传有参数化时候，怎么实现断言yaml的数据量大怎么处理接口自动化框架的扩展&#…
阅读更多...
谷歌seo营销服务有哪些服务？

谷歌seo营销服务有哪些服务？

以我们举例，如果你在做B2B外贸建站，这里有全套保姆式托管服务，让你既省心又省力，七天就能搞定网站建设，快速上线，再来就是谷歌白帽SEO，我们这边强调的是纯白帽操作，专注于高质量的原…
阅读更多...
linux源配置：ubuntu、centos；lspci与lsmod命令区别

linux源配置：ubuntu、centos；lspci与lsmod命令区别

1、ubuntu源配置 1）先查电脑版本型号: lsb_release -c2）再编辑源更新，源要与上面型号对应 参考：https://midoq.github.io/2022/05/30/Ubuntu20-04%E6%9B%B4%E6%8D%A2%E5%9B%BD%E5%86%85%E9%95%9C%E5%83%8F%E6%BA%90/ /etc/apt/…
阅读更多...
基于springboot+vue的旅游网站

基于springboot+vue的旅游网站

博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战，欢迎高校老师\讲师\同行交流合作 ​主要内容：毕业设计(Javaweb项目|小程序|Pyt…
阅读更多...
CICD流水线(ali)

CICD流水线(ali)

后端CICD 一、打开云效流水线，创建流水线
阅读更多...
全球大型语言模型(LLMS)现状与比较

全球大型语言模型(LLMS)现状与比较

我用上个博文的工具将一篇ppt转换成了图片，现分享给各位看官。 第一部分：国外大语言模型介绍 1，openai的Chatgpt 免费使用方法1：choose-carhttps://share.freegpts.org/list 免费使用方法2：Shared Chathttps://share…
阅读更多...
Collection与数据结构 数据结构预备知识(二):包装类与泛型

Collection与数据结构 数据结构预备知识(二):包装类与泛型

1.包装类 在Java中,由于基本类型不是继承自Object,为了在泛型代码中可以支持基本类型,Java给每个基本类型都对应了一个包装类.可以把包装类理解为基本数据类型所对应的引用数据类型. 1.1基本数据类型与对应的包装类 基本数据类型包装类byteByteshortShortintIntegerlongLong…
阅读更多...
AJAX-综合

AJAX-综合

文章目录 同步代码和异步代码回调函数地狱解决回调函数地狱Promise-链式调用async函数和awaitasync函数和await-捕获错误 事件循环宏任务与微任务Promise.all静态方法 同步代码和异步代码 同步代码：逐步执行，需原地等待结果后，才继续向下执行…
阅读更多...
LLM漫谈（五）| 从q star视角解密OpenAI 2027年实现AGI计划

LLM漫谈（五）| 从q star视角解密OpenAI 2027年实现AGI计划

最近，网上疯传OpenAI2027年关于AGI的计划。在本文，我们将针对部分细节以第一人称进行分享。​ 摘要：OpenAI于2022年8月开始训练一个125万亿参数的多模态模型。第一个阶段是Arrakis，也叫Q*，该模型于2023年12月完成训练&…
阅读更多...
微软Microsoft Surface Go 2

微软Microsoft Surface Go 2

1个小玩具 Microsoft Surface Go 2的评测结果出炉！它是目前最好的中端Windows 二合一笔记本平板。 外形简洁小巧，工作娱乐两不误。 它有多个版本。 我们测试的是配备8GB Ram和128GB SSD的Pentium 4425Y处理器（第8代）的型号。 S…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023