TKE 注册节点，IDC 轻量云原生上云的最佳路径

林顺利，腾讯云原生产品经理，负责分布式云产品迭代和注册节点客户扩展，专注于云原生混合云新形态的推广实践。

背景

企业在持续业务运维过程中，感受到腾讯云 TKE 带来的便捷性和极致的使用体验，将新业务的发布以及老业务都迁移到云上 TKE 来实现。但很多企业数据中心建设较为早期，选型上采取了自建 IDC 机房的方案，长久以来的 IDC 运营维护和企业上云的诉求产生了冲突和矛盾

1、资源难利旧/利用率低

业务大部分在云上运行，存量的 IDC 主机难以利旧；
云下资源业务利用率低（主要是 CPU 资源），平均不超过20%，资源浪费严重；
对于 GPU 只能实现整卡利用，多数业务运行达不到单卡门槛时产生了 gpu 资源浪费；

2、运维成本高

自建 Kubernetes 带来了运维的部署交付和维护成本；
Kubernetes 的升级维护、组件（如 kubelet）的升级维护带来了运维的持续运营成本；
自建集群出现问题时，尤其是系统组件问题场景下，故障定位难，修复成本高；
基于自建集群，实现运维的监控需求，要求运维进一步自建监控系统、日志系统，增加了运维复杂度；

3、难以统一调度

云上已经使用容器服务，云下有物理机，难以打通云上云下资源，实现统一调度和管理；
云上和云下资源分布在不同的地域，难以将不同地域的资源放在一个集群中统一管理；

云上和云下的统一纳管

如何解决企业 IDC 和上云的冲突问题？这似乎在过去已经有了答案 - 混合云部署。但是当下，我们面临的是云原生的新场景而非单纯的上云，因此，我们基于传统混合云的解决方案进一步深入思考，首创出 IDC 轻量级云原生解决方案 - 注册节点 ：IDC 节点和 TKE 打通，云上作为管控面来提供管理、调度、监控能力，云下 IDC 作为支撑面来实际承载业务运行。在满足企业资源利旧、托管运维、混合部署/调度等云化场景的同时，将云上关于降本增效的核心特性下沉到 IDC 节点实现无缝集成，进一步促进了 IDC 节点资源的有效、高效利用。

TKE 注册节点的核心特性

成本洞察：可视化监控各种类型工作负载下各项维度指标的使用情况，帮助用户发现资源浪费；
Crane：负载资源配额的智能推荐和节点上业务的专有调度，提高资源利用率；
qGPU：强隔离的 GPU 虚拟化技术，业务分配 GPU 不是按整卡而是可按1/10卡做细粒度的分派，减少 GPU 资源浪费；

注册节点已经支持腾讯上万台 IDC 节点，CPU 累计超过500w核，成为 IDC 节点轻量上云新范式。在上云同时，平台侧借助云原生资产大盘的资源监控和 crane 的专有调度能力，提升了 IDC 节点的资源利用率，节点资源平均水位值由 15% 迁越至 50%。

注册节点，IDC 轻量级云原生最佳路径

TKE 注册节点是针对混合云部署场景，全新升级的节点产品形态，解决了企业在 IDC 运维过程中面临的各类问题：

资源利旧和利用率提升

充分利用 IDC 资源，并通过 Request 推荐、动态调度、节点超卖等能力进一步提升 IDC 资源的利用率。同时针对于 GPU 资源使用，提供厘核级算力隔离与多优先级混部。
节点托管运维

免去在本地搭建、运维 k8s 集群的成本，无缝集成腾讯云云原生相关服务，涵盖日志、监控、审计、存储、容器安全等能力，用户仅需要运维本地服务器即可，并提供节点声明式运维的能力，支持节点快速升级及回滚。
云上云下统一调度

支持在单集群内同时调度本地节点与云上 CVM 节点，便于将云下业务拓展至云上，同时无需引入多集群管理。

注册节点产品能力

云上能力赋能云下

可视化资源监控：通过 CPU/内存利用率、节点装箱率等指标直观展示成本消耗和资源浪费现状；
业务配额智能推荐：根据业务 Pod 的历史水位，帮助用户推荐、配置合理的 request；
GPU 共享有效利用：提供了 qGPU 能力，qGPU 是内核级别 GPU 虚拟化技术，实现 GPU 共享和强 QoS 隔离，性能几乎零损耗；
动态调度、重调度：提供目标利用率配置能力，基于真实利用率调度，保持节点在安全水位；

IDC 资源利旧和托管免运维

IDC 注册节点托管至云上，作为 TKE 的worker节点承载业务，天然实现了资源利旧；控制面在云上 TKE，集群组件的运维、升级、持续运营都由 TKE 自动化实现。

提升 IDC 节点利用率

基于 Crane 的专有调度器提供了节点超卖的能力，用户可以自主配置节点的放大系数，业务动态调度至放大节点上，提升了节点的装箱率并进一步提升了节点的利用率。

统一纳管云上和云下节点

云上节点和注册节点通过不同的节点池来进行管理，业务资源调度时可指定节点池和节点类型，可以实现云上云下相互弹性。

注册节点使用场景

企业 IDC 资源利旧

企业 IDC 中存在各类急需有效利旧的服务器节点，包括闲置节点、老旧节点、退保节点等，这些节点面临诸多问题：

机器是异构的，难以统一满足业务的诉求；
老旧机器的运维复杂，难度高；
IDC 节点资源利用率低，浪费严重；
本地私有容器化建设和维护成本高；

通过注册节点的方案，企业在极短时间内就能够完成 IDC 节点接入 TKE 的动作（单节点10min内接入），使用 TKE 服务。并且，进一步

复用 TKE 云上能力，包括监控，日志，安全等；
提升了资源利用率：复用云上节点利用率提升方案，最高可提升5倍；
方便升级运维：云上集群自动升级，节点可设置升级窗口升级；

GPU 细粒度分配

当用户业务 pod 需要使用 GPU 资源且使用量较低甚至不满1卡时，如果采用 Kubernetes 原生的GPU 配额机制会造成资源浪费。

注册节点无缝集成了腾讯云 qGPU 技术，支持在多个容器间共享 GPU 卡并提供容器间显存与算力强隔离的能力，从而在更小粒度使用 GPU 卡的基础上，保证业务安全，达到提高 GPU 使用率、降低用户成本的目的。依赖底层强大的 qGPU 隔离技术，可做到 GPU 显存和算力的强隔离，共享使用 GPU 的同时，保证业务性能与资源不受干扰。