对于科技领域，只有自己掌握核心关键技术，实现自主可控，才能摆脱越来越频繁的“卡脖子事件”，保证企业和国家信息安全。

俗话说“基础不牢，地动山摇“。大数据基础平台什么？是打地基的，是重中之重，地基扎得越深、打得越牢，上面的建筑才能越稳定。可以说，数字化转型的“万丈高楼”起于基础平台，具备自主可控的平台建设能力，是真正意义上一切的前提。

袋鼠云今年7月最新推出自研大数据基础平台EasyMR，该产品提供Hadoop、Hive、Spark、Trino、HBase、Kafka等组件的自动化安装、中心化管理与集群监控告警功能，完全兼容Apache开源生态，支持企业级安全管控，一键开启LDAP+Kerberos+Ranger认证权限体系，以及提供一站式运维管理平台。

结合袋鼠云在大数据领域多年的实践经验和沉淀积累，袋鼠云大数据基础平台EasyMR适配多种信创软硬件，可以更加自主化地帮助企业快速构建大数据平台，降低运维成本，极大提高集群管理效率。

一、EasyMR的系统架构

先来看看EasyMR的系统架构，由主体部分和监控告警组件共同构成：

file

EasyMR的主体部分由以下三部分构成：server端（matrix）、agent管控服务（easyagent-server）、agent管控客户端（sidecar）：

matrix

matrix主要用于用户前端交互，将用户期望对大数据集群的对应运维操作通过web UI的方式呈献给用户，也可以通过这种方式将用户的运维指令下发到Hadoop集群中，比如安装HDFS Namenode、启动HDFS Namenode、停止HDFS Namenode等等，从而完成用户与Hadoop集群的交互。

matrix一般不部署在大数据服务节点上，是作为管控服务单独部署。

easyagent-server

作为matrix与easyagent-sidecar之间的中间服务，easyagent-server向上作为http服务端提供给业务层matrix一些restful接口，向下作为rpc服务端提供给底层easyagent-sidecar一些rpc接口供远程调用，从而将业务层与底层服务成功解耦。

并且支持高可用分布式部署，当集群压力增加时可以增加节点部署，缓解集群压力。与matrix一样，easyagent-server一般不部署在大数据服务节点上，是作为管控服务单独部署。

easyagent-sidecar

easyagent-sidecar是由golang语言开发，负责执行easyagent-server下发的指令，进行大数据基础服务的安装、部署、启动、停止、配置下发等操作。同时还负责进行集群内主机和服务监控信息以及心跳状态监控上报，当matrix检测到sidecar未及时上报心跳数据时在页面会显示主机状态异常。

虽然sidecar是与大数据集群最近的一个组件，但是它不保存任何跟集群相关的内容，只负责执行easyagent-server下发的命令以及自身主机与服务的心跳与健康检查上报。easyagent-sidecar部署在大数据服务节点上。

file
easyagent-server/easyagent-sidecar架构图

除了上述三种基础组件之外，EasyMR作为一个完备的大数据基础平台，对于集群的监控告警也引入了一些开源组件（prometheus、grafana），并根据需求对其进行了相应的二次开发，同时EasyMR还自研了专用告警通道发送组件(dt-alert)：

prometheus

prometheus是由 SoundCloud 开源的监控告警解决方案，从 2012 年开始编写代码，2015 年在 GitHub 上开源，2016 年 Prometheus 成为继 Kubernetes 之后，CNCF （Cloud Native Computing Foundation）中的第二个项目成员，也是第二个正式毕业的项目，是新一代开源解决方案。

对于使用EasyMR接入过的主机以及使用EasyMR部署的大数据服务，我们会为其启动对应的prometheus exporter（如主机会使用node_exporter），prometheus会定期抓取主机与服务的监控数据并写入存储中，便于页面查询展示以及针对监控数据进行告警。

grafana

grafana是一个监控仪表系统，它是由 Grafana Labs 公司开源的系统监测 (System Monitoring) 工具。它可以极大地助力简化监控的复杂度，用户只需要提供需要监控的数据，它就可以帮助生成各种可视化仪表。同时它还有报警功能，可以在系统出现问题时做到及时通知。

EasyMR将开源版本的grafana进行了二次开发，做到无痕嵌入EasyMR UI中，大大丰富了监控图表的多样化展示。除此之外，对grafana的仪表盘配置告警规则后还可以对接自研的dt-alert组件进行告警发送。

file
DataNode监控大盘

dt-alert

dt-alert是袋鼠云自研的专用告警通道发送组件，原生支持邮件、短信、钉钉机器人、企业微信四种方式发送告警信息，同时也支持可扩展的自定义插件发送方式，用户可以根据我们设定的接口规范开发自定义插件发送告警信息到内部告警通道中。
file
添加告警通道

二、使用EasyMR部署Hadoop的操作原理

结合上述对EasyMR核心组件的描述，下文使用Hadoop集群的实例为大家说明，在使用EasyMR部署Hadoop时的底层操作原理：

Part.1

本地部署一套EasyMR服务，得到前端页面访问入口。

Part.2

通过前端页面进入主机接入页面进行主机接入操作，此时matrix会向easyagent-server发送请求在指定主机上安装easyagent-sidecar，easyagent-server会将安装脚本下发到对应主机，easyagent-sidecar安装完毕之后会通过回调的方式通知matrix，完成主机接入。

此外，EasyMR还会在主机上安装node_exporter，并将采集配置写入prometheus配置文件中，无需重启即可热加载配置进行主机监控数据采集。

Part.3

页面选中Hadoop产品包，根据提示进行前期配置触发部署操作，matrix也是通过easyagent-server向easyagent-sidecar发送下载安装包、解压安装、启动命令，启动完成之后easyagent-sidecar会定期对服务进行健康检查，并将结果通过easyagent-server上报到matrix。

与主机类似，EasyMR还会在主机上安装对应服务的prometheus exporter，并将采集配置写入prometheus配置文件中，无需重启即可热加载配置进行服务监控数据采集。

Part.4

进入仪表盘页面查看Hadoop服务的图表监控，此时查看的页面来自于iframe嵌入的grafana。

Part.5

对仪表盘进行监控告警配置并设置告警发送通道，那么当告警触发时（比如HDFS namenode full GC次数过大），grafana会调用dt-alert的接口将告警信息发送到用户指定的渠道。