老杨说运维 | 运维大数据价值探索

news2024/11/17 3:44:43

文末附有视频

伴随第六届双态IT乌镇用户大会的圆满完成，擎创科技“一体化数智管理和大模型应用”主题研讨会也正式落下了帷幕。

云原生转型正成为很多行业未来发展战略，伴随国家对信创数字化要求的深入推进，面对敏稳共存这一近年出现的新难题，企业IT运维的建设升级迎来了更为综合性的挑战。

运维大数据具有其独特的特征，那么该在什么场景下使用才有效？如何更好的利用这些数据？

擎创科技CTO 葛晓波

一、运维数据四大特征

运维数据对于企业而言，是亟待深入挖掘的宝藏财富。擎创科技基于七年的研究探索和实践经验，为运维数据总结了四大特征，或许能够帮助客户更好的理解运维数据和使用运维数据。

1.来源众多，数据量巨大

在数字化技术飞速发展的当下运维能力日新月异，加之运维工具如雨后春笋，使得运维数据的来源和体量都有一定程度的激增。这些数据可能来自各地的监控工具，或者各类应用组件的日志数据，亦或网络设备的日志配置数据，以及流程管理数据等等。

2.数据类型多样

很多企业在建设工具的时候，并没有做好数据拉通的工作，这是因为工具的采用并不是被事先全局规划好的。越多的工具，就带来越多的数据类型，以日志数据为例，有文本格式的、有KV格式的。再看一些结构化的数据，有表单、有报文等格式。很多数据的格式，是无法由人来识别读取的，十分需要自动化手段来分析。

3.信息密度低，处理存储有代价

大多数情况下，企业收上来的原始数据的信息密度很低，尤其是当企业的应用场景不够明确的情况下，没有目标就不知道该存储哪些有效数据，就无法对大量数据进行有效清洗、提取等，只能照单全收的存储，导致数据的信息价值被浪费，存储成本激增。

4.分析价值大

尽管运维数据信息密度低，但分析价值很大，尤其是在关联分析这一消费场景中。比如，在上收运维数据之后，把其中监控的对象梳理出来，将其与CMDB进行关联对比，如果发现采集上来的监控对象只占CMDB的50%，那就说明监控的缺失是十分严重的，应该及时进行完善。

二、运维业务如何进行系统更新

当下很多客户都在进行业务系统的更新，就如同运维左移一样，对于运维数据而言，在工具场景建设之前最好是把数据的采集清洗、治理规则、存储规则等，都按照业务的需求进行统筹设计，以此来提升数据的有效性，为后续的数据加工、分析降低成本提高效能。

做好数据采集与处理速度

在逐渐开源化的当下，各大监控工具的运维数据采集变得轻松了。面对巨量的运维数据，除了有好的应接尽接手段外，数据的快速处理也尤为重要。擎创运维数据中台，能够依托数据规范、数据质量通过多种处理手段（结构化解析、聚合清洗、流批处理等等），来支撑来源各异的海量原始数据的采集，实现以灵活高效的处理能力来提炼、加工这些数据，使用户能够得到开箱即用的数据信息。