Elasticsearch基础（一）：阿里云Elasticsearch简介

文章目录

阿里云Elasticsearch简介

一、什么是阿里云Elasticsearch

1、开源Elasticsearch

2、阿里云Elasticsearch

3、阿里云Elasticsearch介绍

4、总结

二、阿里云Elasticsearch组件

1、X-Pack（商业版扩展包）

2、 Beats（数据采集中心）

3、Logstash（数据处理管道）

4、 Kibana（数据分析和可视化工具）

三、阿里云Elasticsearch相关服务

1、AliES内核引擎及插件

2、智能运维系统Eyou

3、高级监控报警服务

四、应用场景

1、日志分析

2、信息检索

3、数据智能

阿里云Elasticsearch简介

一、什么是阿里云Elasticsearch

1、开源Elasticsearch

开源Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。作为一款基于RESTful API的分布式服务，Elasticsearch可以快速地、近乎于准实时地存储、查询和分析超大数据集，通常被用来作为构建复杂查询特性和需求强大应用的基础引擎或技术。

2、阿里云Elasticsearch

阿里云Elasticsearch是基于开源Elasticsearch构建的全托管Elasticsearch云服务，在100%兼容开源功能的同时，支持开箱即用、按需付费。不仅提供云上开箱即用的Elasticsearch、Logstash、Kibana、Beats在内的Elastic Stack生态组件，还与Elastic官方合作提供免费X-Pack（白金版高级特性）商业插件，集成了安全、SQL、机器学习、告警、监控等高级特性，被广泛应用于实时日志分析处理、信息检索、以及数据的多维查询和统计分析等场景。

3、阿里云Elasticsearch介绍

阿里云Elasticsearch致力于打造基于开源生态的、低成本、场景化的云上Elasticsearch解决方案，源于开源，又不止于开源。
用户可以基于阿里云Elasticsearch强大的分析检索能力，以及高安全、高性能、高可用的服务，简化集群部署管理工作、降低集群资源与运维成本、提升数据安全可靠性、打通上下游数据链路、优化读写性能效果等。
基于云上超强的计算和存储能力，以及在集群安全和运维领域积累的技术经验，阿里云Elasticsearch不仅支持集群一键部署、弹性伸缩、智能运维和各类内核引擎优化，还提供了迁移、容灾、备份和监控等全套解决方案。
基于这些优化，用户可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用，聚焦于业务应用本身，实现业务价值。

4、总结

阿里云Elasticsearch是基于开源Elasticsearch的一款云服务平台。
阿里云Elasticsearch开箱即用，按需收费，提供各种生态组件，并做了很多优化,功能非常强大。
用户可以基于阿里云Elasticsearch日志分析、异常监控、企业搜索和大数据分析等各业务应用。

二、阿里云Elasticsearch组件

在阿里云Elastic Stack产品生态下，Elasticsearch作为实时分布式搜索和分析引擎，Kibana实现灵活的可视化分析，Beats从各个机器和系统采集数据，Logstash采集、转换、优化和输出数据。通过各个组件的结合，阿里云Elasticsearch可被广泛应用于实时日志处理、全文搜索和数据分析等领域。

1、X-Pack（商业版扩展包）

X-Pack是Elasticsearch的一个商业版扩展包，包含安全Security、警告 Alerting、监控Monitoring、图形Graph和报告Reporting、机器学习 MachineLearning 等多种高级功能。
创建阿里云Elasticsearch集群时，系统会默认将X-Pack作为插件集成在Kibana中，免费提供授权认证、角色权限管控、实时监控、可视化报表、机器学习等能力，实现更便捷的Elasticsearch运维管理和应用开发。

2、 Beats（数据采集中心）

Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。
阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和Heartbeat。支持在云服务器ECS和容器服务ACK集群中一键部署采集器，可视化采集与配置日志文件、网络数据、容器指标等多种类型数据，并集中管理多个采集器。

3、Logstash（数据处理管道）

Logstash作为服务器端的数据处理管道，通过输入、过滤和输出插件，动态地从多个来源采集数据，并加工和转换任何类型的事件，最终将数据存储到所选择的位置。
阿里云提供全托管的Logstash Service，100%兼容开源。支持一键部署、可视化配置和集中管理数据管道，提供多种插件实现与OSS、MaxCompute等云产品的连通。

4、 Kibana（数据分析和可视化工具）

Kibana是灵活的数据分析和可视化工具，支持多用户登录。在Kibana中，用户可以搜索和查看Elasticsearch索引中的数据，并进行交互。
创建阿里云Elasticsearch集群时，系统会自动部署独立的Kibana节点，用户可以根据业务需求，灵活使用图表、表格、地图等，呈现多元化的数据分析报表和大盘。

三、阿里云Elasticsearch相关服务

1、AliES内核引擎及插件

阿里云Elasticsearch在完全兼容开源Elasticsearch内核的所有特性基础上，在监控指标多样化、线程池、熔断策略优化、查询与写入性能优化等诸多方面，深度定制了AliES内核引擎。同时提供多种自研插件，提升集群稳定性、增强性能、优化成本并丰富监控运维功能。

2、智能运维系统Eyou

阿里云Elasticsearch的智能运维系统Eyou，提供集群、节点、索引等二十余个诊断项的健康检测功能。能够观测并记录集群的运行状况，自动归纳集群诊断结果。同时帮助用户探测集群潜在风险，在集群异常状态下，快速提供关键信息和合理的优化建议，让集群运维更便捷。

3、高级监控报警服务

高级监控报警服务是基于Elasticsearch开发的，具备采集、监控、报警、诊断、数据处理等多种能力的SAAS服务，为云上用户提供开箱即用的一站式监控报警解决方案。通过高级监控报警服务，用户可以灵活配置Grafana监控大屏、自定义报警规则并使用稳定可靠的报警服务。

四、应用场景

1、日志分析

在复杂业务场景下，海量服务器、物理机、Docker容器、移动设备和IoT传感器等设备中，往往存在着结构分散、种类多样、规模庞大的各类指标、日志和APM数据，对全链路的异常问题定位、业务分析与运维带来了巨大的挑战。用户往往很难从繁杂的日志中获取价值，却要承担其高昂的存储成本。

阿里云Elasticsearch能够通过Beats、Logstash等组件，快速对接各种常见数据源，提供弹性可扩展的集中采集和开箱即用的存储分析能力。
并借助Kibana仪表盘，高效地构建数据可视化运维看板，并在看板中灵活地配置主机名称、IP地址、部署情况、显示颜色等信息。
最终帮助用户在海量数据中快速定位和发现问题，提高解决问题的效率，从而让日志数据产生价值。

2、信息检索

每一个生活在移动互联网中的用户，每天都在查询各种各样的信息。例如查询信用卡账单、电子发票、附近的餐厅酒店、媒体咨询、购物订单、交通物流等。为了帮助用户高效获取信息，广大企业需要实现面向海量数据的信息检索服务。

相对于传统关系型数据库，Elasticsearch拥有强大的全文检索能力，并提供了简单易用的RESTful API 和各种语言客户端。
只需要几毫秒的时间，即可在PB级结构化和非结构化的数据中找到匹配信息。
用户可以使用阿里云Elasticsearch的高可用性和易用性，实现复杂组合、条件和模糊查询，轻松应对各类文本、数字、日期、IP地理数据，乃至图像、音视频数据的高性能读写。
从而快速搭建电商商品或订单检索、App搜索、企业CRM系统等检索服务，并整合到已有业务框架中。