【ELK】初始阶段

news2025/4/21 3:00:02

一、logstash学习

安装的时候最好不要有中文的安装路径

使用相对路径
在 Windows PowerShell 中，如果 logstash 可执行文件位于当前目录下，你需要使用相对路径来运行它。尝试输入以下命令：

.\logstash -e ‘input { stdin { } } output { stdout {} }’

正确启动后效果
在这里插入图片描述
2. 配置好自己的文件，把config 里面的 logstash-sample.conf 复制到bin里面修改成 config.conf
3. 使用maven的要去该路径下找 mysql-connector-java

使用 Maven 下载 MySQL Connector/J 驱动

在 pom.xml 文件中添加 MySQL 依赖项：

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.33</version> <!-- 可以根据需要选择合适的版本 -->
</dependency>

构建项目：
- 运行 mvn install，Maven 会自动下载 mysql-connector-java 依赖，并将其添加到项目的 target 或 lib 目录下，具体取决于你的项目结构。
找到 JAR 文件：
- 下载后，MySQL Connector/J 的 JAR 文件通常会位于你的本地 Maven 仓库路径中，路径格式为：~/.m2/repository/mysql/mysql-connector-java/8.0.33/mysql-connector-java-8.0.33.jar。
配置 Logstash：
- 在 Logstash 的 conf 文件中，jdbc_driver_library 可以指向本地 Maven 仓库中生成的 JAR 文件。例如：
```
jdbc_driver_library => "~/.m2/repository/mysql/mysql-connector-java/8.0.33/mysql-connector-java-8.0.33.jar"
```

最后执行配置，就可以成功启动！！！

接着要将 Kibana 与 Elasticsearch 和 Logstash 配合使用，以查看 MySQL 数据的同步结果，可以按照以下步骤进行配置和访问：

环境准备

确保你已经安装了以下软件：

Kibana：用于可视化 Elasticsearch 中的数据。

步骤一：启动 Kibana

进入 Kibana 安装目录的 bin 目录。
运行 kibana.bat（Windows）或 ./kibana（Linux/Mac）来启动 Kibana。
打开浏览器，访问 http://localhost:5601，确保 Kibana 正常运行。

步骤二：配置 Kibana

连接 Elasticsearch：
- 在 Kibana 中，默认情况下，它会连接到 http://localhost:9200。确保你的 Elasticsearch 实例在这个地址上运行。
创建索引模式：
- 在 Kibana 页面左侧菜单中，点击 “Management”（管理）。
- 在 “Index Patterns”（索引模式）下，点击 “Create index pattern”（创建索引模式）。
- 输入你在 Logstash 配置中定义的索引名称，例如 mysql-data-*，然后点击 “Next step”（下一步）。
- 选择时间字段（如果你使用了时间戳，通常是 @timestamp），然后点击 “Create index pattern”（创建索引模式）。

步骤三：查看数据

使用 Discover 功能：
- 在左侧菜单中，点击 “Discover”（发现）。
- 在搜索框中，你可以输入查询条件，以过滤和查看数据。
- 可以选择时间范围，以查看特定时间段内的数据。
可视化数据：
- 在左侧菜单中，点击 “Visualize”（可视化）。
- 点击 “Create visualization”（创建可视化），选择所需的图表类型（如条形图、饼图、折线图等）。
- 选择刚刚创建的索引模式，设置图表的字段和聚合方式。
创建仪表板：
- 在左侧菜单中，点击 “Dashboard”（仪表板）。
- 点击 “Create new dashboard”（创建新仪表板），然后将之前创建的可视化添加到仪表板中，以便于整体查看数据。