前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除
学习B站博主教程笔记：
最新版适合自学的ElasticStack全套视频（Elk零基础入门到精通教程）Linux运维必备—ElasticSearch+Logstash+Kibana精讲_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1VMW3e6Ezk/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=e539f90574cdb0bc2bc30a8b5cb3fc00
一、ELFK实例
实例架构图如下：
完成以下内容: (1)收集nginx日志,写入ES集群,分片数量为3,副本数量为0,索引名称为"cluster-linux-nginx"; (2)收集tomcat日志,写入ES集群,分片数量为5,副本数量为0,索引名称为"cluster-linux-tomcat"; (3)收集app日志,写入ES集群,分片数量为10,副本数量为0,索引名称为"cluster-linux-app"; (4)分析出nginx,tomcat的客户端IP所属城市,访问时使用的设备类型等
（1）创建好索引模板：
cluster-linux-nginx模板：
cluster-linux-tomcat模板：
cluster-linux-app模板：
（2）收集nginx日志
many-to-logstash.yml
filebeat.inputs:
- type: log
paths:
- /var/log/nginx/access.log*
json.keys_under_root: true
output.logstash:
hosts: ["192.168.1.10:8888"]（3）收集tomcat日志
filebeat.inputs:
- type: log
paths:
- /root/software/apache-tomcat-10.1.28/logs/*.txt
json.keys_under_root: true
output.logstash:
hosts: ["192.168.1.10:7777"]（4）收集app日志
（5）logstash收集日志
beats-to-es.conf：
input {
beats {
type => "nginx"
port => 8888
}
beats {
type => "tomcat"
port => 7777
}
}
filter {
mutate {
remove_field => ["tags","log","agent","@version","input","ecs"]
}
if ["type"] == ["nginx"] {
geoip {
source => "clientip"
target => "cluster-linux-geoip"
}
useragent {
source => "http_user_agent"
target => "cluster-linux-useragent"
}
}
if ["type"] == ["tomcat"] {
geoip {
source => "clientip"
target => "cluster-linux-geoip"
}
useragent {
source => "AgentVersion"
target => "cluster-linux-useragent"
}
}
}
output {
stdout{}
if ["type"] == ["nginx"] {
elasticsearch {
hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]
index => "cluster-linux-nginx"
}
}
if ["type"] == ["nginx"] {
elasticsearch {
hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]
index => "cluster-linux-tomcat"
}
}
}二、kibana自定义dashboard实战案例
1.统计PV(指标)
Page View(简称:"PV")
页面访问或点击量。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)新建可视化
(4)基于聚合
(5)指标
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中选择:
聚合: 计数
定制标签: PV2.统计客户端IP(指标)
客户端IP:
通常指的是访问Web服务器的客户端IP地址，但要注意，客户端IP数量并不难代表UV。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)创建可视化
(4)基于聚合
(5)指标
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中选择:
聚合: 唯一计数
字段: clientip.keyword
定制标签: IP3.统计web下载带宽(指标)
带宽:
统计nginx返回给客户端文件大小的字段进行累计求和。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)创建可视化
(4)基于聚合
(5)指标
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中选择:
聚合: 求和
字段: SendBytes
定制标签: 带宽4.访问页面统计(水平条形图)
访问资源统计:
对URI的访问次数统计。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)创建可视化
(4)基于聚合
(5)水平条形图
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中设置(即Y轴)
聚合: 计数
定制标签: 访问量
(8)添加"存储痛"，选择"X"轴
聚合: 词
字段: uri.keyword
...
定制标签: URI5.分析客户端的城市分布(垂直条形图)
分析客户端的城市分布:
需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)创建可视化
(4)基于聚合
(5)垂直条形图
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中设置(即Y轴)
聚合: 计数
定制标签: 城市分布
(8)添加"存储痛"，选择"X"轴
聚合: 词
字段: oldboyedu-linux80-nginx.city_name.keyword
...
定制标签: 城市名称6.城市分布百分比(饼图)
分析客户端的城市分布:
需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)创建可视化
(4)基于聚合
(5)饼图
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中设置(即Y轴)
聚合: 计数
定制标签: 城市分布
(8)添加"存储痛"，选择"X"轴
聚合: 词
字段: oldboyedu-linux80-nginx.city_name.keyword
...
定制标签: 城市名称7.IP的TopN统计(仪表盘)
IP的TopN统计:
统计访问量的客户端IP最大的是谁。
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Visualize Library(可视化库);
(3)创建可视化
(4)基于聚合
(5)仪表盘
(6)选择索引模式(例如"oldboyedu-linux80-nginx*")
(7)指标栏中设置(即Y轴)
聚合: 计数
(8)添加"存储痛"，选择"X"轴
聚合: 词
字段: client.keyword
顺序: 降序
大小: 3
...8.自定义dashboard
kibana界面鼠标依次点击如下:
(1)菜单栏;
(2)Dashboard
(3)创建仪表盘
(4)从可视化库中添加即可。
