elk日志分析系统:
elk是一套完整的日志集中处理方案，由三个开源的软件简称组成；
E:Easticsearch 简称ES是一个开源的，分布式的存储检索引擎，（索引型的非关系数据库）存储日志
由java代码开发的，基于Lucene结构开发的一套全文检索引擎，他也拥有一个web接口
用户可以通过浏览器的形式和ES组件进行通信
作用；存储，允许全文搜索，也可以结构化搜索（也可以根据索引点来进行搜索），索引点可以支持大容量的日志数据，也可以搜索不同类型的文档。
k：kiabana图形化界面，可以更好的分析存储在ES上的日志数据，提供了一个图形化的界面，来浏览ES上的日志数据。汇总分析，搜索。
l：Logstash 数据收集引擎。可以支持动态的（实时）从各种服务应用收集日志资源，还可以对收集到日志数据进行过滤，分析，丰富收集的到日志数据，统一格式。然后把数据同步到es存储引擎。
RUBY语言编写的，运行在java虚拟机上的一个强大的数据处理工具，数据传输，格式化输出，格式化处理，主要用来处理日志
数据收集工具：
filebeat：轻量级的开源的，日志收集工具，收集的速度比较快，但是没有数据分析和过滤的能力，一般是结合logstash一块使用
kafka
RabbitMQ 中间件消息队列
\
总结：elk作用当我们管理一个大集群式，需要分析和定位的日志就会很多，每一台服务器分别去分析，将会耗时耗力
所以我们应运而生了一个集中的统一的日志管理和分析系统，极大的挺高了定位问题的效率
1、收集，可以收集基本上市面上常用的软件日志
2、传输：收集到的日志需要发送到es上
3、存储：es负责存储数据、
4、ui：图形化界面（kiabana）
需要3台服务器
需要两台
es1：
es2 ：
logstash，kiabana（4核,8g）
vim /etc/security/limits.conf
*soft nofile 65536
*hard nofile 65536
*soft nproc 32000
*hard nproc 32000
*soft memlock unlimited
*hard memlock unlimited
vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
一个用户会话的默认最大文件描述符的限制量
文件描述符：用于标识打开文件或者i/o资源限制的整数。
DefaultLimitNPROC=32000
一个用户可以打开的最大进程数量的限制32000，一个用户终端可以运行多少个进程
DefaultLimitMEMLOCK=infinity
一个用户的终端默认锁定内存的限制，不限制
内核优化
ES是基于lucene架构，实现的一款索引型数据库，lucene可以利用操作系统的内存来缓存ES的索引数据。
提供个更快的查询速度，在工作中我们会把系统的一半内存留给lucene
机器内存小于64G，50%给es，50%给操作系统，供lucene使用
机器内存大于64G，ES分配4-32G即可，其他的都给操作系统，供lucene
vm.max_map_count=262144
一个进程可以拥有的最大内存映射区的参数。
内存映射：将文件或者其他设备映射进程地址空间的方法。允许进程直接读取或写入文件，无需 常规的I/O方式。
映射空间越大，ES和lucene的速度越快
2g/262144
4g/4194304
8g/8388608
systemctl enable
netstat -antp | grep 9200
http://192.168.233.12:9200/_cluster/health?pretty
查询健康状态
yum install gcc gcc-c++ make -y
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure
make -j 2 && make install
http.cors.enabled: true
开启隽语访问支持
http.cors.allow-origin: "*"
开启跨域访问之后，允许访问的域名的地址*:所有
npm run start &
9100是可视化工具的访问端口 9200还是es数据库的访问端口
logstash的命令常用选项
-f 指定配置文件，根据配置文件识别输入和输出流
-e；一般用于测试，从命令行当中获取输入，然后传送到，经过logstash加工之后形成一个标准输出
-t：检测配置文件是否正确，然后退出。
所有的键盘输出命令行输出，转化成标准输出（rubydebug的模式），6.0之后，logstash的默认输出格式就啊是rubydebug格式的标准输出
logstash -e 'input { stdin{} } output { stdout{} }'
logstash -e 'input' { stdin{} } output { elasticsearch { hosts=>["20.0.0.77:9200","20.0.0.121:9200"]}} --path.data /opt/test1
vim /etc/kibana/kibana.yml
touch /var/log/kibana.log
chowm kibana:kibana /var/log/kibana.log
systemctl restart kibana
cd /etc.logstash/conf.d
mkdir /opt/log
vim system.conf
input {
file{
path=>" /var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch{
hosts => ["20.0.0.77:9200","20.0.0.121"]
index =>"system-%{+YYYY.MM.dd}"
}
}
logstash -f system.conf --path.data /opt/test1
http的
vim /httpd.conf
input {
file{
path => " /etc/httpd/logs/access_log"
type =>"access"
start_postion =>"beginning"
file{
path => " /etc/httpd/logs/error_log"
type =>"error"
start_postion =>"beginning"
}
}
output {
if [type] == "access" {
elasticsearch{
hosts => ["20.0.0.77:9200","20.0.0.121:9200"]
index => "http_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch{
hosts => ["20.0.0.77:9200","20.0.0.121:9200"]
index => "http_error]-%{+YYYY.MM.dd}"
}
}
}
elk
es存储数据，索引型的数据库
logstatsh：收集日志，然后按照标准化格式发送给ES (RUBYDEBUG的格式)
k:可视化工具，更人性化的显示用户信息，方便用户检索查询
http的日志收集写一个nginx的logstash的配置文件。
要使用json格式
logstash -f nginx.conf --path.data /opt/test2 &
-f指定配置文件
