Es elasticsearch 十八 Logstash 数据抽取工具

news2024/11/28 14:17:47

基础

启动命令

简单配置文件控制台输入输出打印

input从log文件获取数据-如分布式日志收集

监听端口

filter过滤器 Grok 正则捕获

Output 输出到es

文件输入 es输出获取日志中字段 level

基础

从原数据获取数据发送到某地方

Input{} filter{} output{}

输入过滤输出

启动命令

D:\kf\ES-7.3.0\logstash-7.3.0\bin>logstash.bat -e 'input{stdin{}} output{stdout{}}'

 
>logstash.bat -f ../config/test1.conf

简单配置文件控制台输入输出打印

input{
	stdin{
	}
}

filter{
	
}

output{
	stdout{
		codec=>rubydebug
	}
}

input从log文件获取数据-如分布式日志收集

input{
	file{
		path=>["D:/export/log/automatic-inspection-system/automatic-inspection-system_detail.log"]
		start_position=>"beginning"
	}
}

filter{
	
}

output{
	stdout{
		codec=>rubydebug
	}
}

监听端口

input{
	tcp{
		port=>9090
	}
}

filter{
	
}

output{
	stdout{
		codec=>rubydebug
	}
}

filter过滤器 Grok 正则捕获

%{语法:语义}

input{
	file{
		path=>["D:/export/log/automatic-inspection-system/automatic-inspection-system_detail.log"]
		start_position=>"beginning"
	}
}

filter{
	grok{
		match=>["message","%{IPV4:ip}\ \[%{HTTPDATE:timestamp}\]"]
	}
 
}

output{
	stdout{
		codec=>rubydebug
	}
}

Output 输出到es

input{
	file{
		path=>["D:/export/log/automatic-inspection-system/automatic-inspection-system_detail.log"]
		start_position=>"beginning"
	}
}

filter{
	grok{
		match=>["message","%{IPV4:ip}\ \[%{HTTPDATE:timestamp}\] "]
	}
	date{
		match=>["timestamp","yyyy-MM-dd HH:mm:ss"]
	}
 
}

output{
	stdout{
		codec=>rubydebug
	}
	elasticsearch{
		hosts=>["127.0.0.1:9200"]
		index=>"logstash-%{+YYYY.MM.dd}"
	}
}

文件输入 es输出获取日志中字段 level

input{
	file{
		path=>["D:/export/log/automatic-inspection-system/automatic-inspection-system_detail.log"]
		start_position=>"beginning"
	}
}

filter{
        grok {
            match => {"message" => "%{LOGLEVEL:loglevel} "}
        }
       
}

output{
	stdout{
		codec=>rubydebug
	}
	elasticsearch{
		hosts=>["127.0.0.1:9200"]
		index=>"logstash-%{+YYYY.MM.dd}"
	}
}