SEO外包平台,我们为您提供专业的企业网站SEO整站优化外包服务 SEO设置

SEO外包平台

专注于企业网站SEO整站优化外包服务

ELK-搭建实时日志ELK分析系统(2)-配置日志合并,@timestamp,根据不同beats来源建立不同索引

作者:jcmp      发布时间:2021-04-18      浏览量:0
本章设置环境基于上一张elk内容搭建,

本章设置环境基于上一张elk内容搭建, ELK-搭建实时日志ELK分析系统 ,这一章新增一些配置,以更合适的应用于实际日志场景。

一、filebeat配置

filebeat是按行读取数据发送给logstash的,所以索引到elasticsearch的日志都是一行一行的,这不利于查看,尤其是查看一些报错的堆栈信息时,希望能把这些信息合并为一条。 我的日志形式是以'['开头的,在filebeat.yml中增加配置,合并多行:

paths: - /home/appadmin/elk/logs/* #- c:\programdata\elasticsearch\logs\* multiline: pattern: '^\[' negate: true match: after。

现在所有的堆栈信息都合并到了一起。 filebeat每次读完数据都会记录一个偏移量,下一次会根据记录继续读取新的内容,如果更改配置后需要重新读取所有文件,先在elasticsearch中删除之前的索引,然后杀掉filebeat,删掉filebeat目录的data目录下的数据,再重启就可重新读取所有文件。

二、logstash配置

默认的索引到elasticsearch中的数据是按天来建立新索引的,每一天都会有一个新索引,这个时间是根据logstash中的@timestamp,这个字段默认是logstash接收到数据的时间,如果你的日志系统及时性很好的话也没什么大问题,但如果写入量太大造成堵塞,或者导入一些历史日志就会出现问题,因此最好是将@timestamp替换成日志记录的时间,更改logstash中启动加载的配置文件如下配置:

# 数据过滤filter { grok { match => { "message" => "%{TIMESTAMP_ISO8601:log_time}" } } geoip { source => "clientip" } date{ match => ["log_time", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"] target => "@timestamp" } mutate{ remove_field => ["log_time"] }}

TIMESTAMP_ISO8601 是日志文件中的时间日期格式,将日志中的时间提取到字段 log_time 中,然后传递给 @timestamp ,文件中 match => ["log_time", "yyyy-MM-dd HH:mm:ss,SSS", "ISO8601"] ,第一个是字段名,第二个是log_time的格式,第三个是要转换的@timestamp格式。@timestamp要转换成北京时间要+8h,在kibana中展示时,kibana已经默认加上了这个时间差。

- type: log # Change to true to enable this input configuration. enabled: false # Paths that should be crawled and fetched. Glob based paths. enabled: true paths: - /home/appadmin/elk/logs/* #- c:\programdata\elasticsearch\logs\* fields: log_ip: 10.1.12.18 log_source: 你的域名 fields_under_root: true multiline: pattern: '^\[' negate: true match: after。

注意:在编辑filebeat.yml时不要使用tab符,否则会报错。

# 输出到本机的 ESoutput { elasticsearch { hosts => [ "localhost:9201" ] index => "log-%{[log_source]}-%{+YYYY.MM.dd}" }}

在index中引用filebeat中的log_source建立不同的索引。