ELK搭建（五）：linux系统日志监控平台搭建-程序员秋天

0. 引言

现在的生产系统多使用linux系统，在实际生产过程中我们除了需要监控一些业务日志之外，有时也需要监控linux系统本身的日志，来帮助我们进行一些排错和判断。那么这一期，我们就针对linux系统日志监控平台的搭建来进行讲解

与往期一样，我们针对实际搭建教程更多是快速搭建为主，不做过多的原理性讲解，这一类讲解我们放到后期单独开几期博客来探讨。

1. 下载

首先针对elasticsearch,kibana的下载安装不再累述，还不知道的同学可以看看之前的博客。
ELK搭建（一）：实现分布式微服务日志监控

因为我的ELK环境是7.13.0的，所以我们需要下载对应版本的filebeat
filebeat官方下载地址

2. filebeat下载

filebeat是elastic官方提供的一个轻量级的日志采集器，根据名称也能知道，主要用于文件的数据采集。基于Golang开发，可以安装到想要日志的服务器或者主机上来定期读取对应的数据，并发送到elasticsearch或者logstash上，甚至数据量大时，我们还可以先输出到kafka、redis等中间件上。

根据官方文档的解释，filebeat 主要包含两个主要组件：input和harvesters。

harvester: harvester用于按行读取单个文件的内容。每个文件都会启动一个harvester，harvester负责打开和关闭文件。filebeat中还有一个Registrar组件用于记录文件的偏移量，即上一次读取的位置，下一次打开文件时会从Registrar读取偏移量然后继续读取数据
input：负责管理harvester并且找到所有符合读取条件的文件。如果输入类型为log，则input会在驱动器上找到与定义的路径符合的文件，并会给每个文件都启动一个harvester.

其次再配置Output组件将获取的数据进行输出。

filebeat中支持多种服务的数据采集，包括但不仅限于Mysql,MongoDB,Nginx,Redis,ActiveMQ,PostgreSQL,RabbitMQ,Tomcat等等。更多可查看官方文档

搭配上kibana提供的开箱即用的数据看板，可以快速搭建监控平台。

3. 安装

以下安装步骤也可以在kibana主页>添加数据>系统日志页面中看到

1、解压压缩包（这里以mac版本示例，实际操作时请根据需要下载对应系统及版本的filebeat）；

tar -zxvf filebeat-7.13.0-darwin-x86_64.tar.gz

2、修改filebeat.yml配置文件；

filebeat.config.modules:
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml
  #
  #Set to true to enable config reloading
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
 # 因为es是单节点，所以将副本分片设置为0.否则会报黄
  index.number_of_replicas: 0
output.elasticsearch:
  hosts: ["192.168.244.11:9200"]
  username: "elastic"
  password: "elastic"
setup.kibana:
  host: "192.168.244.11:5601"

3、启用system模块，如果已经启用过可以不用执行；

./filebeat modules enable system

4、修改systemmodule的配置文件；

vim modules.d/system.yml

修改内容，这里采用了默认配置，采集系统日志和权限日志

- module: system
  # Syslog
  syslog:
    enabled: true 
   # 日志路径，为空的话会根据操作系统自动设置
    #var.paths:

  # Authorization logs
  auth:
    enabled: true
   # 日志路径，为空的话会根据操作系统自动设置
    #var.paths:

5、加载kibana仪表盘，如果已经设置过了，就不用再设置；

./filebeat setup

6、启动filebeat（新开窗口执行以下指令）；

./filebeat -e

7、启动后，在kibana的系统日志页面中点击检查数据可以看看自己有没有创建成功出现以下提示说明成功；

8、点击系统Syslog仪表盘跳转系统日志仪表盘页面；

输入查询日期范围，然后就可以看到我们的系统日志数据就可视化的呈现在kibana的数据看板中了

本期的系统日志监控平台搭建就到这里了，其实到现在为止，我们也讲了三期的利用kibana开箱即用的数据看板来搭建我们的监控平台。相信大家对此也有了一定的了解了。

其实大家可以将kibana提供这些开箱即用的数据看板利用起来，快捷的搭建自己想要的监控看板

ELK搭建（五）：linux系统日志监控平台搭建

0. 引言

1. 下载

2. filebeat下载

3. 安装

关注公众号，了解更多新鲜内容