部署ELK日志分析系统——超详细

news/2024/9/21 13:33:37

ELK日志分析系统

文章目录

  • ELK日志分析系统
    • 资源列表
    • 基础环境
    • 一、环境准备
    • 二、部署Elasticsearch软件
      • 2.1、安装Elasticsearch软件
      • 2.2、加载系统服务
      • 2.3、更改Elasticsearch主配置文件
      • 2.4、创建数据存放路径并授权
      • 2.5、启动Elasticsearch
      • 2.6、查看节点信息
    • 三、安装Elasticsearch-head插件
      • 3.1、编译安装node
      • 3.2、安装phantomjs
      • 3.3、安装Elasticsearch-head
      • 3.4、修改Elasticsearch主配置文件
      • 3.5、启动服务
      • 3.6、通过Elasticsearch-head查看Elasticsearch信息
      • 3.7、插入索引
    • 四、Logstash安装及使用方法
      • 4.1、在node1上安装Logstash
      • 4.2、测试Logstash
      • 4.3、Logstash配置文件
    • 五、安装Kibana
      • 5.1、在node1节点安装Kibana
      • 5.2、设置Kibana的主配置文件
      • 5.3、启动Kibana服务
      • 5.4、验证Kibana
    • 六、收集Apache日志
      • 6.1、安装httpd
      • 6.2、安装Apache节点Logstash
      • 6.3、编写Logstash配置文件

资源列表

操作系统配置主机名IP所需软件
CentOS 7.94C6Gnode1192.168.93.101Elasticsearch、Kibana
CentOS 7.94C6Gnode2192.168.93.102Elasticsearch
CentOS 7.92C2Gapache192.168.93.103Logstash

基础环境

  • 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
  • 关闭内核安全机制
setenforce 0
sed -i "s/^SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
  • 修改主机名
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname apache

一、环境准备

  • 在两个ELK节点上配置域名解析，通过本地/etc/hosts文件实现
# node1上的配置如下
[root@node1 ~]# cat >> /etc/hosts << EOF
192.168.93.101 node1
192.168.93.102 node2
192.168.93.103 apache
EOF


# node2上的配置如下
[root@node2 ~]# cat >> /etc/hosts << EOF
192.168.93.101 node1
192.168.93.102 node2
192.168.93.103 apache
EOF


# apache上的配置如下
[root@apache ~]# cat >> /etc/hosts << EOF
192.168.93.101 node1
192.168.93.102 node2
192.168.93.103 apache
EOF


# 执行以下命令查看node1、node2、apache主机上的Java环境
[root@node1 ~]# java -version
openjdk version "1.8.0_402"
OpenJDK Runtime Environment (build 1.8.0_402-b06)
OpenJDK 64-Bit Server VM (build 25.402-b06, mixed mode)

[root@node2 ~]# java -version
openjdk version "1.8.0_402"
OpenJDK Runtime Environment (build 1.8.0_402-b06)
OpenJDK 64-Bit Server VM (build 25.402-b06, mixed mode)

[root@apache ~]# java -version
openjdk version "1.8.0_412"
OpenJDK Runtime Environment (build 1.8.0_412-b08)
OpenJDK 64-Bit Server VM (build 25.412-b08, mixed mode)

二、部署Elasticsearch软件

  • 在node1和node2节点上都需要部署Elasticsearch软件，下面以node1节点为例进行讲解，node2节点的配置与node2节点相同

2.1、安装Elasticsearch软件

  • Elasticsearch软件可以通过RPM安装、YUM安装或者源码包安装。本次实验采用RPM进行安装
# 上传RPM软件包
[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm

2.2、加载系统服务

[root@node1 ~]# systemctl daemon-reload 
[root@node1 ~]# systemctl enable elasticsearch.service

2.3、更改Elasticsearch主配置文件

# 下面内容配置文件当中都有，只需要进行搜索进行相应的更改即可
[root@node1 ~]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml 
# 群集名字
cluster.name: my-elk-cluster
# 节点名字
node.name: node1
# 数据存放路径
path.data: /data/elk_data
# 日志存放路径
path.logs: /var/log/elasticsearch/
# 在启动的时候不锁定内存
bootstrap.memory_lock: false
# 提供服务绑定的IP地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
# 侦听端口为9200
http.port: 9200
# 群集发现通过单播实验
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

2.4、创建数据存放路径并授权

# node1节点操作
[root@node1 ~]# mkdir -p /data/elk_data
[root@node1 ~]# chown -R elasticsearch:elasticsearch /data/elk_data/


# node2节点操作
[root@node2 ~]# mkdir -p /data/elk_data
[root@node2 ~]# chown -R elasticsearch:elasticsearch /data/elk_data/

2.5、启动Elasticsearch

  • 启动之后监听端口，如果监听不到，就等待一会再进行监听
[root@node1 ~]# systemctl start elasticsearch.service 
[root@node1 ~]# netstat -anpt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      8496/java  



# curl访问
curl http://192.168.93.101:9200
curl -XGET 'http://192.168.93.101:9200/_cluster/health?pretty'

2.6、查看节点信息

  • 打开浏览器访问http://192.168.93.101:9200、http://192.168.93.102:9200，可以查看到节点node1、node2的信息
    在这里插入图片描述
    在这里插入图片描述

  • 通过在浏览器中输入http://192.168.93.101:9200/_cluster/health?pretty查看群集的健康情况，status值为green，表示节点健康运行
    在这里插入图片描述

  • 通过在浏览器中输入http://192.168.93.101:9200/_cluster/state?pretty查看群集的状态信息
    在这里插入图片描述

三、安装Elasticsearch-head插件

  • Elasticasearch在5.0版本后，Elasticsearch-head插件需要作为独立服务进行安装，需要npm命令。安装Elasticsearch-head需要提前安装node和phantomjs。其中，前者是一个基于Chrome V8引擎的JavaScript运行环境，而phantomjs是一个基于webkit的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于webkit浏览器做的事情，它都可以做到。

3.1、编译安装node

  • 编译安装node耗时较长，大约40分钟，根据机器的配置可能会所有不同，耐心等待即可
[root@node1 ~]# yum -y install gcc gcc-c++ make
[root@node1 ~]# tar -zxvf node-v8.2.1.tar.gz 
[root@node1 ~]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 ~]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# make && make install

3.2、安装phantomjs

[root@node1 ~]# yum -y install bzip2
[root@node1 ~]# tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin/

3.3、安装Elasticsearch-head

[root@node1 ~]# tar -zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
# 使用npm安装依赖包
[root@node1 elasticsearch-head]# npm install

3.4、修改Elasticsearch主配置文件

# 末尾添加即可
[root@node1 ~]# cat >> /etc/elasticsearch/elasticsearch.yml << EOF
# 开启跨域访问支持，默认为false
http.cors.enabled: true
# 跨域访问运行的域名地址
http.cors.allow-origin: "*"
EOF


# 重启服务
[root@node1 ~]# systemctl restart elasticsearch.service

3.5、启动服务

  • 必须在解压后的elasticsearch-head目录下启动服务，进行会读取该目录下的gruntfile.js文件，否则可能启动失败。elasticsearch-head监听的端口是9100，通过该端口是否监听来判断是否正常开启
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
# 后台启动服务，不然一旦关闭中断，服务也将随之关闭
[root@node1 elasticsearch-head]# npm run start &
[1] 54123
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
# 回车一下
[root@node1 elasticsearch-head]# 
[root@node1 elasticsearch-head]# netstat -anpt | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      54133/grunt   
[root@node1 elasticsearch-head]# netstat -anpt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      54421/java

3.6、通过Elasticsearch-head查看Elasticsearch信息

  • 通过浏览器访问http://192.168.93.101:9100地址并连接群集。可以看到群集很健康，健康值为green绿色。单击**“数据浏览”**，可以查看索引信息，此时索引为空
    在这里插入图片描述

在这里插入图片描述

3.7、插入索引

  • 通过命令插入一个测试索引，通过输出信息可以看到索引为index.demo，类型为test
[root@node1 ~]# curl -XPUT '192.168.93.101:9200/index.demo/test/1?pretty&pretty' -H 'Content-Type:application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index.demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

  • 刷新浏览器，可以看到创建成功的索引
    在这里插入图片描述

  • 选择**“概览”**选项卡，还可以看到索引默认被分片成5个，且存在一个副本
    在这里插入图片描述

四、Logstash安装及使用方法

  • Logstash一般部署在需要监控其日志的服务器。本案例中，Logstash部署在Apache服务器上，用于收集Apache服务器的日志信息并发送到Elasticsearch。在正式部署之前，现在node1上部署Logstash，以熟悉Logstash的使用方法。Logstash也需要Java环境，

4.1、在node1上安装Logstash

[root@node1 ~]# rpm -ivh logstash-5.5.1.rpm 
[root@node1 ~]# systemctl start logstash.service 
[root@node1 ~]# systemctl enable logstash.service 
[root@node1 ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

4.2、测试Logstash

# Logstash命令行中常用的命令选项如下所示
-f：通过这个选项可以指定Logstash的配置文件，根据配置文件配置Logstash
-e：后面跟着字符串，该字符串可以被当作Logstash的配置（如果是”“，则默认使用stdin作为输入，stdout作为输出）
-t：测试配置文件是否正确，然后退出

# Logstash命令的使用方法如下所示：
## 输入采用标准输入，输出采用标准输出
[root@node1 ~]# logstash -e 'input { stdin{} } output { stdout{} }'
The stdin plugin is now waiting for input:
09:32:00.864 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com	# 键入内容（标准输入）
2024-05-20T01:32:26.170Z node1 www.baidu.com  # 输出结果（标准输出）
www.sina.com    # 键入内容（标准输入）
2024-05-20T01:32:32.318Z node1 www.sina.com    # 输出结果（标准输出）

## Ctrl+c退出



# 使用rubydebug显示详细输出，codec为一种编解码器
[root@node1 ~]# logstash -e 'input { stdin{} } output { stdout { codec=>rubydebug }}'
The stdin plugin is now waiting for input:
09:35:45.796 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
09:35:45.859 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com	# 键入内容（标准输入）
{				# 输出结果（处理后的结果）
    "@timestamp" => 2024-05-20T01:36:04.322Z,
      "@version" => "1",
          "host" => "node1",
       "message" => "www.baidu.com"
}
## Ctrl+c退出



# 使用Logstash将信息写入Elasticsearch中
[root@node1 ~]# logstash -e 'input { stdin{} } output { elasticsearch {hosts=>["192.168.93.101:9200"] }}'
The stdin plugin is now waiting for input:
09:38:24.838 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
09:38:24.873 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com	# 键入内容（标准输入）	
www.sina.com.cn # 键入内容（标准输入）
www.google.com  # 键入内容（标准输入）
# 结果不在标准输出显示，而是发送至Elasticaearch中
## Ctrl+c退出
  • 在Elasticsearch中查看Logstash新增加的索引
    在这里插入图片描述
  • 查看索引对应的内容
    在这里插入图片描述

4.3、Logstash配置文件

  • Logstash配置文件基本由三部分组成input、output以及filter（根据需要）。因此标准的配置文件格式如下所示
input {...}
filter {....}
output {...}
  • 在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下所示
input {
file { path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/apache/access.log" type =>"apache"}
}
  • 下面通过修改Logstash配置文件，让其收集系统日志/var/log/messages，并将其输出到elasticsearch中
# 给其他人读取权限
[root@node1 ~]# chmod o+r /var/log/messages
[root@node1 ~]# ls -hl /var/log/messages
-rw----r-- 1 root root 402K 5月  20 09:44 /var/log/messages
[root@node1 ~]# vim /etc/logstash/conf.d/system.conf
input {
          file {
                 path => "/var/log/messages"
                 type => "system"
                 start_position => "beginning"
                 }
               }

           output {
                    elasticsearch {
                    hosts => ["192.168.93.101:9200"]
                    index => "system-%{+YYYY.MM.dd}"
                    }
                  }
# 重启logstash服务
[root@node1 ~]# systemctl restart logstash.service 



## 查询索引信息
[root@apache ~]# curl 192.168.93.101:9200/_cat/indices
green open system-2024.05.23 oAskjLkvQh63QScJttokdA 5 1 12081 0 7.2mb 3.6mb


详细解释
"green"：表示该索引是正常状态
"open"：表示该索引的状态是打开的。
"logstash-2023.10.07"：这是索引的名称。
"JyiDRPHkSWetazfcr9Vusg"：这是索引的UUID，用于唯一标识一个索引。
"5"：这是该索引的副本数量。
"1"：这是该索引的主分片数量。
"1"：这是该索引的副本分片数量。
"0"：这是该索引的优化分片数量。
"9.7kb"：这是该索引的大小。
"4.8kb"：这是该索引的压缩大小。

  • 完成后，通过浏览器查看Elasticsearch的信息
    在这里插入图片描述

  • 查看索引下的日志信息
    在这里插入图片描述

五、安装Kibana

5.1、在node1节点安装Kibana

[root@node1 ~]# rpm -ivh kibana-5.5.1-x86_64.rpm 
[root@node1 ~]# systemctl enable kibana.service

5.2、设置Kibana的主配置文件

# 下面内容配置文件当中都有，只需要进行搜索进行相应的更改即可
[root@node1 ~]# grep -v "#" /etc/kibana/kibana.yml | grep -v "^?" | grep -v "^$"
# Kibana打开的端口
server.port: 5601
# Kibana侦听的地址
server.host: "0.0.0.0"
# 和Elasticsearch建立连接
elasticsearch.url: "http://192.168.93.101:9200"
# 在Elasticsearch中添加.kibana索引
kibana.index: ".kibana"

5.3、启动Kibana服务

[root@node1 ~]# systemctl start kibana.service 
[root@node1 ~]# netstat -anpt | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      65563/node

5.4、验证Kibana

  • 通过浏览器访问http://192.168.93.101:5601，第一次登录需要添加一个Elasticsearch索引，添加前面创建的索引system-2024.5.20
    在这里插入图片描述

  • 查看索引的默认字段
    在这里插入图片描述

  • 点击”Discover“按钮查看图表信息及日志信息
    在这里插入图片描述

  • 数据展示可以分类显示，使用鼠标指针悬停在**”Available Fields“中的“host”，然后单击”add“按钮，可以看到按照”host“**筛选后的结果
    在这里插入图片描述

在这里插入图片描述

六、收集Apache日志

6.1、安装httpd

[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
[root@apache ~]# systemctl enable httpd
# 访问几次，使apache的访问日志有日志数据
[root@apache ~]# curl 192.168.93.103
[root@apache ~]# curl 192.168.93.103
[root@apache ~]# curl 192.168.93.103

6.2、安装Apache节点Logstash

[root@apache ~]# rpm -ivh logstash-5.5.1.rpm 
[root@apache ~]# systemctl daemon-reload 
[root@apache ~]# systemctl start logstash.service
[root@apache ~]# systemctl enable logstash.service 
[root@apache ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

6.3、编写Logstash配置文件

  • 编写Logstash配置文件，apache_log.conf
[root@apache ~]# cd /etc/logstash/conf.d/
[root@apache conf.d]# vim apache_log.conf
input {
	file {
	    # 收集Apache访问日志
		path => "/var/log/httpd/access_log"
		# 类型指定为access
		type => "access"
		# 从开始处收集
		start_position => "beginning"
	}
	file {
	    # 收集Apache错误日志
		path => "/var/log/httpd/error_log"
		# 类型指定为error
		type => "error"
		# 从开始处收集
		start_position => "beginning"
	}
}
output{
    # 如果类型为access，即Apache访问日志
	if [type] == "access" {
	    # 输出到elasticsearch
		elasticsearch {
		    # elasticsearch监听地址及端口
			hosts => ["192.168.93.101:9200"]
			# 指定索引格式
			index => "apache_access-%{+YYYY.MM.dd}"
			}
		}
    # 如果类型为error，即Apache错误日志
	if [type] == "error" {
	     # 输出到elasticsearch
		elasticsearch {
		    # elasticsearch监听地址及端口
			hosts => ["192.168.93.101:9200"]
			# 指定索引格式
			index => "apache_error-%{+YYYY.MM.dd}"
			}
		}
}
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf 
## 回显是前台运行的，输出玩之后ctrl+c终止即可

  • 通过浏览器访问http://192.168.93.101:9100查看索引是否创建
    在这里插入图片描述

  • 登录Kibana，单击**”Create Index Pattern“**按钮添加索引
    在这里插入图片描述
    在这里插入图片描述

  • 在索引名中输入之前配置的Output前缀**”apache_access“，并单击”Create“**按钮
    在这里插入图片描述

  • 用相同的方法添加apache_error-*索引
    在这里插入图片描述

  • 选择**”Discover“**选项卡，在中间下拉列表中选择刚添加的apache_access-*索引，可以查看相应的图表及日志信息，还可以根据Fields进行归类显示
    在这里插入图片描述


http://lihuaxi.xjx100.cn/news/2178231.html

相关文章

探索自动发邮件的奥秘：从配置到实现

探索自动发邮件的奥秘：从配置到实现

新书上架~&#x1f447;全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我&#x1f446;&#xff0c;收藏下次不迷路┗|&#xff40;O′|┛ 嗷~~ 目录 一、引言&#xff1a;邮件自动化的魅力 二、配置环境&#xff1a;选择适合的SMTP服务器 示…
阅读更多...
网络模型—BIO、NIO、IO多路复用、信号驱动IO、异步IO

网络模型—BIO、NIO、IO多路复用、信号驱动IO、异步IO

一、用户空间和内核空间 以Linux系统为例&#xff0c;ubuntu和CentOS是Linux的两种比较常见的发行版&#xff0c;任何Linux发行版&#xff0c;其系统内核都是Linux。我们在发行版上操作应用&#xff0c;如Redis、Mysql等其实是无法直接执行访问计算机硬件(如cpu&#xff0c;内存…
阅读更多...
Node性能如何进行监控以及优化？

Node性能如何进行监控以及优化？

一、 是什么 Node作为一门服务端语言&#xff0c;性能方面尤为重要&#xff0c;其衡量指标一般有如下&#xff1a; CPU内存I/O网络 CPU 主要分成了两部分&#xff1a; CPU负载&#xff1a;在某个时间段内&#xff0c;占用以及等待CPU的进程总数CPU使用率&#xff1a;CPU时…
阅读更多...
在 iCloud.com 上导入、导出或打印联系人

在 iCloud.com 上导入、导出或打印联系人

想将iPhone上的电话本备份一份到本地电脑上&#xff0c;发现iTunes好像只是音乐播放了&#xff0c;不再支持像电话本等功能&#xff0c;也不想通过其他第三方软件&#xff0c;好在可以通过iCloud进行导入导出。下面只是对操作过程进行一个图片记录而已&#xff0c;文字说明可以…
阅读更多...
基于51单片机的室内空气质量检测-仿真设计

基于51单片机的室内空气质量检测-仿真设计

本设计是基于单片机的空气质量检测设计&#xff0c;主要实现以下功能&#xff1a; 可实现通过SGP30测量二氧化碳及甲醛浓度&#xff0c;当超过设置的最大值时&#xff0c;进行报警及通风和净化空气处理 可实现通过MQ-4测量甲烷浓度&#xff0c;当超过设置的最大值时&#xff0…
阅读更多...
PowerPivot-跨表取值

PowerPivot-跨表取值

在PowerPivot中&#xff0c;跨表取值通常涉及创建关系和使用DAX&#xff08;数据分析表达式&#xff09;函数。 以下是一些基本步骤和常用的DAX函数&#xff0c;帮助你在PowerPivot中实现跨表取值&#xff1a; 步骤1&#xff1a;创建关系 加载数据&#xff1a;确保你已将需要…
阅读更多...
居间人从事光伏行业需要了解的关键因素

居间人从事光伏行业需要了解的关键因素

随着国家对光伏新能源的大力推广&#xff0c;光伏电站装机量逐渐上升&#xff0c;居间人这个角色开始进入大家的视线&#xff0c;很多人集中式光伏的居间人这个行业蠢蠢欲动&#xff0c;那么究竟怎么判断自己适不适合从事光伏行业的居间人呢&#xff1f; 首先要了解集中式光伏…
阅读更多...
postman教程-7-文件上传接口

postman教程-7-文件上传接口

领取资料&#xff0c;咨询答疑&#xff0c;请➕wei: June__Go 上一小节我们学习了postman发送get请求的方法&#xff0c;本小节我们讲解一下postman文件上传接口的请求方法。 postman文件上传的方式大概有两种&#xff0c;一种是form-data类型上传文件&#xff0c;一种是bin…
阅读更多...
最新文章

Copyright @ 2022~2023