Linux下Logstash与Elasticsearch集成

Logstash、Elasticsearch 和 Kibana（简称 ELK Stack）是一套开源的日志管理工具

安装 Logstash：

在 Linux 系统上，你可以使用包管理器（如 apt 或 yum）来安装 Logstash。以下是在基于 Debian 的系统（如 Ubuntu）上安装 Logstash 的命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.listsudo apt updatesudo apt install logstash

配置 Logstash：

创建一个新的 Logstash 配置文件（例如：/etc/logstash/conf.d/logstash-elasticsearch.conf），并添加以下内容：

input {  file {    path => "/path/to/your/log/files/*.log"    start_position => "beginning"  }}filter {  # 根据你的日志格式添加相应的过滤器  grok {    match => { "message" => "%{COMBINEDAPACHELOG}" }  }}output {  elasticsearch {    hosts => ["localhost:9200"]    index => "your_index_name-%{+YYYY.MM.dd}"  }}

这个配置文件定义了一个输入（从文件中读取日志）、一个过滤器（解析日志格式）和一个输出（将解析后的日志发送到 Elasticsearch）。

安装 Elasticsearch：

在 Linux 系统上，你可以使用包管理器（如 apt 或 yum）来安装 Elasticsearch。以下是在基于 Debian 的系统（如 Ubuntu）上安装 Elasticsearch 的命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.listsudo apt updatesudo apt install elasticsearch

配置 Elasticsearch：

编辑 Elasticsearch 的配置文件（例如：/etc/elasticsearch/elasticsearch.yml），并添加以下内容：

network.host: localhosthttp.port: 9200

启动 Logstash 和 Elasticsearch：

在命令行中运行以下命令来启动 Logstash 和 Elasticsearch：

sudo systemctl start logstashsudo systemctl start elasticsearch

现在，Logstash 已经与 Elasticsearch 集成，并开始从日志文件中读取数据并将其发送到 Elasticsearch。你可以使用 Kibana 来可视化和分析这些数据。