企业级日志分析平台： ELK 集群搭建指南

前言：在当今数字化时代，数据已经成为企业决策的核心驱动力。无论是日志分析、用户行为追踪，还是实时监控和异常检测，高效的数据处理和可视化能力都至关重要。ELK（Elasticsearch、Logstash、Kibana）作为全球最流行的开源日志分析和可视化解决方案之一，为企业提供了强大的工具，帮助其实现数据驱动的运营和管理。

ELK 简介（含 FileBeat）

ELK（Elasticsearch、Logstash、Kibana）是一个强大的开源工具集，广泛应用于日志分析、数据可视化和实时监控等领域。FileBeat 作为 ELK 堆栈的重要组成部分，提供了轻量级、高效且灵活的日志收集方式。

Elasticsearch

Elasticsearch 是一个基于 Lucene 构建的分布式、高性能、高扩展性的搜索引擎。它能够快速存储、搜索和分析大规模数据，支持全文搜索、结构化搜索、地理空间数据搜索等多种查询方式。Elasticsearch 的核心特性包括：

  • 分布式架构：数据被分片存储在多个节点上，支持水平扩展。
  • 实时搜索：数据一旦写入即可被搜索。
  • 强大的聚合功能：支持复杂的统计和分析操作。
  • 高可用性：通过副本机制确保数据的可靠性和系统的高可用性。
Logstash

Logstash 是一个用于数据收集、转换和传输的工具。它可以从多种数据源（如日志文件、数据库、消息队列等）收集数据，并通过灵活的过滤器对数据进行清洗、转换和富化，最后将处理后的数据输出到指定的目标（如 Elasticsearch、数据库等）。Logstash 的主要功能包括：

  • 数据收集：支持多种输入插件，如文件、Syslog、JDBC 等。
  • 数据处理：通过过滤器插件对数据进行解析、转换和富化。
  • 数据输出：支持多种输出插件，如 Elasticsearch、Kafka、MongoDB 等。
Kibana

Kibana 是一个用于数据可视化的工具，它与 Elasticsearch 紧密集成，能够实时展示存储在 Elasticsearch 中的数据。Kibana 提供了直观的界面，用户可以通过拖拽和配置轻松创建各种图表和仪表板。Kibana 的主要功能包括：

  • 数据可视化：支持多种图表类型（如柱状图、折线图、地图等）。
  • 仪表板：可以将多个可视化组件组合成一个仪表板，方便综合分析。
  • 探索功能：允许用户直接查询和分析 Elasticsearch 中的数据。
  • 警报和通知：支持基于数据的变化触发警报。
FileBeat

FileBeat 是一个轻量级的日志收集工具，设计目标是优化日志收集流程的性能，同时保证数据的完整性和可靠性。它能够实时地收集各类日志文件，并将其可靠地发送至指定的目标系统（如 Logstash、Elasticsearch 或 Kafka 等）。FileBeat 的主要功能和优势包括：

  • 轻量级与高效：资源占用低，适合在资源有限的环境中运行。
  • 实时日志收集：能够实时读取新增日志，并通过内建的缓冲机制确保日志的及时传输。
  • 可靠的数据传输：内置数据缓冲机制，即使在网络不稳定时也能确保日志数据的可靠传输。
  • 灵活的配置：支持多种输入源（如文件、系统日志等）和输出目标（如 Elasticsearch、Logstash 等）。
  • 支持日志轮转：自动处理日志文件的切割和归档。
  • 支持 SSL/TLS 加密：确保日志数据在传输过程中的安全性。
应用场景

ELK 堆栈结合 FileBeat 广泛应用于以下场景：

  • 日志分析：收集、处理和分析系统日志、应用日志等，帮助快速定位问题。
  • 实时监控：实时监控系统性能、业务指标等，及时发现异常。
  • 用户行为分析：分析用户行为数据，优化产品设计和用户体验。
  • 安全分析：检测和分析安全事件，防范潜在威胁。
  • 日志收集流水线：FileBeat 作为轻量级日志收集代理，负责从各个日志源中读取日志数据，并将其传输到下游的日志处理系统。

通过 ELK 堆栈和 FileBeat，企业可以高效地处理和分析海量数据，实现数据驱动的决策和运营。

一、环境准备

1. 服务器配置要求

  • 操作系统：CentOS 7.9+ / Ubuntu 20.04+
  • 硬件：建议3台以上服务器，每台配置8核CPU、16GB内存、500GB SSD
  • 网络：集群节点间需互通9200（HTTP）和9300（Transport）端口

2. 系统优化

# 关闭防火墙（生产环境需配置安全组）
systemctl stop firewalld && systemctl disable firewalld
setenforce 0# 调整系统参数
cat <<EOF >> /etc/sysctl.conf
vm.max_map_count=262144
fs.file-max=65535
EOF
sysctl -p# 调整用户资源限制
cat <<EOF >> /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096
EOF

二、JDK 17安装（替代原JDK 8）

# 下载JDK 17（根据系统选择对应版本）
wget https://download.java.net/java/GA/jdk17/0d483333a00540d886896bac774ff48b/35/GPL/openjdk-17_linux-x64_bin.rpm# 安装JDK
rpm -ivh openjdk-17_linux-x64_bin.rpm# 配置环境变量
echo "export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-17.0.8.0.7-2.el7_9.x86_64" >> /etc/profile
echo "export PATH=\$JAVA_HOME/bin:\$PATH" >> /etc/profile
source /etc/profile# 验证安装
java -version

三、Elasticsearch 8.13.4集群部署

1. 下载与安装

# 下载Elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.13.4-linux-x86_64.tar.gz# 解压与配置
tar -zxvf elasticsearch-8.13.4-linux-x86_64.tar.gz
mv elasticsearch-8.13.4 /opt/elasticsearch# 创建专用用户
useradd esuser
chown -R esuser:esuser /opt/elasticsearch

2. 配置文件调整（elasticsearch.yml）

cluster.name: "prod-elk"
node.name: "es-node-1"
path.data: /opt/elasticsearch/data
path.logs: /opt/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300# 集群发现配置
discovery.seed_hosts: ["192.168.1.100", "192.168.1.101", "192.168.1.102"]
cluster.initial_master_nodes: ["es-node-1", "es-node-2", "es-node-3"]# 安全配置（生产环境必填）
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /opt/elasticsearch/config/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /opt/elasticsearch/config/elastic-certificates.p12

3. 生成证书

# 生成证书（在任一节点执行）
cd /opt/elasticsearch/bin
./elasticsearch-certutil ca
./elasticsearch-certutil cert --ca elastic-stack-ca.p12

4. 启动服务

# 切换用户启动
su - esuser
/opt/elasticsearch/bin/elasticsearch -d# 验证集群状态
curl -u elastic:changeme -k https://localhost:9200/_cat/nodes

四、Logstash 8.13.4部署

1. 下载与安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.13.4.tar.gz
tar -zxvf logstash-8.13.4.tar.gz
mv logstash-8.13.4 /opt/logstash

2. 配置文件（logstash.conf）

input {beats {port => 5044ssl => truessl_certificate => "/opt/logstash/config/elastic-certificates.p12"ssl_key => "/opt/logstash/config/elastic-certificates.p12"}
}output {elasticsearch {hosts => ["https://192.168.1.100:9200", "https://192.168.1.101:9200", "https://192.168.1.102:9200"]user => "elastic"password => "changeme"ssl => truecacert => "/opt/logstash/config/elastic-certificates.p12"index => "logstash-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}

3. 启动服务

/opt/logstash/bin/logstash -f /opt/logstash/config/logstash.conf

五、Kibana 8.13.4部署

1. 下载与安装

wget https://artifacts.elastic.co/downloads/kibana/kibana-8.13.4-linux-x86_64.tar.gz
tar -zxvf kibana-8.13.4-linux-x86_64.tar.gz
mv kibana-8.13.4 /opt/kibana

2. 配置文件（kibana.yml）

server.host: "0.0.0.0"
elasticsearch.hosts: ["https://192.168.1.100:9200", "https://192.168.1.101:9200", "https://192.168.1.102:9200"]
elasticsearch.username: "elastic"
elasticsearch.password: "changeme"
elasticsearch.ssl.certificateAuthorities: ["/opt/kibana/config/elastic-certificates.p12"]

3. 启动服务

/opt/kibana/bin/kibana

六、Filebeat 8.13.4部署

1. 下载与安装

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz
tar -zxvf filebeat-8.13.4-linux-x86_64.tar.gz
mv filebeat-8.13.4 /opt/filebeat

2. 配置文件（filebeat.yml）

filebeat.inputs:
- type: logpaths:- /var/log/*.logfields:app: web-servicefields_under_root: trueoutput.logstash:hosts: ["192.168.1.103:5044"]ssl.certificate_authorities: ["/opt/filebeat/config/elastic-certificates.p12"]

3. 启动服务

/opt/filebeat/bin/filebeat -e -c /opt/filebeat/filebeat.yml

七、集群验证与优化

1. 验证Kibana界面

访问 https://your-kibana-server:5601，使用elastic用户登录，验证索引模式是否自动创建。

2. 性能优化建议

  • Elasticsearch JVM配置：
    -Xms8g
-Xmx8g
-XX:+UseG1GC
  • 分片与副本策略：
    # 设置索引分片与副本
PUT /logstash-*/_settings
{"index": {"number_of_shards": 3,"number_of_replicas": 1}
}

3. 安全加固

  • 定期更新Elastic Stack版本
  • 启用审计日志：
    xpack.security.audit.enabled: true
xpack.security.audit.logfile.path: /opt/elasticsearch/logs/audit.log

八、常见问题处理

  1. 证书验证失败：

    # 确保所有节点使用相同的证书文件
scp /opt/elasticsearch/config/elastic-certificates.p12 other-node:/opt/elasticsearch/config/

  2. 内存不足导致节点宕机：

    # 调整JVM内存
vim /opt/elasticsearch/config/jvm.options
-Xms8g
-Xmx8g

  3. Logstash管道阻塞：

    # 增加工作线程数
pipeline.workers: 8

九、版本升级建议

  1. 定期检查Elastic官方发布的安全公告
  2. 采用滚动升级策略：
    # 暂停分片分配
PUT _cluster/settings
{"persistent": {"cluster.routing.allocation.enable": "none"}
}# 升级单个节点
systemctl stop elasticsearch
# 替换二进制文件
systemctl start elasticsearch# 恢复分片分配
PUT _cluster/settings
{"persistent": {"cluster.routing.allocation.enable": "all"}
}

通过以上步骤，您可以搭建一个基于最新ELK Stack 8.x的高可用日志分析集群。在生产环境中，建议结合负载均衡、监控系统（如Elastic APM）和自动化部署工具（如Ansible）来提升运维效率。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/899748.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

1.2-WAF\CDN\OSS\反向代理\负载均衡

1.2-WAF\CDN\OSS\反向代理\负载均衡

WAF&#xff1a;就是网站应用防火墙&#xff0c;有硬件类、软件类、云WAF&#xff1b; 还有网站内置的WAF&#xff0c;内置的WAF就是直接嵌在代码中的安全防护代码 硬件类&#xff1a;Imperva、天清WAG 软件&#xff1a;安全狗、D盾、云锁 云&#xff1a;阿里云盾、腾讯云WA…
阅读更多...
MybatisPlus（SpringBoot版）学习第四讲：常用注解

MybatisPlus（SpringBoot版）学习第四讲：常用注解

目录 1.TableName 1.1 问题 1.2 通过TableName解决问题 1.3 通过全局配置解决问题 2.TableId 2.1 问题 2.2 通过TableId解决问题 2.3 TableId的value属性 2.4 TableId的type属性 2.5 雪花算法 1.背景 2.数据库分表 ①垂直分表 ②水平分表 1>主键自增 2>取…
阅读更多...
第二届计算机网络和云计算国际会议（CNCC 2025）

第二届计算机网络和云计算国际会议（CNCC 2025）

重要信息 官网&#xff1a;www.iccncc.org 时间&#xff1a;2025年4月11-13日 地点&#xff1a;中国南昌 简介 第二届计算机网络和云计算国际会议&#xff08;CNCC 2025&#xff09;将于2025年4月11-13日在中国南昌召开。围绕“计算机网络”与“云计算”展开研讨&#xff…
阅读更多...
【大模型基础_毛玉仁】5.4 定位编辑法：ROME

【大模型基础_毛玉仁】5.4 定位编辑法：ROME

目录 5.4 定位编辑法&#xff1a;ROME5.4.1 知识存储位置1&#xff09;因果跟踪实验2&#xff09;阻断实验 5.4.2 知识存储机制5.4.3 精准知识编辑1&#xff09;确定键向量2&#xff09;优化值向量3&#xff09;插入知识 5.4 定位编辑法&#xff1a;ROME 定位编辑&#xff1a;…
阅读更多...
横扫SQL面试——连续性登录问题

横扫SQL面试——连续性登录问题

横扫SQL面试 &#x1f4cc; 连续性登录问题 在互联网公司的SQL面试中&#xff0c;连续性问题堪称“必考之王”。&#x1f4bb;&#x1f50d; 用户连续登录7天送优惠券&#x1f31f;&#xff0c;服务器连续报警3次触发熔断⚠️&#xff0c;图书馆连续3天人流破百开启限流⚡” …
阅读更多...
Spring AI Alibaba 对话记忆使用

Spring AI Alibaba 对话记忆使用

一、对话记忆 (ChatMemory)简介 1、对话记忆介绍 ”大模型的对话记忆”这一概念&#xff0c;根植于人工智能与自然语言处理领域&#xff0c;特别是针对具有深度学习能力的大型语言模型而言&#xff0c;它指的是模型在与用户进行交互式对话过程中&#xff0c;能够追踪、理解并利…
阅读更多...
vdi模式是什么

vdi模式是什么

‌VDI模式&#xff08;Virtual Desktop Infrastructure&#xff09;是一种基于服务器的计算模型&#xff0c;其核心思想是将所有计算和存储资源集中在服务器上&#xff0c;用户通过前端设备&#xff08;如瘦客户机&#xff09;访问服务器上的虚拟桌面‌‌ VDI模式的工作原理 在…
阅读更多...
【分布式】深入剖析 Sentinel 限流：原理、实现

【分布式】深入剖析 Sentinel 限流：原理、实现

在当今分布式系统盛行的时代&#xff0c;流量的剧增给系统稳定性带来了巨大挑战。Sentinel 作为一款强大的流量控制组件&#xff0c;在保障系统平稳运行方面发挥着关键作用。本文将深入探讨 Sentinel 限流的原理、实现方案以及其优缺点&#xff0c;助力开发者更好地运用这一工具…
阅读更多...
c#winform，倒鸭子字幕效果，typemonkey字幕效果，抖音瀑布流字幕效果

c#winform，倒鸭子字幕效果，typemonkey字幕效果，抖音瀑布流字幕效果

不废话 直接上效果图 C# winform 开发抖音的瀑布流字幕。 也是typemonkey插件字幕效果 或者咱再网上常说的倒鸭子字幕效果 主要功能 1&#xff0c;软件可以自定义添加字幕内容 2&#xff0c;软件可以添加字幕显示的时间区间 3&#xff0c;可以自定义字幕颜色&#xff0c;可以随…
阅读更多...
Pycharm（八）：字符串切片

Pycharm（八）：字符串切片

一、字符串分片介绍 对操作的对象截取其中一部分的操作&#xff0c;比如想要获取字符串“888666qq.com前面的qq号的时候就可以用切片。 字符串、列表、元组都支持切片操作。 语法&#xff1a;字符串变量名 [起始:结束:步长] 口诀&#xff1a;切片其实很简单&#xff0c;只顾头来…
阅读更多...
图片解释git的底层工作原理

图片解释git的底层工作原理

&#xff08;图片来源&#xff1a;自己画的&#xff09; 基于同一个commit创建新分支 &#xff08;图片来源&#xff1a;书籍《Linux运维之道》 ISBN 9787121461811&#xff09; 在新分支上修改然后commit一次 &#xff08;图片来源&#xff1a;书籍《Linux运维之道》 ISBN 978…
阅读更多...
leetcode994.腐烂的橘子

leetcode994.腐烂的橘子

思路源自 【力扣hot100】【LeetCode 994】腐烂的橘子&#xff5c;多源BFS 这里图中的腐烂的的橘子是同时对周围进行腐化&#xff0c;所以采用多源bfs就能解决 多源bfs与单源bfs的区别就在于队列取出时一轮是取出队列当中的全部元素 class Solution {public int orangesRotti…
阅读更多...
【华为OD技术面试真题 - 技术面】- Java面试题（15)

【华为OD技术面试真题 - 技术面】- Java面试题（15)

华为OD面试真题精选 专栏：华为OD面试真题精选 目录: 2024华为OD面试手撕代码真题目录以及八股文真题目录 介绍下TCP/UDP TCP（传输控制协议）和 UDP（用户数据报协议） TCP（Transmission Control Protocol）和 UDP（User Datagram Protocol）是两种常见的传输层协议，主要…
阅读更多...
‌在 Fedora 系统下备份远程 Windows SQL Server 数据库的完整方案

‌在 Fedora 系统下备份远程 Windows SQL Server 数据库的完整方案

‌一、环境准备与工具安装‌ ‌1. 安装 Microsoft SQL Server 命令行工具‌ Fedora 需安装 mssql-tools 和 ODBC 驱动&#xff1a; # 添加 Microsoft 仓库 sudo curl -o /etc/yum.repos.d/msprod.repo https://packages.microsoft.com/config/rhel/8/prod.repo# 安装工具包 …
阅读更多...
DeepSeek：巧用前沿AI技术，开启智能未来新篇章

DeepSeek：巧用前沿AI技术，开启智能未来新篇章

引言 近年来&#xff0c;人工智能&#xff08;AI&#xff09;技术迅猛发展&#xff0c;大模型成为全球科技竞争的核心赛道。在这场AI革命中&#xff0c;DeepSeek作为中国领先的大模型研发团队&#xff0c;凭借其创新的技术架构、高效的训练方法和广泛的应用场景&#xff0c;迅…
阅读更多...
R语言实现轨迹分析--traj和lcmm包体会

R语言实现轨迹分析--traj和lcmm包体会

R语言实现轨迹分析–traj和lcmm包体会 轨迹分析是对重复测量数据的一种归纳&#xff0c;转化为一种分类变量&#xff0c;比如手术后1&#xff5e;7天内的疼痛评分&#xff0c;可以形成术后急性痛轨迹。形成的轨迹作为一个分类变量&#xff0c;可以用于预测疾病的预后&#xff…
阅读更多...
Vue 3 事件总线详解：构建组件间高效通信的桥梁

Vue 3 事件总线详解：构建组件间高效通信的桥梁

Vue 3 事件总线详解&#xff1a;构建组件间高效通信的桥梁 为什么需要事件总线&#xff1f;使用 mitt 实现事件总线1. 安装 mitt2. 创建事件总线3. 在组件中使用事件总线发送端组件&#xff08;例如 ComponentA.vue&#xff09;接收端组件&#xff08;例如 ComponentB.vue&…
阅读更多...
MySQL的基础语法1（增删改查、DDL、DML、DQL和DCL）

MySQL的基础语法1（增删改查、DDL、DML、DQL和DCL）

目录 一、基本介绍 二、SQL通用语法 三、SQL分类(DDL、DML、DQL、DCL) 1.DDL 1.1数据库操作 1.2表操作 1.2.1表操作-查询创建 1.2.2表操作-数据类型 1&#xff09;数值类型 2&#xff09;字符串类型 3&#xff09;日期时间类型​编辑 4&#xff09;表操作-案例 1.2.3…
阅读更多...
【NLP】15. NLP推理方法详解 --- 动态规划：序列标注，语法解析，共同指代

【NLP】15. NLP推理方法详解 --- 动态规划：序列标注，语法解析，共同指代

动态规划 (Dynamic Programming) 动态规划&#xff08;Dynamic Programming&#xff0c;简称 DP&#xff09;是一种通过将问题分解为较小子问题来优化计算效率的技术。它特别适用于优化最优解问题&#xff0c;比如序列标注&#xff08;sequence tagging&#xff09;这类任务。…
阅读更多...
JavaScript中的NaN、undefined和null 的区别

JavaScript中的NaN、undefined和null 的区别

NaN代表"Not a Number"，它是一种特殊的数值，用于表示非数字值。当一个操作无法返回有效的数值时，通常会得到NaN作为结果。 let result = 10 / abc; console.log(result); // 输出 NaN需要注意的是，NaN与自身不相等，我们无法通过简单的比较操作符（如==或===）来…
阅读更多...
最新文章

Copyright @ 2022~2023