降本增效 - VGF 构建轻量高性能日志管理平台

VFG 技术架构

Filebeat 接收Syslog ，并进行日志分段，VictoriaLogs 持久化存储日志 ，Grafana 可视化、数据查询、告警、数据导出。

为什么要用VictoriaLogs ？

  • 与Elasticsearch /Grafana Loki相比几十倍的CPU/内存/存储资源占用的差距，能极大的节省硬件资源。

  • VGF可以实现ELK的Web查询、日志压缩存储、syslog 日志接收。

简介

  • VictoriaLogs 兼容支持多种数据输入软件，Filebeat 也支持多种数据输入。

  • VictoriaLogs 的Web UI很简陋，所以要用Grafana。

  • VictoriaLogs 是HTTP访问是无认证的，需要套其他软件来实现。（默认端口9428）

  • VictoriaLogs 的数据过期时间是全局的，所以如果有需求，只能部署多个实例。

  • Filebeat 相对Logstash 性能更好，也比VictoriaLogs 自带的Syslog输入功能更多。

Docker 国内安装

https://mirror.nju.edu.cn/mirrorz-help/docker-ce/?mirror=NJU

Docker Hub国内加速

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://dockerproxy.com","https://docker.mirrors.ustc.edu.cn","https://docker.nju.edu.cn"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

部署VictoriaLogs

​

创建 victoria-logs-data 文件夹

​

docker run -d --restart always \-p 9428:9428 \-v ./victoria-logs-data:/victoria-logs-data \--name victoria-logs-syslog-songxwn.com \docker.io/victoriametrics/victoria-logs:latest \--retentionPeriod=365d# by songxwn.com

​

  • 9428/tcp 对外HTTP访问

  • 数据保留365天

  • ./victoria-logs-data 为存储目录

部署Grafana

docker run -d --name=grafana -p 3000:3000 \-e GF_INSTALL_PLUGINS=victoriametrics-logs-datasource \--name Grafana \grafana/grafana-enterprise

Grafana 接入VictoriaLogs 数据源

插件已默认安装，添加对应数据源即可，目标为 http://192.168.1.1:9428

Filebeat 部署 - 接收Syslog，输出到VL

vim filebeat.docker.yml

filebeat.inputs:- type: udpenabled: truemax_message_size: 10KiBhost: "0.0.0.0:514"fields:type: udpoutput.elasticsearch:hosts: ["http://127.0.0.1:9428/insert/elasticsearch/"]parameters:_msg_field: "message"_time_field: "@timestamp"_stream_fields: "host.hostname"allow_older_versions: true

PS：注意 127.0.0.1 替换为宿主机IP.

运行

docker run -d  \--name Filebeat \--user=root \--volume="$(pwd)/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \-p 514:514/udp \docker.elastic.co/beats/filebeat:8.17.2

Docker compose 一把梭

创建并进入 /opt/VFG文件夹

mkdir /opt/VFGcd /opt/VFG

filebeat配置文件 - vim filebeat.docker.yml

http:enabled: truehost: "http://0.0.0.0:5066"filebeat.inputs:- type: udpenabled: truemax_message_size: 10KiBhost: "0.0.0.0:514"fields:type: udpoutput.elasticsearch:hosts: ["http://syslog-victoria-logs:9428/insert/elasticsearch/"]parameters:_msg_field: "message"_time_field: "@timestamp"_stream_fields: "host.hostname"allow_older_versions: true

PS：如果需要字段分割，可以参考如下。增加到输入输出中间即可。

processors:- dissect:tokenizer: "<%{syslog_pri}>%{timestamp} %{hostname} %%{log_level}/%{log_code}/%{log_action}(l):IPVer=%{ipver},Protocol=%{protocol},SourceIP=%{source_ip},DestinationIP=%{destination_ip},SourcePort=%{source_port},DestinationPort=%{destination_port},SourceNatIP=%{source_nat_ip},SourceNatPort=%{source_nat_port},BeginTime=%{begin_time},EndTime=%{end_time},S>field: "message"target_prefix: "parsed"

victoria-logs 数据目录

mkdir victoria-logs-datachown -R 472:472 victoria-logs-data

Grafana 数据目录和配置文件

mkdir grafana-datachown -R 472:472 grafana-data

数据源配置文件

mkdir -p ./provisioning/datasourcesvim ./provisioning/datasources/vm.ymlapiVersion: 1
datasources:# <string, required> Name of the VictoriaLogs datasource# displayed in Grafana panels and queries.- name: VictoriaLogs-songxwn.com# <string, required> Sets the data source type.type: victoriametrics-logs-datasource# <string, required> Sets the access mode, either# proxy or direct (Server or Browser in the UI).access: proxy# <string> Sets URL for sending queries to VictoriaLogs server.# see https://docs.victoriametrics.com/victorialogs/querying/url: http://syslog-victoria-logs:9428# <string> Sets the pre-selected datasource for new panels.# You can set only one default data source per organization.isDefault: true

vim docker-compose.yml 文件

services:victoria-logs:image: victoriametrics/victoria-logs:latestcontainer_name: syslog-victoria-logsvolumes:- ./victoria-logs-data:/victoria-logs-datarestart: alwayscommand: ["--retentionPeriod=365d"]environment:- TZ=Asia/Shanghaihealthcheck:test: ["CMD", "wget", "-q", "--spider", "http://127.0.0.1:9428/health"]interval: 1m30stimeout: 10sretries: 3grafana:image: grafana/grafana-enterprisecontainer_name: syslog-grafanaports:- "3000:3000"environment:- GF_INSTALL_PLUGINS=victoriametrics-logs-datasource- GF_SECURITY_ADMIN_PASSWORD=Songxwn.com- TZ=Asia/Shanghaivolumes:- ./grafana-data:/var/lib/grafana- ./provisioning:/etc/grafana/provisioningrestart: alwayshealthcheck:test: ["CMD", "curl", "-f", "http://localhost:3000/api/health"]interval: 1m30stimeout: 10sretries: 3filebeat:image: docker.elastic.co/beats/filebeat:8.17.2container_name: syslog-filebeatports:- "514:514/udp"volumes:- ./filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:rorestart: alwaysenvironment:- TZ=Asia/Shanghaihealthcheck:test: ["CMD", "curl", "-f", "http://localhost:5066"]interval: 60stimeout: 10sretries: 3

compose 启动命令 （需要Docker Engine 19.03.0以上版本）


docker compose up -d

停止、升级


docker compose downdcker compose pulldocker compose up -d

compose文件说明

1. Victoria-Logs 服务
  • 服务名称: victoria-logs
  • 镜像: 使用 victoriametrics/victoria-logs:latest 镜像。
  • 容器名称: syslog-victoria-logs
  • 数据卷: 挂载本地目录 ./victoria-logs-data 到容器内的 /victoria-logs-data，用于持久化存储。
  • 重启策略: 设置为 always，确保容器在运行失败后自动重启。
  • 启动命令: 指定命令参数 --retentionPeriod=365d，表示日志保留期为365天。
  • 环境变量: 设置时区为 Asia/Shanghai。
  • 健康检查:
    • 执行 wget -q --spider http://127.0.0.1:9428/health 检查服务的健康状态。
    • 每 1分30秒 执行一次检查。
    • 如果检测不到健康状态，等待 10秒 后超时。
    • 重试 3次 失败后标记为非健康。
2. Grafana 服务
  • 镜像: 使用 grafana/grafana-enterprise 镜像。
  • 容器名称: syslog-grafana
  • 端口映射: 将主机的 3000 端口映射到容器的 3000 端口，供外部访问 Grafana。
  • 环境变量:
    • 安装插件 victoriametrics-logs-datasource。
    • 设置初始管理员密码为 Songxwn.com。
    • 设置时区为 Asia/Shanghai。
  • 数据卷:
    • 挂载本地目录 ./grafana-data 到容器中的 /var/lib/grafana，用于持久化 Grafana 的数据。
    • 挂载本地目录 ./provisioning 到 /etc/grafana/provisioning，用于配置预置的数据源和仪表盘。
  • 重启策略: 设置为 always。
  • 健康检查:
    • 执行 curl -f http://localhost:3000/api/health 检查服务的健康状态。
    • 每 1分30秒 执行一次检查。
    • 如果检测不到健康状态，等待 10秒 后超时。
    • 重试 3次 失败后标记为非健康。
3. Filebeat 服务
  • 镜像: 使用 docker.elastic.co/beats/filebeat:8.17.2 镜像。
  • 容器名称: syslog-filebeat
  • 端口映射: 将主机的 514/udp 端口映射到容器的 514/udp 端口，用于接收 Syslog。
  • 数据卷: 将本地的 filebeat.docker.yml 配置文件挂载到容器内的 /usr/share/filebeat/filebeat.yml，且为只读。
  • 重启策略: 设置为 always。
  • 环境变量: 设置时区为 Asia/Shanghai。
  • 健康检查:
    • 执行 curl -f http://localhost:5066 检查服务的健康状态。
    • 每 60秒 执行一次检查。
    • 如果检测不到健康状态，等待 10秒 后超时。
    • 重试 3次 失败后标记为非健康。

这些配置用来部署和管理 Victoria-Logs、Grafana 和 Filebeat 服务，确保它们处于良好运行状态，且在故障发生时可以自动恢复。各自的健康检查提供了针对服务运行状态的简易确认方式，进一步提高系统的稳定性和可靠性。

VFG Compose 部署使用

  • 发送日志到udp/514 端口，即可存储到数据库。 echo "songxwn.com\!" | nc -4u 202.182.109.11 514 命令用来测试发送

  • 访问到Grafana Web 3000端口，使用admin/Songxwn.com 登录。

  • 可以通过已经预先创建的数据源VictoriaLogs-songxwn.com，通过Explore 查询日志（LogsQL语法，* 匹配所有 ）和导出为CSV文件。

  • Grafana 也可以进行日志告警和构建可视化仪表盘。

Grafana 示例

在这里插入图片描述

资源占用 - 有较高日志输入的情况下

​

CONTAINER ID   NAME                   CPU %     MEM USAGE / LIMIT     MEM %     NET I/O           BLOCK I/O        PIDS
1c7fe73fc896   syslog-filebeat        0.52%     63.14MiB / 3.822GiB   1.61%     14.1MB / 5.38MB   0B / 8.19kB      15
4a6ee8b19475   syslog-grafana         0.61%     147.3MiB / 3.822GiB   3.76%     9.85MB / 12.8MB   299kB / 305MB    33
a80d91af294c   syslog-victoria-logs   0.04%     195.7MiB / 3.822GiB   5.00%     5.4MB / 604kB     520kB / 6.86MB   14

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/895488.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

初识camel智能体（一）

初识camel智能体（一）

同目录下配置环境变量.env&#xff0c;内容如下&#xff0c; apikey从魔搭社区获取 QWEN_API_KEY4ff3ac8f-aebc******** 先上干货代码&#xff0c;主代码如下&#xff1a; from colorama import Forefrom camel.societies import RolePlaying from camel.utils import prin…
阅读更多...
介绍 Liquibase、Flyway、Talend 和 Apache NiFi：选择适合的工具

介绍 Liquibase、Flyway、Talend 和 Apache NiFi：选择适合的工具

在现代软件开发中&#xff0c;尤其是在数据库管理和数据集成方面&#xff0c;选择合适的工具至关重要。本文将介绍四个流行的工具&#xff1a;Liquibase、Flyway、Talend 和 Apache NiFi&#xff0c;分析它们的应用、依赖以及如何选择适合的工具。 1. Liquibase 简介&#xff…
阅读更多...
Docker使用指南与Dockerfile文件详解：从入门到实战

Docker使用指南与Dockerfile文件详解：从入门到实战

Docker使用指南与Dockerfile文件详解：从入门到实战 文章目录 **Docker使用指南与Dockerfile文件详解：从入门到实战****引言****第一部分：Docker 核心概念速览****1. Docker 基础架构****2. Docker 核心命令****第二部分：Dockerfile 文件深度解析****1. Dockerfile 是什么？…
阅读更多...
Qt工作总结03 ＜qSort按某一属性进行排序＞

Qt工作总结03 ＜qSort按某一属性进行排序＞

1. 代码样例 QList<QGraphicsTextItem *> Lst;qSort(Lst.begin(),Lst.end(),[](const QGraphicsTextItem *itemA,const QGraphicsTextItem *itemB) {return itemA->toPlainText().toDouble() < itemB->toPlainText().toDouble(); }); 2. 参考 QList 按结构体…
阅读更多...
深度学习｜表示学习｜Instance Normalization 全面总结｜26

深度学习｜表示学习｜Instance Normalization 全面总结｜26

如是我闻&#xff1a; 1. Instance Normalization&#xff08;IN&#xff09; Instance Normalization&#xff08;IN&#xff09;最早由 Ulyanov et al.&#xff08;2017&#xff09; 提出&#xff0c;主要用于 风格迁移&#xff08;Style Transfer&#xff09; 任务。它的核…
阅读更多...
如何保持 mysql 和 redis 中数据的一致性？PegaDB 给出答案

如何保持 mysql 和 redis 中数据的一致性？PegaDB 给出答案

MySQL 与 Redis 数据保持一致性是一个常见且复杂的问题&#xff0c;一般来说需要结合多种策略来平衡性能与一致性。 传统的解决策略是先读缓存&#xff0c;未命中则读数据库并回填缓存&#xff0c;但方式这种维护成本较高。 随着云数据库技术的发展&#xff0c;目前国内云厂商…
阅读更多...
探索ELK 的魅力

探索ELK 的魅力

在大数据时代&#xff0c;海量日志和数据的收集、存储、处理与可视化分析变得越来越重要。而 ELK 堆栈&#xff0c;由 Elasticsearch、Logstash、Beats 和 Kibana 组成&#xff0c;正是一个强大的开源解决方案&#xff0c;帮助开发者和运维人员高效管理和分析日志数据。本文将详…
阅读更多...
用vue3写一个好看的wiki前端页面

用vue3写一个好看的wiki前端页面

以下是一个使用 Vue 3 Element Plus 实现的 Wiki 风格前端页面示例&#xff0c;包含现代设计、响应式布局和常用功能&#xff1a; <template><div class"wiki-container"><!-- 头部导航 --><el-header class"wiki-header"><d…
阅读更多...
深度学习实战基础案例——卷积神经网络（CNN）基于DenseNet的眼疾检测|第4例

深度学习实战基础案例——卷积神经网络（CNN）基于DenseNet的眼疾检测|第4例

文章目录 前言一、数据准备二、项目实战2.1 设置GPU2.2 数据加载2.3 数据预处理2.4 数据划分2.5 搭建网络模型2.6 构建densenet1212.7 训练模型2.8 结果可视化 三、UI设计四、结果展示总结 前言 在当今社会&#xff0c;眼科疾病尤其是白内障对人们的视力健康构成了严重威胁。白…
阅读更多...
DeepSeek的开源核爆：当技术民主化重构AI权力版图

DeepSeek的开源核爆：当技术民主化重构AI权力版图

2025年2月&#xff0c;全球AI产业正经历着由DeepSeek掀起的链式反应——这个首个开源千亿参数多模态模型的企业&#xff0c;用开放战略在技术壁垒森严的AI战场投下"制度性核弹"。其贡献不在于单纯的技术突破&#xff0c;而在于通过开源协议实现了三重维度的大爆炸&am…
阅读更多...
代码随想录二叉树篇（含源码）

代码随想录二叉树篇（含源码）

二叉树与递归 前言226.翻转二叉树算法思路及代码solution 1 用分解问题的思路来解决solution 2 用遍历的思路来解决 101.对称二叉树算法思路及代码solution 104.二叉树的最大深度算法思路及代码solution 1 遍历solution 2 分解问题 111.二叉树的最小深度算法思路及代码solution…
阅读更多...
MyBatis映射文件 ＜resultMap＞ 元素详解与示例

MyBatis映射文件 ＜resultMap＞ 元素详解与示例

引言 <resultMap> 是 MyBatis 中最核心的映射配置元素&#xff0c;用于解决数据库字段与 Java 对象属性之间的复杂映射问题&#xff0c;尤其是字段名不一致、嵌套对象关联、集合映射等场景。ResultMap 的设计思想是&#xff0c;对简单的语句做到零配置&#xff0c;对于复…
阅读更多...
【xdoj离散数学上机】T283

【xdoj离散数学上机】T283

递归函数易错&#xff1a; 防止出现递归死循环&#xff01; 题目 题目&#xff1a;求诱导出的等价关系的关系矩阵 问题描述 给定有限集合上二元关系的关系矩阵&#xff0c;求由其诱导出的等价关系的关系矩阵。 输入格式 第一行输入n&#xff0c;表示矩阵为n阶方阵&#xff0c…
阅读更多...
WIN11上使用GraalVM打包springboot3项目为本地可执行文件exe

WIN11上使用GraalVM打包springboot3项目为本地可执行文件exe

耐心肝才能成功 概念步骤概要详细步骤一. GraalVM 17二. 安装Visual Studio 2022三. 创建springboot四. IDEA最新版或者eclipse2025调试项目五. 打包exe 概念 springboot3生成的jar编译成windows本地C文件&#xff0c;不再依赖JVM运行 WINDOW编译较为复杂&#xff0c;限制条件…
阅读更多...
【git-hub项目：YOLOs-CPP】本地实现01：项目构建

【git-hub项目：YOLOs-CPP】本地实现01：项目构建

目录 写在前面 项目介绍 最新发布说明 Segmentation示例 功能特点 依赖项 安装 克隆代码仓库 配置 构建项目 写在前面 前面刚刚实现的系列文章： 【Windows/C++/yolo开发部署01】 【Windows/C++/yolo开发部署02】 【Windows/C++/yolo开发部署03】 【Windows/C++/yolo…
阅读更多...
超越 DeepSeek V3 --＞【Qwen2.5-Max】

超越 DeepSeek V3 --＞【Qwen2.5-Max】

&#x1f525; 先说明&#xff0c;不是广子&#xff0c;不是广子&#xff01;&#xff01;&#xff01;单纯分享这个工具给大家&#xff0c;毕竟最近使用 DeepSeek 太容易崩了&#xff0c;每天深度思考一次之后就开始转圈圈用不了&#xff0c;然后就找到了这个工具使用 一、前言…
阅读更多...
python自动化测试之Pytest框架之YAML详解以及Parametrize数据驱动!

python自动化测试之Pytest框架之YAML详解以及Parametrize数据驱动!

一、YAML详解 YAML是一种数据类型&#xff0c;它能够和JSON数据相互转化&#xff0c;它本身也是有很多数据类型可以满足我们接口 的参数类型&#xff0c;扩展名可以是.yml或.yaml 作用&#xff1a; 1.全局配置文件 基础路径&#xff0c;数据库信息&#xff0c;账号信息&…
阅读更多...
CentOS 7操作系统部署KVM软件和创建虚拟机

CentOS 7操作系统部署KVM软件和创建虚拟机

CentOS 7.9操作系统部署KVM软件和配置指南&#xff0c;包括如何创建一个虚拟机。 步骤 1: 检查硬件支持 首先&#xff0c;确认您的CPU支持虚拟化技术&#xff0c;并且已在BIOS中启用&#xff1a; egrep -c (vmx|svm) /proc/cpuinfo 如果输出大于0&#xff0c;则表示支持虚拟…
阅读更多...
日本 万叶假名

日本 万叶假名

万叶假名&#xff08;まんようがな&#xff0c;Manyōgana&#xff09;是一种早期的日语书写系统&#xff0c;主要用于《万叶集》等古代文献中。它的特点是完全使用汉字来表示日语的音&#xff0c;不考虑汉字的原意。可以将其视为平假名和片假名的前身。 记住是唐代的发音不是…
阅读更多...
【鸿蒙HarmonyOS Next实战开发】实现组件动态创建和卸载-优化性能

【鸿蒙HarmonyOS Next实战开发】实现组件动态创建和卸载-优化性能

一、简介 为了解决页面和组件加载缓慢的问题&#xff0c;ArkUI框架引入了动态操作功能&#xff0c;支持组件的预创建&#xff0c;并允许应用在运行时根据实际需求动态加载和渲染组件。 这些动态操作包括动态创建组件&#xff08;即动态添加组件&#xff09;和动态卸载组件&am…
阅读更多...
最新文章

Copyright @ 2022~2023