rsyslog日志转发

前言

Rsyslog可用于接受来自各种来源(本地和网络)的输入,转换它们,并将结果输出到不同(通过模板和filter过滤)的目的地(目录文件中)

rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日 志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器, rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发 送到另外的远程服务器。rsyslog的另外一个用法,就是可以配置为客户端,用来过 滤和发送内部日志消息到本地文件夹(如/var/log)或一台可以路由到的远程rsyslog 服务器上。

系统中的绝大多数日志文件是由 rsyslogd 服务来统一管理的,只要各个进程将信息 给予这个服务,它就会自动地把日志按照特定的格式记录到不同的日志文件中。有一部分日志不是由 rsyslogd 服务来管理的,比如 apache 、ftpd服务, 它的日志是由 Apache 软件自己产生并记录的,并没有调用 rsyslogd 服务。但是为 了便于读取,apache 日志文件的格式和系统默认日志的格式是一致的。还有就是业务微服务的日志,是通过业务代码自己记录的。

配置文件格式详解

rsyslogd 服务是依赖其配置文件 /etc/rsyslog.conf 来确定哪个服务的什么等级的日志信息会被记录在哪个位置的。也就是说日志服务的配置文件中主要定义了服务的名称、日志等级和日志记录位置。

authpriv.* /var/log/secure
#服务名称[连接符号]日志等级 日志记录位置

#认证相关服务.所有日志等级 记录在/var/log/secure日志中

*.*        @8.8.8.8:514

#第一个*表示日志类型,有mail,authpriv,cron等,*表示所有日志;第二个*表示日志级别,主要有info,debug,emerg等,*表示包含所有级别;即*.*表示所有日志的所有级别;

# 所有日志的所有级别通UDP协议转发到日志服务器8.8.8.8中

服务名称:

我们首先需要确定 rsyslogd 服务可以识别哪些服务的日志,也可以理解为以下这些 服务委托 rsyslogd 服务来代为管理日志。这些日志服务名称是rsyslogd服务自己定义的,并不是实际的Linux的服务。当有服务需要由rsyslogd服务来帮助管理日志时,只需要调用这些服务名称就可以实现日志的委托管理。可以使用命令 "man 3 syslog" 来查看。这些服务如表 1 所示。

连接符号:

连接符号可以被识别为以下三种。

  1. “.”代表只要比后面的等级高的(包含该等级)日志都记录。比如,“cron.info”代表cron服务产生的日志,只要日志等级大于等于info级别,就记录。---常用
  2. “.=”代表只记录所需等级的日志,其他等级的日志都不记录。比如,“*.=emerg” 代表人和日志服务产生的日志,只要等级是emerg等级就记录。这种用法极少见了解就好。
  3. “.!”代表不等于,也就是除该等级的日志外,其他等级的日志都记录。

日志等级:

日志记录位置:

  1. 日志文件的绝对路径。这是最常见的日志保存方法,如“/var/log/secure”就是用 来保存系统验证和授权信息日志的。
  2. 系统设备文件。如“/dev/lp0”代表第一台打印机,如果日志保存位置是打印机设备,当有日志时就会在打印机上打印。
  3. 转发给远程主机。因为可以选择使用 TCP 和 UDP 协议传输日志信息,所以有两种发送格式:如果使用“@192.168.0.210:514”,就会把日志内容使用 UDP 协议发送到192.168.0.210 的 UDP 514 端口上;如果使用“@@192.168.0.210: 514”,就会把日志内容使用 TCP 协议发送到 192.168.0.210 的 TCP 514 端口 上,其中 514 是日志服务默认端口。当然,只要 192.168.0.210 同意接收此日志,就可以把日志内容保存在日志服务器上。
  4. 忽略或丢弃日志。如果接收日志的对象是“~”,则代表这个日志不会被记录,而 被直接丢弃。如“local3.* ~”代表忽略 local3 服务类型所有的日志都不记录。

配置文件内容详解

由三部分组成:严格按照配置段位置添加配置 ;

  • MODULES:定义了模块的选修,这个部分主要用来配置模板,模板的作用是指定你希望在日志文件中保存的日志格式。

# 加载模块

$ModLoad imfile   

# 设置轮询时间周期,单位秒,即每隔10s轮训一次日志新内容

$InputFilePollInterval 10

# 工作目录,如生成状态文件

$WorkDirectory /var/log/syslog/work

# 指定监控文件路径

$InputFileName /var/log/ftpd.log

# 设置状态文件名,跟踪受监控文件那部分已经处理,当前处理到什么位置,当前于指针。

$InputFileStateFile stat-ftpd-access

# rsyslog自己指定的服务名称,当有服务需要由rsyslogd服务来帮助管理日志时,只需要调用这些服务名称就可以实现日志的委托管理

$InputFileTag ftpd-access

# 指定读取日志的级别

$InputFileSeverity info

# 设置写入状态文件的周期,单位行。即读取25000行时写入一次状态文件

$InputFilePersistStateInterval 25000

# 可以理解为日志类型local 1~7

$InputFileFacility local5

#设置日志文件中的用户属性字段的归属用户组

$PrivDropToGroup adm" 

# 启动文件监视器,以便实时读取日志文件的新消息。

$InputRunFileMonitor

 具体输入、输出模块详情请参考:

imfile: 文本文件输入模块 — Rsyslog 文档

服务端配置:

一般来说选择TCP都是OK的,除非忍受部分丢失,在意影响性能,可以改用UDP。

但是注意:如果你的消息每行大小超过了4k,只能用TCP。这是因为UDP栈大小限制的。

引用官方有关 MaxMessageSize 的描述:

#Provides UDPsyslog reception
$ModLoad imudp
$UDPServerRun 514
 
#TCP syslog
$ModLoad imtcp
$InputTCPServerRun 514

 通常情况下syslog服务端会接受来自不通客户端的日志, 那个就需要通过模版配置加以区分:

创建Remote模版,并引用,如果是来自7.7.7.7的日志,存在在/data/log/7.7.7.7/7.7.7.7_2024-07-07.log中

$template Remote,"/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"

:fromhost-ip, isequal, "7.7.7.7" ?Remote

 配置黑白名单

$AllowedSender tcp, 192.168.30.0/24                 允许 30.0网段内的主机以tcp协议来传输

# 某些新版本的rsyslog配置格式如下

# provides UDP syslog reception
module(load="imudp")
input(type="imudp" port="514")
 
# provides TCP syslog reception
module(load="imtcp")
input(type="imtcp" port="514"

注1:可能由于防火墙导致日志发送失败,可于客户端及服务器端查看514端口是否能正常使用,Centos7中使用如下命令:

    firewall-cmd –-query-port=514/udp,tcp类似

输出no,表示没有启用,则添加514端口于防火墙,tcp类似

    firewall-cmd –add-port=514/udp

注2:如: rsyslog 监听UDP 514端口,还需要设置 SELinux,否则该端口无法使用。

/etc/sysconfig/rsyslog文件中,修改

SYSLOGD_OPTIONS="-m240  -r"
其中-r表示接受外部日志的写入。

 

客户端配置:

*.*        @8.8.8.8:514

#第一个*表示日志类型,有mail,authpriv,cron等,*表示所有日志;第二个*表示日志级别,主要有info,debug,emerg等,*表示包含所有级别;即*.*表示所有日志的所有级别;

# 所有日志的所有级别通UDP协议转发到日志服务器8.8.8.8中

*.info;mail.none;authpriv.none;cron.none @@10.145.254.175:514

# 除过mail、authpriv和cron的info级别以上的日志通过TCP协议转发到10.145.254.175日志服务器上

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/42318.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2025届秋招提前批信息汇总(计算机类)

私企篇 深信服 链接:https://app.mokahr.com/campus_apply/sangfor/27944#/home内推码:NTAHRFS截止时间:6月21日 TP-LINK 链接:https://hr.tp-link.com.cn/jobList?jobId107&jobDirection0&workPlace0&currentPa…

[spring] Spring MVC - security(上)

[spring] Spring MVC - security(上) 这部分的内容基本上和 [spring] rest api security 是重合的,主要就是添加 验证(authentication)和授权(authorization)这两个功能 即: 用户…

HTTPS 发送请求出现TLS握手失败

最近在工作中,调外部接口,发现在clientHello步骤报错,服务端没有返回serverHello。 从网上找了写方法,都没有解决; 在idea的vm options加上参数: -Djavax.net.debugSSL,handshake 把SSL和handshake的日…

构建基于Spring Cloud的微服务监控系统

构建基于Spring Cloud的微服务监控系统 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 随着微服务架构的流行,应用程序变得更加复杂和分布式&…

python自动化办公之cryptography加密解密

目录 用到的库 实现效果 代码部分 1、加密2024.txt文件 2、解密2024.txt文件 用到的库 cryptography 实现效果 加密文件和解密文件 代码部分 1、加密2024.txt文件 # 加密 from cryptography.fernet import Fernet # 生成加密密钥 keyFernet.generate_key() cipher_s…

go语言中使用WaitGroup和channel实现处理多线程问题

WaitGroup 背景 如果将一个任务分为任意个小任务,并且不关心小任务的执行顺序,并且希望等待全部的小任务执行完成后再去操作后面的逻辑,那我推荐你用sync.WaitGRoup 使用方法 比如,有一个任务需要执行 3 个子任务,…

Raw Socket(一)实现TCP三次握手

实验环境: Windows物理机:192.168.1.4 WSL Ubuntu 20.04.6 LTS:172.19.32.196 Windows下的一个http服务器:HFS,大概长这个样子: 客户端就是Ubuntu,服务端就是这个…

收银系统源码-线上商城预售功能

1.功能描述 预售:智慧新零售收银系统,线上商城营销插件之一,商品出售时可设置以支付定金或全款的方式提前预售,门店按订单量备货,降低压货成本; 2.适用场景 易损商品提前下单备货,如水果生鲜…

【算法笔记自学】第 5 章 入门篇(3)——数学问题

5.1简单数学 #include <cstdio> #include <algorithm> using namespace std; bool cmp(int a,int b){return a>b; } void to_array(int n,int num[]){for(int i0;i<4;i){num[i]n%10;n /10;} } int to_number(int num[]){int sum0;for(int i0;i<4;i){sumsu…

C++ Lambda表达式第二篇, Lambda表达式

C Lambda表达式 Lambda 捕获含有模板参数的Lambda表达式无模板参数的Lambda表达式 Lambda 捕获 captures是零个或多个捕获的逗号分隔列表&#xff0c;可以选择以capture-default开头。捕获列表定义可从 lambda 函数体内访问的外部变量。唯一的捕获默认值是 &&#xff0c;…

Kylin系列(二)架构解析:深入理解 Kylin 的架构设计

目录 1. 引言 2. Kylin 的基本概念 2.1 预计算 2.2 多维数据集&#xff08;Cube&#xff09; 2.3 维度和度量 3. Kylin 的架构设计 3.1 数据源 3.2 数据建模 3.2.1 星型模型 3.2.2 雪花模型 3.3 多维数据集构建 3.3.1 数据导入 3.3.2 维度和度量计算 3.3.3 存储优…

AI微电影制作教程:轻松打造高清小人国画面

AI微电影作为一种新兴的视频内容形式&#xff0c;以其独特的视觉效果和制作技术在各大视频平台上取得了显著的流量表现。 2. AI微电影的特点 2.1 高清画质与流畅动作&#xff1a;AI微电影以其高分辨率和流畅的动作给观众带来优质的视觉体验。 2.2 微缩画面效果&#xff1a;独…

大数据面试题之Presto[Trino](6)

如何诊断Presto查询慢的问题&#xff1f; 诊断Presto查询慢的问题通常需要一个系统化的方法&#xff0c;结合监控、日志分析、查询优化策略和系统配置调整等多个方面。以下是一些具体的步骤和建议&#xff1a;1、查看Presto Dashboard&#xff1a; 登录Presto的Web UI&#xf…

WebKit 入门案例教程

WebKit 的基本概念 1.什么是 WebKit&#xff1f;&#xff1a;WebKit 是一个开源的浏览器引擎&#xff0c;用于渲染 HTML、CSS 和 JavaScript 等内容。 2.WebKit 的组件&#xff1a;WebKit 的组件包括 HTML 解析器、CSS 解析器、JavaScript 引擎、布局引擎等。 3.WebKit 的应用…

用 adb 来模拟手机插上电源和拔掉电源的情形

实用的 ADB 命令 要模拟手机从 USB 充电器上拔掉的情形&#xff0c;你可以使用&#xff1a; adb shell dumpsys battery set usb 0或者&#xff0c;如果你使用的是 Android 6.0 或更高版本的设备&#xff0c;你可以使用&#xff1a; adb shell dumpsys battery unplug要重新…

使用Docker、Docker-compose部署单机版达梦数据库(DM8)

安装前准备 Linux Centos7安装&#xff1a;https://blog.csdn.net/andyLyysh/article/details/127248551?spm1001.2014.3001.5502 Docker、Docker-compose安装&#xff1a;https://blog.csdn.net/andyLyysh/article/details/126738190?spm1001.2014.3001.5502 下载DM8镜像 …

三种 FRR 技术演进 LFA、rLFA、Ti-LFA

FRR&#xff1a;Fast ReRoute 快速重路由&#xff0c;是为最大程度地减少流量损失&#xff0c;路由器预先安装一条备份路径&#xff0c;当故障发生的时候&#xff0c;由邻近故障点的路由器&#xff08;PLR&#xff1a;Point of Local Repair&#xff0c;本地修复节点&#xff0…

在Java Web项目中遇到过哪些技术难题以及如何解决的

在Java Web项目中&#xff0c;开发者可能会遇到多种技术难题。这些难题可能涉及框架使用、性能优化、安全性、数据库交互、前后端交互等多个方面。以下是一些常见的技术难题及其可能的解决方案&#xff1a; 1. 框架使用问题 难题&#xff1a; Spring Boot、Spring MVC等框架…

自动控制:前馈控制

自动控制&#xff1a;前馈控制 前馈控制是一种在控制系统中通过预先计算和调整输入来应对已知扰动或变化的方法。相比于反馈控制&#xff0c;前馈控制能够更快速地响应系统的变化&#xff0c;因为它不依赖于系统输出的反馈信号。前馈控制的应用在工业过程中尤为广泛&#xff0…

银河麒麟(V10SP1)-arm版交叉编译-qt-5.12.12源码

前言 确实是编译出来了qtbase库和qtwebengine库&#xff0c;如果按照文章没有操作出来有两种情况 (1) 读者阅读不仔细 (2) 我后期记录整理时写错了 不完美之处和遗留问题 读者阅读前须知 1. 最后发现没有生成libqxcb库文件,如果在国产化系统上执行qt程序时依赖的是自己编译…