logstash安装

下载最新版logstash   

https://www.elastic.co/cn/downloads/logstash

解压缩

tar zxvf logstash-7.12.1-linux-x86_64.tar.gz

下载jdk1.8   

tar zxvf jdk-8u291-linux-x64.tar.gz

编辑启动文件logstash、logstash.lib.sh、logstash-plugin

在首行添加

export JAVA_CMD="/usr/java/jdk1.8.0_291/bin/" 
export JAVA_HOME="/usr/java/jdk1.8.0_291/"

安装jdbc插件

生产环境不能联网;虽然logstash是开箱即用,即解压后就能使用,但是对于logstash-input-jdbc插件来说,一般是在线安装的(./logstash-plugin install logstash-input-jdbc)

就算你是在github上https://github.com/logstash-plugins/logstash-input-jdbc/下载源码,修改Gemfile,也要联网来安装。所以对于不能联网的机子来说必须使用

./logstash-plugin install file:///path/to/logstash-input-jdbc.zip 这种方式来安装。但是官方并没有提供像x-pack一样的离线安装包。那么我们就需要在一台能联网的机子上先在线安装好logstash-input-jdbc插件,然后使用logstash-plugin命令里面的打包离线安装包命令将插件打包为离线的,再传送到生产环境就可以了

一个能联网的机子上解压logstash后,在线安装jdbc插件:

# ./logstash-plugin install logstash-input-jdbc
Validating logstash-input-jdbc
Installing logstash-input-jdbc 
Installed successfulllogstash根目录下的以下目录查看对应的插件版本:

以下命令查看logstash-plugin的离线打包命令[root@YK2T-TYSFW017 logstash-7.12.1]# cd bin
[root@YK2T-TYSFW017 bin]# ./logstash-plugin -h
Using JAVA_HOME defined java: /usr/java/jdk1.8.0_291/
WARNING, using JAVA_HOME while Logstash distribution comes with a bundled JDK
Usage:bin/logstash-plugin [OPTIONS] SUBCOMMAND [ARG] ...Parameters:SUBCOMMAND                    subcommand[ARG] ...                     subcommand argumentsSubcommands:list                          List all installed Logstash pluginsinstall                       Install a Logstash pluginremove                        Remove a Logstash pluginupdate                        Update a pluginpack                          Package currently installed plugins, Deprecated: Please use prepare-offline-pack insteadunpack                        Unpack packaged plugins, Deprecated: Please use prepare-offline-pack insteadgenerate                      Create the foundation for a new pluginuninstall                     Uninstall a plugin. Deprecated: Please use remove insteadprepare-offline-pack          Create an archive of specified plugins to use for offline installationOptions:-h, --help                    print help
[root@YK2T-TYSFW017 bin]# 开始打包,打包时不需要联网
./logstash-plugin  prepare-offline-pack --overwrite --output logstash-output-jdbc.zip logstash-output-jdbc# ./logstash-plugin prepare-offline-pack --overwrite --output logstash-input-jdbc.zip logstash-input-jdbc
Offline package created at: logstash-input-jdbc.zipYou can install it with this command `bin/logstash-plugin install file:///usr/share/logstash/bin/logstash-input-jdbc.zip`将此zip文件上传至不能联网服务器的目录,使用上述命令安装即可
./bin/logstash-plugin install --no-verify file:///logstash-output-jdbc.zip

更改配置文件,启动即可 

/app/logstash-7.12.1/bin/logstash -f /app/logstash-7.12.1/config/logstashserver-redis-rds.conf -t

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/535380.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[logstash-input-file]插件使用详解

这个插件可以从指定的目录或者文件读取内容,输入到管道处理,也算是logstash的核心插件了,大多数的使用场景都会用到这个插件,因此这里详细讲述下各个参数的含义与使用 1 path 是必须的选项,每一个file配置&#xff0c…

[logstash-input-log4j]插件使用

Log4j插件可以通过log4j.jar获取Java日志,搭配Log4j的SocketAppender和SocketHubAppender使用,常用于简单的集群日志汇总。 最小化的配置 input {log4j {host>"localhost"port>4560} } output {stdout {} } log4j插件配置host以及port就…

logstash-input-redis插件使用详解

input {#redis {#host> "10.246.187.12"#redis地址#host> "10.246.152.116"#redis地址#port > "6379" #redis端口号#password > "123qwe" #如果有安全认证,此项为密码#key > "logstash:redis"#ty…

logstash-input-redis源码解析

首先是程序的自定义,这里设置了redis插件需要的参数,默认值,以及校验等。 然后注册Redis实例需要的信息,比如key的名字或者url等,可以看到默认的data_type是list模式。 程序运行的主要入口,根据不同的dat…

logstash-filter模块

Fillters 在Logstash处理链中担任中间处理组件。他们经常被组合起来实现一些特定的行为来,处理匹配特定规则的事件流。常见的filters如下: grok:解析无规则的文字并转化为有结构的格式。Grok 是目前最好的方式来将无结构的数据转换为有结构可…

weblogic启动慢

1.最差的解决办法 执行命令 mv /dev/random /dev/random.ORIG ln /dev/urandom /dev/random   将/dev/random 指向/dev/urandom 2. 较好的解决办法: 在weblogic启动脚本里setDomainEnv.sh: 加入以下内容 JAVA_OPTIONS"${JAVA_OPTIONS}" -Dja…

SSL双向认证和SSL单向认证的区别

双向认证 SSL 协议要求服务器和用户双方都有证书。单向认证 SSL 协议不需要客户拥有CA证书,具体的过程相对于上面的步骤,只需将服务器端验证客户证书的过程去掉,以及在协商对称密码方案,对称通话密钥时,服务器发送给客…

双向认证SSL原理

文中首先解释了加密解密的一些基础知识和概念,然后通过一个加密通信过程的例子说明了加密算法的作用,以及数字证书的出现所起的作用。接着对数字证书做一个详细的解释,并讨论一下windows中数字证书的管理,最后演示使用makecert生成…

Xtrabackup备份与恢复

一、Xtrabackup介绍 Percona-xtrabackup是 Percona公司开发的一个用于MySQL数据库物理热备的备份工具,支持MySQL、Percona server和MariaDB,开源免费,是目前较为受欢迎的主流备份工具。xtrabackup只能备份innoDB和xtraDB两种数据引擎的表&…

实时备份工具之inotify+rsync

1.inotify简介 inotify 是一个从 2.6.13 内核开始,对 Linux 文件系统进行高效率、细粒度、异步地监控机制, 用于通知用户空间程序的文件系统变化。可利用它对用户空间进行安全、性能、以及其他方面的监控。Inotify 反应灵敏,用法非常简单&…

nginx proxy_cache缓存详解

目录 1. 关于缓冲区指令 1.1 proxy_buffer_size1.2 proxy_buffering1.3 proxy_buffers1.4 proxy_busy_buffers_size1.5 proxy_max_temp_file_size1.6 proxy_temp_file_write_size1.7 缓冲区配置实例2. 常用配置项 2.1 proxy_cache_path2.2 proxy_temp_path2.3 proxy_cache2.4 …

mysql主从延迟

在实际的生产环境中,由单台MySQL作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面 因此,一般来说都是通过集群主从复制(Master-Slave)的方式来同步数据&#xff0c…

16张图带你吃透高性能 Redis 集群

现如今 Redis 变得越来越流行,几乎在很多项目中都要被用到,不知道你在使用 Redis 时,有没有思考过,Redis 到底是如何稳定、高性能地提供服务的? 你也可以尝试回答一下以下这些问题: 我使用 Redis 的场景很…

Redis与MySQL双写一致性如何保证

谈谈一致性 一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。 强一致性:这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,…

weblogic忘记console密码

进入 cd /sotware/oracle_ldap/Middleware/user_projects/domains/base_domain/security/ 目录 执行 java -classpath /sotware/oracle_ldap/Middleware/wlserver_10.3/server/lib/weblogic.jar weblogic.security.utils.AdminAccount weblogic(账号) weblogic123(密码) . …

Mysql高性能优化技能总结

数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个…

Redis的AOF日志

如果 Redis 每执行一条写操作命令,就把该命令以追加的方式写入到一个文件里,然后重启 Redis 的时候,先去读取这个文件里的命令,并且执行它,这不就相当于恢复了缓存数据了吗? 这种保存写操作命令到日志的持久…

Redis 核心技术与实战

目录 开篇词 | 这样学 Redis,才能技高一筹 01 | 基本架构:一个键值数据库包含什么? 02 | 数据结构:快速的Redis有哪些慢操作? 键和值用什么结构组织? 为什么哈希表操作变慢了? 有哪些底层数…

redis核心技术与实战(二)缓存应用篇

1.《旁路缓存:redis 在缓存中工作原理》 1.缓存的两个特征 1.什么是缓存,有什么特征? 磁盘->内存->cpu 之间读写速度差异巨大,为了平衡他们之间的差异,操作系统默认使用了两种缓存; CPU 里面的末级…

redis核心技术与实战(三) 性能篇

影响redis性能主要有以下部分: Redis 内部的阻塞式操作; CPU核和NUMA架构 Redis关键系统配置 Redis内存碎片 Redis缓冲区 下面一个个来介绍这些地方 1.《redis 有哪些阻塞点?》 redis实例主要交互的对象有以下几点,我们依据下面这…