服装电子商务网站有哪些,高清做视频在线观看网站,做网站需求,wordpress页面能用js吗相关文章 【数仓】基本概念、知识普及、核心技术【数仓】数据分层概念以及相关逻辑【数仓】Hadoop软件安装及使用#xff08;集群配置#xff09;【数仓】Hadoop集群配置常用参数说明【数仓】zookeeper软件安装及集群配置【数仓】kafka软件安装及集群配置【数仓】flume软件安…相关文章 【数仓】基本概念、知识普及、核心技术【数仓】数据分层概念以及相关逻辑【数仓】Hadoop软件安装及使用集群配置【数仓】Hadoop集群配置常用参数说明【数仓】zookeeper软件安装及集群配置【数仓】kafka软件安装及集群配置【数仓】flume软件安装及配置【数仓】flume常见配置总结以及示例 一、flume有什么作用 Apache Flume是一个分布式、可靠且可用的大数据日志采集、聚合和传输系统。它主要用于将大量的日志数据从不同的数据源收集起来然后通过通道Channel进行传输最终将数据传输到指定的目的地如HDFS、HBase等。Flume具有高度可扩展性、容错性和灵活性可以适应各种复杂的数据采集场景。 Flume的核心组件包括Source、Channel和Sink。Source负责从数据源中读取数据可以是文件、网络套接字、消息队列等Channel是数据的缓冲区用于在Source和Sink之间传输数据Sink负责将数据写入目标存储系统如HDFS、HBase、Kafka等。此外Flume还支持多种类型的Source、Channel和Sink用户可以根据实际需求进行选择和配置。 Flume的主要作用是实现大规模数据采集和传输实现数据的实时处理和分析从而为企业提供更好的业务决策支持。在实际应用中Flume可以用于日志收集、事件跟踪、数据流处理等场景。通过将数据从不同的数据源采集并传输到指定的目的地Flume可以帮助企业实现数据的集中存储和管理为后续的数据分析和挖掘提供基础。 此外Flume还具有可靠性机制和故障转移和恢复机制能够保证数据传输的可靠性和安全性。同时Flume还支持客户扩展和自定义开发用户可以根据自己的需求进行扩展和优化使其更加适合特定的应用场景。 总的来说Apache Flume是一个功能强大、灵活可靠的大数据日志采集、聚合和传输系统它在大数据处理中起到了至关重要的作用。 二、环境准备 准备1台虚拟机 Hadoop131192.168.56.131 本例系统版本 CentOS-7.8已安装jdk1.8 关闭防火墙 systemctl stop firewalldzookeeper、kafka 已安装且已启动 三、flume安装配置 1、flume下载安装 # 下载解压 wget --no-check-certificate https://dlcdn.apache.org/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz tar -xzvf apache-flume-1.11.0-bin.tar.gz mv apache-flume-1.11.0-bin/ /data/flume/2、配置环境变量 新增环境变量文件 vi /etc/profile.d/flume_env.sh export FLUME_HOME/data/flume export PATH$PATH:$FLUME_HOME/bin使用source让新增环境生效 source /etc/profile在命令行中输入flume-ng version命令如果返回Flume的版本信息则说明安装成功。 3、配置flume服务器属性 本例演示 flume 读取日志文件然后发送到kafka中 1配置日志存储路径 在flume主目录执行 vim conf/log4j2.xml Property nameLOG_DIR/data/flume/logs/Property2新建配置文件 conf/job/file_to_kafka.conf内容如下 # 定义Agent的组件 # 设置source的名称为rl al.sources rl # 设置channel的名称为cl al.channels cl# 配置source # 指定source的类型为TAILDIR这是一个能够追踪文件变化并读取新增内容的source al.sources.rl.type TAILDIR # 定义文件组fl这里fl是一个标识符可以定义多个文件组每个文件组可以包含多个文件模式 al.sources.rl.filegroups fl # 指定文件组fl的文件路径模式/data/applog/log/app.* 表示匹配/data/applog/log/目录下以app开头的所有文件 al.sources.rl.filegroups.fl /data/applog/log/app.* # 指定positionFile的位置该文件用于记录TAILDIR source读取文件的偏移量以便在Flume重启后可以从上次的位置继续读取 al.sources.rl.positionFile /data/flume/data/taildir_position.json# 配置channel # 设置channel的类型为KafkaChannel即数据将发送到Kafka al.channels.cl.type org.apache.flume.channel.kafka.KafkaChannel # 指定Kafka集群的地址和端口这里配置了3个Kafka broker al.channels.cl.kafka.bootstrap.servers hadoop131:9092,hadoop132:9092,hadoop133:9092 # 设置发送到Kafka的主题名称 al.channels.cl.kafka.topic topic_log # 设置parseAsFlumeEvent为false表示发送到Kafka的数据不会被封装为Flume的Event格式而是保持原始格式 al.channels.cl.parseAsFlumeEvent false# 组装source和channel # 将source rl连接到channel cl表示rl读取的数据将发送到cl指定的Kafka channel中 al.sources.rl.channels cl这份配置文件定义了一个简单的Flume Agent它使用TAILDIR source来监控某个目录下的日志文件变化并将新增的日志内容发送到Kafka。配置文件中的注释详细解释了每个配置项的作用和含义。在实际部署时需要根据实际环境调整配置文件中的路径、Kafka集群地址、主题名称等参数。 另外请注意Flume的Kafka Channel在某些版本中可能已经被标记为过时推荐使用Kafka Sink。如果你使用的是较新的Flume版本并且希望使用推荐的配置那么应该使用Kafka Sink而不是Kafka Channel。在这种情况下你需要配置一个Kafka Sink并将其绑定到一个普通的Memory Channel或File Channel。 使用Kafka Sink的配置示例如下 # Define the components of the agent agent.sources tailSource agent.channels memoryChannel agent.sinks kafkaSink# Configure the source - TAILDIR agent.sources.tailSource.type TAILDIR agent.sources.tailSource.filegroups f1 agent.sources.tailSource.filegroups.f1 /path/to/your/logfile.log agent.sources.tailSource.positionFile /path/to/flume/taildir_position.json agent.sources.tailSource.fileHeader true# Configure the channel - Memory agent.channels.memoryChannel.type memory agent.channels.memoryChannel.capacity 10000 agent.channels.memoryChannel.transactionCapacity 1000# Configure the sink - KafkaSink agent.sinks.kafkaSink.type org.apache.flume.sink.kafka.KafkaSink agent.sinks.kafkaSink.kafka.bootstrap.servers kafka-server-1:9092,kafka-server-2:9092 agent.sinks.kafkaSink.kafka.topic flume-logs agent.sinks.kafkaSink.channel memoryChannel# Bind the source and channel, and the sink and channel agent.sources.tailSource.channels memoryChannel agent.sinks.kafkaSink.channel memoryChannel在这个示例中我们配置了一个TAILDIR Source、一个Memory Channel和一个Kafka Sink。TAILDIR Source读取日志文件Memory Channel在内存中缓存事件Kafka Sink负责将事件发送到Kafka。 5、启动flume 1创建flume启动脚本f1.sh vi /usr/bin/f1.sh # 修改文件权限 chmod 777 /usr/bin/f1.sh2复制如下内容 #!/bin/bash#1. 判断参数个数 if [ $# -lt 1 ] thenecho Not Enough Arguement!exit; ficase $1 in start)#遍历集群所有机器for host in hadoop131doecho -------------------- $host flume 启动 --------------------ssh $host /data/flume/bin/flume-ng agent -n al -c /data/flume/conf/ -f /data/flume/conf/job/file_to_kafka.conf /dev/null 21 done ;; stop)#遍历集群所有机器for host in hadoop131doecho -------------------- $host flume 停止 --------------------ssh $host ps -ef | grep file_to_kafka | grep -v grep | awk {print \$2} |xargs -n1 kill 9done ;; *)echo Input Args Error... ;; esac3通过集群脚本 f1.sh 操作 f1.sh startflume启动命令说明 以下是flume启动命令的常用参数 参数默认值说明--name 或 -n无默认值必须指定指定启动的Flume Agent的名称。这个名称应该与配置文件中定义的agent的名称一致。--conf 或 -c无默认值通常设置为flume配置文件的目录指定Flume配置文件的目录。这个目录下应该包含flume的配置文件。--conf-file 或 -f无默认值必须指定指定具体的Flume配置文件名。这个文件应该包含了Flume Agent的配置信息。--zkConnString 或 -z无默认值当Flume配置使用Zookeeper进行集群管理时指定Zookeeper的连接字符串。格式为主机名:端口号多个节点用逗号分隔。-Dflume.root.logger无默认值通常设置为INFO,console设置Flume的日志级别和输出方式。例如INFO,console表示日志级别为INFO并输出到控制台。也可以设置为输出到日志文件。--no-reload-conffalse如果设置为true那么Flume将不会重新加载配置文件即使配置文件发生了变化。--help 或 -h无默认值显示帮助信息列出所有可用的启动参数。 需要注意的是Flume的启动参数可能会因版本和具体的使用场景而有所不同。上表中的参数是最常用的但并不是所有的参数都在所有版本的Flume中都可用。在实际使用时建议查阅对应版本的Flume官方文档或使用flume-ng agent --help命令查看可用的参数列表。 6、验证日志采集通路 1在指定的log目录中生成日志文件 cat app.log /data/applog/log/app1.log2查看flume.log日志文件发现自动读取到文件 Opening file: /data/applog/log/app1.log, inode: 34663712, pos: 03查看kafka数据发现自动创建配置的topictopic_log [roothadoop131 kafka]# bin/kafka-topics.sh --list --bootstrap-server localhost:9092 __consumer_offsets topic_log参考 https://flume.apache.org/