flume的配置和开启

配置文件:
编辑 flume-conf.properties

agent1表示代理名称

agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1

配置source1

agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/usr/local/flume_logs
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = timestamp

配置channel1

agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/usr/local/flume_logs_tmp_cp
agent1.channels.channel1.dataDirs=/usr/local/flume_logs_tmp

配置sink1

agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://Spark1:9000/flume_logs
agent1.sinks.sink1.hdfs.fileType=DataStream
agent1.sinks.sink1.hdfs.writeFormat=TEXT
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d

开启:切换到Flume的bin目录下
./flume-ng agent -n agent1 -c conf -f /root/app/flume-1.5.0/conf/flume-conf.properties -Dflume.root.logger=DEBUG,consple

运行:
18/06/11 22:41:24 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:24 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:25 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:25 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:26 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:26 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:27 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:27 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:28 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:28 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:29 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:29 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.
18/06/11 22:41:30 INFO source.SpoolDirectorySource: Spooling Directory Source runner has shutdown.

完成!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/325980.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

青客宝团队Consul内部分享ppt

Consul 是一个支持多数据中心,分布式,高可用的服务发现和配置共享系统。由 HashiCorp 公司使用 Go 语言开发,基于Raft协议。部署起来非常容易,只需要极少的可执行程序和配置文件,具有绿色、轻量级的特点。 Consul是支持…

2018蓝桥杯省赛---java---C---9(小朋友崇拜圈)

题目描述 思路分析 数组来储存小朋友们的崇拜对象,然后下标1就是对应的小朋友座号,写一个方法找出每一个小朋友的崇拜圈大小,然后找出最大的崇拜圈即可 代码实现 package lanqiao;import java.util.*;public class Main {public static vo…

漫画:什么是时间复杂度

转载自 漫画:什么是时间复杂度 时间复杂度的意义 究竟什么是时间复杂度呢?让我们来想象一个场景: 某一天,小灰和大黄同时加入了一个公司...... 一天过后,小灰和大黄各自交付了代码,两端代码实现的功能…

Office基础和计算机操作基础的知识点(一)

 运指如飞: 一、鼠标的基本操作 1.单击 2.双击 3.移动 4.拖拽 二、键盘的分布 1.功能键区 2.打字键盘区 3.数字键盘区 4.指示灯 5.编辑键区 三、输入法 1.切换输入法:ctrlshift 2.选中的方法: 1)鼠标选中 2)按shift键移动左右键 四、记事…

Flume整合SparkStreaming出现UnsupportedClassVersionError: org/apache/spark/streaming/flume/sink/SparkFlum

Flume整合SparkStreaming使用Poll方式拉取数据出现 UnsupportedClassVersionError: org/apache/spark/streaming/flume/sink/SparkFlumeProtocol : Unsupported major.minor version 52.0 问题: INFO node.Application: Starting Source source1 18/06/12 03:34…

Visual Studio 和 Team Foundation Server 产品维护及周期策略

1 适用于 Visual Studio 和 Team Foundation Server 2012 - 2017 这些产品遵循 Microsoft 10 年支持生命周期策略(5 年主流支持和 5 年扩展支持),起始日期为主要产品版本向全球 (RTW) 发布的日期。 例如,Visual Studio 2017 于 20…

28. 实现 strStr()---LeetCode---JAVA(今天又是一行超人)

class Solution {public int strStr(String haystack, String needle) {return haystack.indexOf(needle);} }

DevOps通用及版本控制面试题

转载自 DevOps通用及版本控制面试题 通用DevOps面试问题 此类别将包含与任何特定DevOps阶段无关的问题。这里的问题旨在测试您对DevOps的理解,而不是关注特定工具或阶段。 问题一: DevOps和Agile之间的根本区别是什么? 两者之间的差异…

Office基础知识点总结(二)

 PowerPoint幻灯片制作: 一、PPT2010的界面: 1.功能选项卡 2.大纲区 3.标题栏 4.备注页 5.状态栏 6.工作区 二、创建PPT演示文稿 1.开始–》PPT2010 2.在PPT里面新建–》文件–》新建–》样本模板–》选择模板。 三、PPT2010中的视图: 1.普…

zookeeper出现Error contacting service. It is probably not running.

在两个节点 的zookeeper搭建启动的时候出现如下报错 JMX enabled by default Using config: /root/app/zookeeper/bin/../conf/zoo.cfg Error contacting service. It is probably not running. 查看zookeeper.out 日志报错如下 2018-06-13 03:13:18,573 [myid:0] - INFO …

微信和支付宝支付模式详解及实现(.Net标准库)

支付基本上是很多产品都必须的一个模块,大家最熟悉的应该就是微信和支付宝支付了,不过更多的可能还是停留在直接sdk的调用上,甚至和业务系统高度耦合,网上也存在各种解决方案,但大多形式各异,东拼西凑而成。…

DFS

//深度优先算法//i第一次就是0public void dfs(boolean[]isVisited,int i){//首先我们访问该节点System.out.println(getValueByIndex(i));isVisited[i]true;int wgetFirstNeighbor(i);while (w!-1){if(!isVisited[w]){dfs(isVisited,w);}//如果w节点已经被访问过wgetNextNeigh…

这些Spring面试题,你都会了吗?

转载自 这些Spring面试题,你都会了吗? 问题一: 什么是Spring? Spring是Enterprise Java的开源开发框架。Spring Framework的核心功能可用于开发任何Java应用程序,但有一些扩展用于在Java EE平台之上构建Web应用程…

计算机操作基础知识点总结

 计算机组装: 一、计算机硬件组成: 1.CPU 2.主板 3.内存 4.硬盘 5.光驱 6.显卡 7.网卡 8.声卡 9.电源 10.操作系统 二、CPU型号: 1.INTEL 1)主频:2.8-3.7GHZ 2)核心:双核、四核、八核、十核 3)高速总缓冲&#xff1a…

Kafka启动出现Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Pr

kafka启动时,出现报错! [rootSpark1 bin]# cat nohup.out Unrecognized VM option ‘UseCompressedOops’ Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit. 原因: 开始…

BFS

public void bfs(boolean[]isVisited,int i){int u;//表示队列的头结点对应的下标int w;//表示邻接节点w//队列LinkedList queue new LinkedList();//访问节点,输出节点信息System.out.println(getValueByIndex(i)">");isVisited[i]true;queue.addLas…

.NET遇上Docker - 使用Docker Compose组织Ngnix和.NETCore运行

本文工具准备: Docker for WindowsVisual Studio 2015 与 Visual Studio Tools for Docker或 Visual Studio 2017 需要在安装时选择“容器开发支持”,如图: Docker的思想是将不同的应用放在不同的容器中分开运行,如运行.NetCore …

平面设计基础(PS)知识点总结

 PS基础知识: 一、ps全称:Adobe Photoshop ,Adobe Photoshop是由Adobe Systems 开发和发行的专门用于图形图像处理的软件。 二、PS的应用领域: 1.在平面设计中的应用 2.在插画设计中的应用 3.在网页设计中的应用 4.在界面设计中…

为什么大公司一定要使用DevOps

转载自 为什么大公司一定要使用DevOps 0 DevOps的意图 究竟什么是DevOps? 要想回答这个问题,首先要明确DevOps这个过程参与的人员是谁?即开发团队和IT运维团队!那么,DevOps的意图是什么呢?即在两个团队之间&#…

基于ZooKeeper实现HA高可用性以及自动主备切换

默认情况下,standalone cluster manager对于worker节点的失败是具有容错性的(迄今为止,Spark自身而言对于丢失部分计算工作是有容错性的,它会将丢失的计算工作迁移到其他worker节点上执行)。然而,调度器是依…