境外建网站,电影网站做静态是不是好一些,北京php网站制作,中国建设银行网站怎么改支付密码是什么Kafka是由LinkedIn开发的一个分布式的消息系统#xff0c;使用Scala编写#xff0c;它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 1.下载Kafka并安装 1#xff09;下载Apache版本的Kafka。 …Kafka是由LinkedIn开发的一个分布式的消息系统使用Scala编写它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 1.下载Kafka并安装 1下载Apache版本的Kafka。 2下载Cloudera版本的Kafka。 3这里选择下载Apache版本的kafka_2.11-0.8.2.1.tgz 然后上传至bigdata-pro01.kfk.com节点/opt/softwares/目录下 4解压Kafka tar -zxf kafka_2.11-0.8.2.1.tgz  -C /opt/modules/ 2.Kafka集群配置 1配置server.properties文件 vi kafka_2.11-0.8.2.1 #节点唯一标识 broker.id0 #默认端口号 port9092 #主机名绑定 host.namebigdata-pro01.kfk.com #Kafka数据目录 log.dirs/opt/modules/kafka_2.11-0.8.2.1/tmp/kafka-logs #配置Zookeeper zookeeper.connectbigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 2配置zookeeper.properties文件 vi zookeeper.properties #Zookeeper的数据存储路径与Zookeeper集群配置保持一致 dataDir/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData 3配置consumer.properties文件 #配置Zookeeper地址 zookeeper.connectbigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 4配置producer.properties文件 #配置Kafka集群地址 metadata.broker.listbigdata-pro01.kfk.com:9092,bigdata-pro02.kfk.com:9092,bigdata-pro03.kfk.com:9092 5Kafka分发到其他节点 scp -r kafka_2.11-0.8.2.1 bigdata-pro02.kfk.com:/opt/modules/ scp -r kafka_2.11-0.8.2.1 bigdata-pro03.kfk.com:/opt/modules/ 6修改另外两个节点的server.properties #bigdata-pro02.kfk.com节点 broker.id1 host.namebigdata-pro02.kfk.com #bigdata-pro03.kfk.com节点 broker.id2 host.namebigdata-pro03.kfk.com 3.启动Kafka集群并进行测试 1各个节点启动Zookeeper集群 bin/zkServer.sh start 2各个节点启动Kafka集群 bin/kafka-server-start.sh config/server.properties 3创建topic bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 1 --partitions 1 4查看topic列表 bin/kafka-topics.sh --zookeeper localhost:2181 --list 5生产者生成数据 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 6消费者消费数据 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning转载于:https://www.cnblogs.com/ratels/p/10844719.html