1. 启动集群每个节点的进程
nohup kafka-server-start.sh \
/home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties \
1>~/logs/kafka_std.log \
2>~/logs/kafka_err.log &
2. 创建 Topic
解释说明：
–create --> 创建 Topic 的选项
–zookeeper --> 指定 ZooKeeper 集群地址
–replication-factor --> Topic 的副本数
–partitions --> 分区个数
–topic --> Topic 名称
kafka-topics.sh \
--create \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--replication-factor 3 \
--partitions 10 \
--topic gldwolf
3. 查看已经创建的所有 Kafka Topic
kafka-topics.sh \
--list \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181
4. 查看某个指定的 Topic 的详细信息
kafka-topics.sh \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--describe \
--topic gldwolf
结果如下：
Topic：Topic 名称
Partition：Topic 的分区编号
Leader：负责处理消息的读和写，Leader 是从所有节点中随机选择的
Replicas：列出了所有的副本节点，不管节点是否在服务中
Isr：正在服务中的节点
5. 开启生产者模拟生成数据:
kafka-console-producer.sh \
--broker-list hdp01:9092,hdp02:9092,hdp03:9092 \
--topic gldwolf
6. 开启消费者模拟消费数据
kafka-console-consumer.sh \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--from-beginning \
--topic gldwolf
7. 查看某个 Topic 的某个 Partition 的偏移量的最大值和最小值
kafka-run-class.sh \
kafka.tools.GetOffsetShell \
--topic gldwolf \
--time -1 \
--broker-list hdp01:9092,hdp02:9092,hdp03:9092 \
-partitions 1
8. 增加 Topic 分区数
# 修改分区数为 20
kafka-topics.sh \
--alter \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--topic gldwolf \
--partitions 20 # 修改副本个数为 2
kafka-topics.sh \
--alter \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--topic gldwolf \
--replication-factor 2
9. 删除 Topic
kafka-topics.sh \
--delete \
--zookeeper hdp01:2181,hdp02:2181,hdp03:2181 \
--topic gldwolf
