扩展 Kafka 集群从三台节点到四台节点的过程可以分为以下几个步骤。这个过程需要同时配置 Kafka 和 ZooKeeper，确保新的节点能够无缝地加入集群。

步骤 1: 安装并配置 Kafka 和 ZooKeeper

1. 安装 ZooKeeper 和 Kafka:

   • 在新的节点上安装与现有集群相同版本的 ZooKeeper 和 Kafka。
   • 确保新节点的网络配置能够与现有的 Kafka 和 ZooKeeper 节点通信。

2. 配置 ZooKeeper:

   • 编辑 zoo.cfg 文件，添加新的节点的配置。

   # zoo.cfg
   tickTime=2000
   dataDir=/var/lib/zookeeper
   clientPort=2181
   initLimit=5
   syncLimit=2# 现有节点
   server.1=zk1:2888:3888
   server.2=zk2:2888:3888
   server.3=zk3:2888:3888
   # 新节点
   server.4=zk4:2888:3888
   

   • 在每个 ZooKeeper 节点上，确保 myid 文件包含对应节点的 ID（如 1, 2, 3, 4）。

3. 启动 ZooKeeper:

   • 在新节点上启动 ZooKeeper 服务，并确保它与现有的 ZooKeeper 节点形成集群。

步骤 2: 配置并启动新的 Kafka 节点

1. 配置 Kafka:

   • 在新节点上编辑 server.properties 文件，添加新的 broker 的配置。

   # server.properties
   broker.id=4  # 确保每个 broker.id 是唯一的
   zookeeper.connect=zk1:2181,zk2:2181,zk3:2181,zk4:2181  # 连接所有的 ZooKeeper 节点
   listeners=PLAINTEXT://:9092  # 配置监听端口
   log.dirs=/var/lib/kafka  # 配置数据目录
   

2. 启动 Kafka:

   • 在新节点上启动 Kafka 服务，并确保它能够成功注册到 ZooKeeper。

步骤 3: 更新集群元数据

1. 扩展副本:

   • 为了使新的 Kafka 节点能够承担消息的负载，需要重新分配分区副本。
   • 使用 kafka-reassign-partitions 工具生成并执行新的分区分配计划。

   kafka-reassign-partitions --zookeeper zk1:2181,zk2:2181,zk3:2181,zk4:2181 \--generate \--broker-list "1,2,3,4" \--topics-to-move-json-file topics-to-move.json \--output-file reassignment.json
   

   • 编辑 topics-to-move.json 文件，列出需要重新分配的主题。

   {"topics": [{"topic": "your_topic_name"}],"version": 1
   }
   

   • 使用生成的 reassignment.json 文件来执行分区重新分配。

   kafka-reassign-partitions --zookeeper zk1:2181,zk2:2181,zk3:2181,zk4:2181 \--execute \--reassignment-json-file reassignment.json
   

2. 验证重新分配:

   • 确认分区重新分配已经完成。

   kafka-reassign-partitions --zookeeper zk1:2181,zk2:2181,zk3:2181,zk4:2181 \--verify \--reassignment-json-file reassignment.json
   

步骤 4: 更新监控和管理配置

1. 更新监控工具:

   • 确保所有监控工具（如 Prometheus、Grafana）和日志收集系统已经包含新的 Kafka 和 ZooKeeper 节点的配置。

2. 调整负载均衡:

   • 如果使用了负载均衡器，确保新的节点已经包含在负载均衡配置中，以便能够接收客户端请求。

注意事项

• 数据备份和恢复: 在进行扩展操作之前，确保所有数据已经备份。
• 验证新节点: 在生产环境中加入新节点之前，最好先在测试环境中进行验证，以确保所有配置正确。
• 资源监控: 扩展过程中密切监控 Kafka 和 ZooKeeper 节点的资源使用情况，确保不会超出系统的资源限制。

通过以上步骤，可以顺利地将 Kafka 集群从三台节点扩展到四台节点，确保新的节点能够无缝加入集群并承担相应的工作负载。