kafka 面试题 答案整理中

一、Kafka 基础概念（1–40）

1. Kafka 是什么？主要解决什么问题？
2. Kafka 与传统消息队列（RabbitMQ、ActiveMQ）有什么区别？
3. Kafka 的核心组件有哪些？
4. 什么是 Topic？
5. 什么是 Partition？
6. 为什么 Kafka 采用 Partition？
7. Partition 的数量会影响什么？
8. Kafka 的消息是如何存储的？
9. 什么是 Offset？
10. Offset 在消费者端是如何维护的？
11. Kafka 的消息是否可以被修改？
12. Kafka 的消息能被删除吗？
13. Kafka 的消息是有序的吗？
14. Kafka 的副本机制是怎样的？
15. 什么是 Leader 和 Follower？
16. Leader 是如何选举出来的？
17. Kafka 为什么需要 ZooKeeper？
18. Kafka 3.0 以后还需要 ZooKeeper 吗？
19. 什么是 Controller？
20. Kafka 的 Broker 是什么？
21. Broker 崩溃后会怎样？
22. Topic 可以动态增加 Partition 吗？
23. Partition 扩容后消息顺序会怎样？
24. Producer 是怎么决定消息发往哪个 Partition 的？
25. 什么是 Keyed Message？
26. Kafka 的 ACK 有哪几种模式？
27. ACK=0、1、-1 的区别是什么？
28. Kafka 的消息是推模式还是拉模式？
29. Consumer Group 是什么？
30. 同一个 Consumer Group 里多个消费者如何分配分区？
31. Rebalance 是什么？
32. Rebalance 什么时候触发？
33. Kafka 如何保证消息顺序？
34. Kafka 如何保证消息不丢失？
35. Kafka 如何保证消息不重复？
36. Kafka 如何实现 Exactly Once？
37. Kafka 的幂等性 Producer 是如何实现的？
38. Kafka 的事务机制（Transaction）如何工作？
39. Kafka 的 Retention 策略有哪些？
40. Kafka 的 Compaction 是做什么的？

---

二、Kafka Producer 原理与调优（41–80）

41. Producer 的发送模式有哪几种？
42. 同步发送与异步发送的区别？
43. KafkaProducer 内部线程模型？
44. RecordAccumulator 是什么？
45. Batching 是怎么做的？
46. linger.ms 参数的作用？
47. batch.size 参数的作用？
48. buffer.memory 参数作用？
49. max.in.flight.requests.per.connection 有什么用？
50. acks 参数会影响性能吗？
51. retries 和 retry.backoff.ms 参数含义？
52. max.request.size 是什么意思？
53. 压缩（compression.type）有哪些算法？
54. 不同压缩算法性能对比？
55. 幂等 Producer 如何启用？
56. 幂等 Producer 会影响性能吗？
57. 幂等 Producer 的局限性？
58. 事务 Producer 如何启用？
59. Producer 发送失败如何重试？
60. 如何处理消息发送超时？
61. 生产者的缓冲区满了怎么办？
62. KafkaProducer 是线程安全的吗？
63. 发送高吞吐消息时如何调优？
64. Kafka 的 TPS 能到多少？
65. Kafka 写入磁盘性能为什么这么高？
66. Kafka 的顺序写日志有什么优势？
67. Zero Copy 是什么？
68. Page Cache 在 Kafka 中的作用？
69. Kafka 使用 mmap 吗？
70. 为什么 Kafka 用 sendfile 而不是直接读写？
71. KafkaProducer 如何确认发送成功？
72. 如何监控 Producer 性能？
73. Kafka 的拦截器（Interceptor）作用是什么？
74. Producer 拦截器的执行顺序？
75. 发送时消息大小过大如何处理？
76. 发送延迟高的常见原因？
77. 如何在高并发场景下保持低延迟？
78. 如何设计 Producer 的重试机制？
79. Producer Metrics 中最重要的指标有哪些？
80. 如何模拟 Producer 压测？

---

三、Kafka Consumer 原理与调优（81–120）

81. Consumer 拉取消息的流程？
82. Consumer 如何维护 offset？
83. offset 提交的方式有哪些？
84. auto.commit.interval.ms 是什么？
85. enable.auto.commit=true 有什么风险？
86. 如何实现手动提交 offset？
87. 同一个 group 下两个 consumer 能消费同一个 partition 吗？
88. 如果一个分区没有被消费，会怎样？
89. Rebalance 是如何执行的？
90. Rebalance 时消费者会暂停吗？
91. Rebalance 会导致消息重复消费吗？
92. 如何避免频繁 Rebalance？
93. partition.assignment.strategy 参数的作用？
94. StickyAssignor 和 RangeAssignor 区别？
95. 消费延迟（lag）如何计算？
96. Kafka 如何检测 Consumer 是否活着？
97. session.timeout.ms 与 heartbeat.interval.ms 的关系？
98. Consumer 挂掉后 offset 会怎样？
99. Consumer offset 存储在哪里？
100. __consumer_offsets 主题的结构？
101. __consumer_offsets 是 compact topic 吗？
102. 消费者如何处理反序列化失败？
103. 如何实现批量消费？
104. 如何提高消费速度？
105. fetch.min.bytes 和 fetch.max.wait.ms 参数？
106. max.partition.fetch.bytes 是什么？
107. fetch.max.bytes 有什么限制？
108. Consumer Metrics 哪些关键？
109. Consumer 线程模型？
110. 一个消费者能消费多个主题吗？
111. Kafka 消费端幂等如何实现？
112. 如何防止重复消费？
113. 消费者断线重连机制？
114. offset 丢失如何处理？
115. KafkaConsumer 是线程安全的吗？
116. 多线程消费的最佳实践？
117. Rebalance 期间如何优雅暂停消费？
118. 消费者组扩缩容对性能影响？
119. 消费延迟高怎么排查？
120. 消费者负载不均衡的原因？

---

四、Kafka 存储与日志管理（121–150）

121. Kafka 消息在磁盘上的存储结构？
122. log.segment.bytes 是什么？
123. log.retention.hours 与 log.retention.bytes 的关系？
124. Kafka 是如何清理老数据的？
125. Delete 和 Compact 两种清理策略的区别？
126. Compact 策略的底层实现？
127. Kafka 文件命名规则？
128. index 文件的作用？
129. timeindex 文件的作用？
130. offset.index 的结构？
131. Kafka 如何通过 offset 快速定位消息？
132. 文件刷盘机制？
133. log.flush.interval.messages 作用？
134. Kafka 数据是落盘才算“持久化”吗？
135. Kafka checkpoint 是什么？
136. recovery-point-offset 是干嘛的？
137. Kafka 崩溃恢复流程？
138. 如何检测数据是否损坏？
139. Kafka 使用什么方式保证高可靠？
140. Broker 启动慢的常见原因？
141. Controller 在日志恢复中扮演什么角色？
142. ReplicaFetcher 线程做什么？
143. ISR 是什么？
144. ISR shrink/expand 的条件？
145. HW（High Watermark）与 LEO 的区别？
146. 消费者读取消息时使用哪个 offset？
147. Kafka 的副本同步机制？
148. 数据复制是同步还是异步的？
149. Kafka 如何处理副本落后太多的情况？
150. 什么时候副本会被踢出 ISR？

---

五、Kafka 运维与监控（151–180）

151. Kafka 常用监控指标有哪些？
152. 如何查看某个 topic 的分区数？
153. 如何调整副本因子？
154. 如何手动重新分配分区？
155. 如何查看 consumer lag？
156. 如何强制 leader 选举？
157. Controller 切换会影响性能吗？
158. Kafka 日志存储路径？
159. Kafka 日志目录下的文件结构？
160. Kafka 常见内存配置项？
161. JVM 调优参数推荐？
162. Kafka 常见 GC 问题？
163. 如何定位 Kafka 延迟问题？
164. Kafka 吞吐下降的排查思路？
165. Kafka 日志磁盘爆满怎么办？
166. Broker 崩溃频繁的常见原因？
167. Kafka 集群扩容步骤？
168. 如何安全地减少 broker 数量？
169. 如何备份 Kafka 数据？
170. Kafka MirrorMaker 原理？
171. MirrorMaker 2.0 改进点？
172. Kafka Connect 的作用？
173. 如何自定义 Sink Connector？
174. Kafka Streams 与 Connect 区别？
175. Kafka 的 JMX 监控指标有哪些？
176. 如何与 Prometheus 集成？
177. 如何可视化 Kafka 监控？
178. Kafka 日志级别调整方式？
179. 如何查看 Kafka Controller 日志？
180. Kafka 常见运维命令有哪些？

---

六、Kafka 高级与架构设计（181–200）

181. Kafka 如何保证消息的顺序性？
182. 如何实现延迟队列？
183. 如何实现消息回溯消费？
184. 如何实现消息过滤？
185. Kafka 与 Flink 的集成方式？
186. Kafka 与 Spark Streaming 集成？
187. Kafka 与数据库同步数据的方式？
188. Kafka 如何实现高可用？
189. Kafka 如何保证跨机房一致性？
190. Kafka 集群跨地域部署注意事项？
191. Kafka 集群的副本因子一般设置多少？
192. 为什么不能所有分区副本都在同一台机器上？
193. Kafka 高并发写入瓶颈在哪？
194. Kafka 高并发消费瓶颈在哪？
195. 如何设计百万 TPS 的 Kafka 集群？
196. Kafka + Schema Registry 是什么？
197. Kafka 如何与 Avro、Protobuf 集成？
198. Kafka 为什么性能比 RabbitMQ 高？
199. Kafka 的缺点有哪些？
200. Kafka 在大规模生产环境中常见的坑？