【实现自己的 kafka！】kafka 的关键概念

kafka 的诞生

现在是在 2000 年代后期，你的名字叫做 Jay Kreps，你就职于 LinkedIn 公司。
LinkedIn 作为社交网络平台，用户规模和数据量现在快速增长，同时内部存在多种数据传递和处理需求，比如用户行为跟踪、日志收集、数据同步等。
你决定开发一个可以解决公司日志收集和数据管道问题的组件，所以需要满足高吞吐量，持久化存储，良好的扩展性和容错能力等特性。
由于你很喜欢弗兰兹・卡夫卡的作品，觉得其风格独特且富有深意，所以你给这个项目起名叫做 kafka。
自此，一个叫做 kafka 的组件开始存在！

kafka 是什么

Kafka 是一款开源的分布式流处理平台，核心功能是高效地接收、存储和传递大规模的实时数据流。
它的本质可以理解为 “分布式的消息队列 + 流处理工具”，既解决了传统消息队列的性能瓶颈，又拓展了实时数据处理的能力，是构建实时数据管道、事件驱动架构的核心组件。

kafka 的核心

既然是一个消息队列，那么就可以来进行一些简单的核心设计了

1. Producer（生产者）

2. Consumer（消费者）

3. Topic（主题）

这是一个消息队列比较简单的部分了，由生产者将消息放入特定的主题，然后由消费者到特定的主题进行消费
因为你要满足高吞吐量的要求，你想到，可以再次将 Topic 分开，每一个都拥有独立的处理能力，也就是说，每一个都是一个队列，你将每个分开的 Topic 叫做

4. Partition（分区）

由于这是一个分布式的组件， 加上要提升组件的可靠性，你想着可以增加几个副本来保证存储不丢失，同时也可以在当前分区不可以使用的时候，进行使用，所有有一个被称为首领副本（Leader Replica），负责处理读写请求；其他为跟随者副本（Follower Replica），仅同步首领副本的数据。当首领副本故障时，会从跟随者中选举新的首领。

5. Replica（副本）

你以前使用数组实现过简单的队列，你知道，使用数组的索引来表示当前队列的顺序，你也设计了一个相同的东西，来表示当前消息在分区中为位置，你将他称为

6. Offset （偏移量）

接下来你想实现消息队列的消费问题，一个消息只被一个消费者消费是比较简单的，但是有场景要求必须实现多个消费者组消费一条消息，你想到可以有一个消费组的概念，消息是按照消费者组进行消费的，当消费者组中只有一个消费者的时候，就实现了点对点模式，当有多个消费者的时候就实现了发布订阅模式

7. Consumer Group（消费者组）

因为是一个分布式的集群，所以你将这个集群称为kafka，而其中的每一个节点，你称为

8. Broker（代理）

因为 Partition 是一个独立可运行的单位，所以你将 Partition 放在不同的 broker 上， 提高可靠性和吞吐量