专业网站建设收费,建设部网站如何下载规范 标准,网站开发流程步骤 口袋,学校门户网站的作用kafka基本概念 Producer 生产者#xff1a;负责将消息发送到 BrokerConsumer 消费者#xff1a;从 Broker 接收消息Consumer Group 消费者组#xff1a;由多个 Consumer 组成。消费者组内每个消费者负责消费不同分区的数据#xff0c;一个分区只能由一个组内消费者消费负责将消息发送到 BrokerConsumer 消费者从 Broker 接收消息Consumer Group 消费者组由多个 Consumer 组成。消费者组内每个消费者负责消费不同分区的数据一个分区只能由一个组内消费者消费消费者组之间互不影响Broker可以看做一个独立的 Kafka 服务节点或 Kafka 服务实例Topic一个逻辑上的概念包含很多 partition同一个 topic 下的 partition 的消息内容是不相同的Partition为了实现扩展性一个非常大的 topic 可以分布到多个 broker 上一个 topic 可以分为多个 partition每个 partition 是一个有序的队列Replica 副本同一分区的不同副本保存的是相同的消息。为保证集群中的某个节点发生故障时该节点上的 partition 数据不丢失且 Kafka 仍然能够继续工作Kafka 提供了副本机制一个 topic 的每个分区都有若干个副本一个 leader 和若干个 follower kafka架构图 如何确定当前能读到哪一条消息? 分区相当于一个日志文件,我们需要知道几个概念 offset 消息偏移量分别是 0~60 代表这个日志文件的开始HWHigh Watermark为 4。0~3 代表这个日志文件可以消费的区间消费者只能消费到这 4 条消息LEO 代表即将要写入消息的偏移量 offset 分区 ISR 集合中的每个副本都会维护自己的 LEO而 ISR 集合中最小的 LEO 即为分区的 HW 如上图所示3 个分区副本都是 ISR 集合当中的。最小的 LEO 为 3就代表分区的 HW 为3,所以当前分区只能消费到 0~2 之间的 3 条数据 生产者发送消息有哪些模式? 发后即忘同步异步 发送消息的分区策略有哪些? 轮询key指定自定义策略指定 Partiton 发送 Kafka 支持读写分离吗为什么? 读写分离有两个缺点 数据不一致的问题延时问题 kafka不支持读写分离 Kafka 如何实现负载均衡? kafka 独特的架构方式可以通过主写主读来实现负载均衡 Kafka 的可靠性是怎么保证的? acks acks 1默认为1。生产者发送消息只要 leader 副本成功写入消息就代表成功acks 0。生产者发送消息后直接算写入成功不需要等待响应acks -1 或 acks all。生产者发送消息后需要等待 ISR 中的所有副本都成功写入消息后才能收到服务端的响应 我们可以通过同步或者异步获取响应结果,失败做重试来保证消息的可靠性.手动提交位移通过副本LEO来确定分区HW kafka为什么会重复消费消息? 在kafka提交offset的时候,可能由网络延迟或者某些原因导致offset没有同步,导致其他consumer消费了已经消费的消息. 如何保证kafka消息被顺序消费 如果消息需要被顺序消费,就需要将这类消息指定发送到一个partition中. 副本 leader 是怎么选举的 优先副本选举:优先副本就是说在 AR 集合中的第一个副本 如何增强消费者的消费能力? 可以考虑增加 topic 的分区数并且同时提升消费组的消费者数量消费者数分区数如果是消费者消费不及时可以采用多线程的方式进行消费并且优化业务方法流程 Kafka 控制器是什么,有什么作用? 在 Kafka 集群中会有一个或多个 broker其中有一个 broker 会被选举为控制器它负责管理整个集群中所有分区和副本的状态Kafka 集群中只能有一个控制器 当某个分区的 leader 副本出现故障时由控制器负责为该分区选举新的 leader 副本当检测到某个分区的 ISR 集合发生变化时由控制器负责通知所有 broker 更新其元数据信息当为某个 topic 增加分区数量时由控制器负责分区的重新分配。 Kafka 为什么这么快? 顺序读写Page Cache零拷贝分区分段索引批量读写批量压缩 什么情况下 kafka 会丢失消息? Kafka 有三次消息传递的过程生产者发消息给 BrokerBroker 同步消息和持久化消息Broker 将消息传递给消费者。 这其中每一步都有可能丢失消息 生产者发送数据 当 acks 为 0只要服务端写消息时出现任何问题都会导致消息丢失当 acks 配置为 1 时生产者发送消息只要 leader 副本成功写入消息就代表成功。这种方案的问题在于当返回成功后如果 leader 副本和 follower 副本还没有来得及同步leader 就崩溃了那么在选举后新的 leader 就没有这条消息也就丢失了 Broker 存储数据 kafka 通过 Page Cache 将数据写入磁盘,Page Cache 就是当往磁盘文件写入的时候系统会先将数据流写入缓存中但是什么时候将缓存的数据写入文件中是由操作系统自行决定。所以如果此时机器突然挂了也是会丢失消息的 消费者消费数据 在开启自动提交 offset 时只要消费者消费到消息那么就会自动提交偏移量如果业务还没有来得及处理那么消息就会丢失。 Kafka的哪些场景中使用了零拷贝 基于mmap的索引日志文件读写所用的TransportLayer