《Kafka 原理与架构分享》展开，详细介绍了 Kafka 的基本概念、特性、核心架构、分区与副本机制、消费与开发要点以及在数据服务中的应用，内容如下：
-
Kafka 概述
-
基本定义
- 开源平台：Kafka 是阿帕奇软件基金会开发的开源分布式事件流平台，2011 年由 LinkedIn 公司开源，经过多年发展已相当成熟。
- 消息系统本质：本质上是分布式发布订阅消息系统，即消息队列，在公司数据领域应用广泛。
-
主要特点
- 高吞吐量：普通 PC 每秒可处理数十万条消息。
- 低延迟：延迟可达毫秒级。
- 容错性：通过多副本机制实现容错，类似 Hadoop 中 SDFS 存储的冗余方式。
- 可扩展性：可构建集群，增加 broker 节点实现横向扩展。
-
-
Kafka应用场景
-
消息系统
- 解耦与流量削峰：在 a 系统和 b 系统间增加消息系统，实现解耦，b 系统可根据处理能力平滑消费消息，避免 a 系统高峰期流量打挂 b 系统。
- 顺序性保障与回溯机制：通过消息的 offset 机制实现消息顺序性保障和回溯功能。
- 存储系统：将消息持久化到磁盘，结合持久化和多副本机制保证数据长期存储不丢失。
- 流式数据处理平台：提供完整流式处理类库，如窗口连接、变换、聚合等 API，但对大流量支持不佳，主流实时应用场景多使用 Spark 或 Flink。
-
-
Kafka 核心架构
-
简单架构组件
- producer：消息生产者，向 Kafka 集群发送消息。
- broker：Hadoop 的一个实例，负责消息存储。
- consumer：通过 pull 方式从 Kafka 集群获取消息，消费数量由 consumer 端控制。
- zookeeper：作为 Kafka 元数据管理，后续会详细讲解。
-
详细架构
- Kafka 集群细化：broker 中有多个 topic，每个 topic 又分为多个 partition，每个 partition 有一个 leader 和多个 follower，读写操作针对 leader 进行，follower 从 leader 同步消息，leader 挂掉时 follower 可接替。
- consumer group：消费者组概念，一个消费者组中可设置多个 consumer，但同一消费者组中的 consumer 只能消费一个 partition 中的消息。
-
-
Kafka 核心组件
-
BROKER
- 消息存储管理：接收生产者消息，为消息设置递增偏移量并持久化到磁盘。
- 分区 leader 机制：每个分区有一个 BROKER 作为 leader，处理分区所有读写请求。
-
producer
- 消息传输任务：将业务系统实时数据流可靠高效传输到 Kafka，主要工作包括消息构造、序列化、分区选择和批次发送。
- 核心功能：具备消息分区策略、可靠性保障机制和批量发送等优化功能。
-
consumer
- 消息读取处理：从 Kafka 集群读取和处理消息，通过 offset 追踪已读取消息位置，存储在 consume offset topic 中。
- 偏移量提交方式：有自动提交和手动提交两种，手动提交又分为同步和异步提交，异步提交效率较高。
- 消费模式：包括队列模式和发布订阅模式。
-
topic 和 partition
- 逻辑与物理概念：topic 是消息的逻辑分类单元，可理解为消息类别或频道；partition 是物理概念，最终数据存储在 partition 中，每个 partition 可分为多个 segment。
- 文件结构：partition 是文件夹，包含 log 文件（消息具体内容）、两个 index 文件（稀疏索引加速消息查找）和 timeindex 文件（根据时间戳查找消息偏移量）。
-
zookeeper
- 元数据管理：作为 Kafka 元数据管理和协调功能，存储节点注册、topic 分配、分区状态等元数据。
- Controller 选举：集群启动或 Controller 故障时触发选举，谁先获取 Controller 临时节点谁就是 Controller；Kafka 2.8 版本引入 Kraft 模式，基于 Raft 协议选举，元数据存在 meta data topic 中，通过 epoch 机制避免脑裂问题。
-
-
Kafka 数据特性与机制
-
数据持久化与清理
- 顺序写入磁盘：消息通过 append only 方式顺序写入磁盘，避免随机写入性能损耗。
- 保留策略：支持时间（retention.ms 或 hours）和空间（retention.bytes）作为消息保留策略。
- 清理策略：包括删除策略（policy = delete）、压缩策略（policy = compact）和混合策略，根据保留条件清理冗余数据。
- 高吞吐量技术：包括磁盘顺序读写、0 拷贝技术、批量处理和内存映射。
-
分区机制
- 消息有序与负载均衡：每个 topic 分成多个 partition，partition 内消息通过 offset 保证有序，跨 partition 消息顺序无法保证；可通过设置 k 值将相同 k 的消息分配到同一 partition 实现全局有序，分区分布在不同 broker 上实现负载均衡。
- 分区策略：Kafka 支持指定 partition、根据 key 的 hash 值取余和轮询算法三种分区策略。
- 分区扩容与缩容：创建 topic 时需指定 partition 数量，后续只能增加不能减少，增加分区可实现 topic 扩容，减少分区涉及消息迁移，Kafka 不提供缩容功能。
-
副本机制
- leader - follower 模式：一个 leader 多个 follower，leader 处理读写请求，follower 同步数据，leader 失效时从 ISR 中选一个 follower 作为新 leader。
- ACK 应答机制：提供 0、1、-1（all）三种可靠性级别，0 表示至多一次，-1 表示至少一次，启用幂等生产者可避免消息重复，实现精准一次需 Kafka 0.11 版本之后。
- ISR 机制：leader 端维护动态同步副本集 ISR，保证数据一致性，follower 长时间不同步会被踢出 ISR；ISR 副本不足时 topic 进入只读状态。
- 故障处理：follower 故障时 leader 无需重新选举，leader 故障时从 ISR 中选新 leader，ISR 为空时可等待 leader 恢复或从非同步副本集选择，前者数据不丢失，后者恢复快但可能丢失数据。
-
-
消费者组与开发使用
-
消费者组智能器
- 负载均衡与水平扩展：主要作用是实现负载均衡和水平扩展，消费者数量变化时会进行再平衡，重新分配分区。
- 分区分配策略：包括 range 方式（默认，按字典排序分配连续分区，可能导致不均衡）、round Robin 方式（轮询分配，相对均衡）和粘性分配（尽量保持与上一次一致，减少动态平衡）。
-
Kafka 开发使用
- 配置要点：配置 broker 地址（host + port）、序列化器（k 和 value 序列化器无默认值，需每次设置），生产者使用 -1（all）方式最安全但较慢。
- 消费者开发：除类似配置外，还需设置 group ID 唯一标识消费者组。
- 命令行操作：可查看、创建、删除 topic，指定副本数和分区数，修改分区数只能增加。
- 安全与 ACL 控制：分布式系统安全涉及身份认证和鉴权，Kafka 有 SSL 和 Sasl 两种安全模式，典型的是基于 Kerberos 认证；ACL 控制是更细粒度的权限控制，可对用户、主机、topic、group 和 cluster 等进行读写、创建、删除、查看等操作授权。
-
-
Kafka 在数据服务中的使用
- 数据处理流程：从 Kafka 读取 CTI、UDS、IVR 等消息，通过 RTME 实时指标计算引擎使用 Flink 实时流计算，将指标写入 Redis、ES 或 Kafka，IPE 实时读取 CDR 数据写入 starrocks。
- 数据应用
