文章目录
- 一、核心架构：Router + State Store 的联邦层
- 架构组件
- 工作流程
- 二、Router：联邦接口和状态监控
- 联邦接口（Federated Interface）
- NameNode 心跳（NameNode Heartbeat）
- Router 心跳
- 三、高可用和容错：多层次的故障处理
- 1. 联邦接口高可用
- 2. State Store 不可用
- 3. 过期的 NameNode
- 四、Router 接口：多协议支持
- 支持的接口
- 不支持的操作
- 五、Quota 管理：全局配额控制
- 实现机制
- 六、State Store：可插拔的状态存储
- 存储的信息
- 后端可插拔
NameNode 因元数据开销、DataNode 心跳管理和 HDFS RPC 请求数量限制，存在扩展性瓶颈。传统 HDFS Federation 方案需要用户手动管理多个子集群，Router-based Federation（RBF）通过引入 Router 和 State Store 组件，实现了透明的联邦访问和自动化的子集群管理。
核心要点：
- Router 提供统一的 NameNode 接口，将请求转发到正确的子集群
- State Store 维护挂载表和子集群状态信息
- 支持高可用、容错和自动故障转移
- 客户端无需感知多个子集群的存在
一、核心架构：Router + State Store 的联邦层
Router-based Federation 通过在 HDFS Federation 之上添加一个软件层，实现透明的联邦访问和自动化的子集群管理。
架构组件
联邦层由两个核心组件组成：
1. Router（路由器）
- 提供与 NameNode 相同的接口，对客户端透明
- 根据 State Store 的信息将请求转发到正确的子集群
- 无状态设计，支持负载均衡和高可用
2. State Store（状态存储）
- 维护远程挂载表（Mount Table）：文件路径与子集群的映射关系
- 维护子集群状态信息（Membership）：存储容量、节点数量、HA 状态等
- 后端可插拔，支持多种存储实现
工作流程
最简单的配置是在每个 NameNode 机器上部署一个 Router：
- Router 监控本地 NameNode：定期检查 NameNode 状态，向 State Store 发送心跳
- 客户端请求：客户端通过任意 Router 访问联邦文件系统中的文件
- 路由查找：Router 查询 State Store 的 Mount Table，确定文件所在的子集群
- NameNode 定位：Router 查询 Membership 表，找到负责该子集群的 NameNode
- 请求代理：Router 将请求转发给正确的 NameNode
- 直接访问：客户端直接访问 DataNode 获取数据
这种架构与 YARN Federation 相同，提供了统一的联邦视图。
二、Router：联邦接口和状态监控
Router 有两个核心角色：对外提供统一的联邦接口，对内监控 NameNode 状态。
联邦接口（Federated Interface）
Router 接收客户端请求，查询 State Store 找到正确的子集群，然后将请求转发给该子集群的 Active NameNode。
关键特性：
- 无状态设计：Router 是无状态的，可以部署在负载均衡器后面
- 健康检查：提供
/isActive端点作为健康探针 - 性能优化：缓存远程挂载表条目和子集群状态，减少 State Store 查询
- 状态同步：每个 Router 向 State Store 发送心跳，确保状态变更传播到所有 Router
缓存机制：
- Router 与 State Store 的通信被缓存（带过期时间）
- 提高系统性能，减少 State Store 的访问压力
NameNode 心跳（NameNode Heartbeat）
Router 定期检查 NameNode 的状态（通常在同一台服务器上），向 State Store 报告：
- 高可用（HA）状态
- 负载和空间状态
注意事项：
- 这是可选角色，Router 可以独立于任何子集群
- 对于 NameNode HA，Router 使用 State Store 中的 HA 状态信息，将请求转发到最可能处于 Active 状态的 NameNode
- 此服务可以嵌入到 NameNode 本身，简化运维
Router 心跳
Router 周期性地向 State Store 发送心跳，报告自身状态。
三、高可用和容错：多层次的故障处理
Router 在多个层次上处理故障，确保系统的可用性和容错性。
1. 联邦接口高可用
- 无状态设计：Router 是无状态的，元数据操作在 NameNode 层面是原子的
- 故障转移：如果某个 Router 不可用，其他 Router 可以接管
- 客户端配置：客户端可以配置所有 Router 作为端点，使用
ConfiguredFailoverProvider或RequestHedgingProxyProvider实现 HA
2. State Store 不可用
- 安全模式：如果 Router 无法联系 State Store，将进入安全模式，拒绝处理请求
- 客户端行为：客户端将处于安全模式的 Router 视为 Standby NameNode，尝试其他 Router
- 手动管理：提供手动管理 Router 安全模式的方式
3. 过期的 NameNode
- 过期检测：如果 NameNode 心跳在 State Store 中连续多个心跳间隔未记录，监控 Router 将记录 NameNode 已过期
- 访问限制：过期的 NameNode 不会被任何 Router 访问
- 自动恢复：如果后续收到更新的心跳，监控 Router 会将 NameNode 从过期状态恢复
四、Router 接口：多协议支持
Router 暴露多个接口，支持不同的访问方式和运维需求。
支持的接口
- RPC：实现客户端与 HDFS 交互最常见的接口
- Admin：管理员可以通过 RPC 添加或移除挂载表
- Web UI：提供联邦状态的可视化界面
- WebHDFS：提供 HDFS REST 接口（WebHDFS）
- JMX：通过 JMX 暴露指标，Web UI 使用它来获取集群状态
不支持的操作
以下操作会抛出异常：
- 在不同 namespace 之间重命名、复制文件/文件夹
- 写入正在重新平衡的文件/文件夹
五、Quota 管理：全局配额控制
在挂载表级别，联邦支持全局 quota（配额）控制。
实现机制
- 性能优化：Router 缓存 quota 使用情况，定时更新
- 配额检查：当调用 RouterRPCServer 中的写 RPC 请求时，会进行 quota 使用情况的检查
- 全局视图：提供跨子集群的全局配额管理
详细说明参考：HDFS Quotas Guide
六、State Store：可插拔的状态存储
State Store 维护子集群状态和挂载表信息，后端可插拔。
存储的信息
1. Membership（成员信息）
- 编码 NameNode 的状态信息
- 包括：子集群的存储容量、节点数量等
- Router 定期获取一个或多个 NameNode 的信息
- 数据仲裁：多个 Router 可以监控同一个 NameNode，Router 会从数据层面仲裁，淘汰超过阈值的心跳条目（例如，10 个 Router 的心跳周期）
2. Mount Table（挂载表）
- 包含文件夹和子集群之间的映射
- 类似于 ViewFS 的映射表
- 指定联邦文件夹、目标子集群和该文件夹中的路径
后端可插拔
State Store 的后端是可插拔的，支持多种存储实现，可以根据实际需求选择合适的后端。
参考文档：
- HDFS Router Federation 官方文档
- 腾讯云 HDFS Router-based Federation 原理
- ViewHDFS 客户端配置
)