美团Leaf分布式ID生成器使用教程:号段模式与Snowflake模式详解

引言

在分布式系统中,生成全局唯一ID是核心需求之一。美团开源的Leaf提供了两种分布式ID生成方案:号段模式(高可用、依赖数据库)和Snowflake模式(高性能、去中心化)。本文将手把手教你如何配置和使用这两种模式,并解析其核心机制。


一、Leaf号段模式使用教程

1. 环境准备

  • 数据库:MySQL 5.7+
  • Java环境:JDK 1.8+
  • Leaf源码:从GitHub克隆Leaf仓库(推荐使用feature/spring-boot-starter分支)。

2. 数据库配置

2.1 创建表结构

执行以下SQL创建leaf_alloc表,用于管理号段:

CREATE TABLE `leaf_alloc` (`biz_tag` varchar(128) NOT NULL DEFAULT '' COMMENT '业务标识',`max_id` bigint(20) NOT NULL DEFAULT '1' COMMENT '当前最大ID',`step` int(11) NOT NULL COMMENT '号段步长',`description` varchar(256) DEFAULT NULL COMMENT '业务描述',`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY (`biz_tag`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
2.2 插入测试数据

初始化两个业务标识(例如订单和用户服务):

INSERT INTO leaf_alloc(biz_tag, max_id, step, description) 
VALUES ('order', 1, 2000, '订单服务'), ('user', 1, 2000, '用户服务');

3. Leaf服务配置

3.1 修改配置文件

leaf-server/src/main/resources/leaf.properties中配置数据库连接:

leaf.name=leaf-service
leaf.segment.enable=true
leaf.jdbc.url=jdbc:mysql://localhost:3306/leaf?useUnicode=true&characterEncoding=utf8
leaf.jdbc.username=root
leaf.jdbc.password=123456
3.2 启动Leaf服务

运行LeafServerApplication,服务默认端口为8080

4. 调用接口生成ID

通过HTTP接口获取ID:

# 获取订单服务的ID
curl http://localhost:8080/api/segment/get/order# 获取用户服务的ID
curl http://localhost:8080/api/segment/get/user

5. 核心机制解析

  • 双Buffer机制:Leaf维护两个号段缓冲区(当前和备用),当当前号段消耗10%时,异步加载下一个号段,避免数据库访问阻塞。
  • 动态步长调整:根据流量变化自动调整步长(如流量翻倍时步长倍增),确保数据库压力稳定。

二、Leaf Snowflake模式使用教程

1. 环境准备

  • Zookeeper:用于生成全局唯一的机器ID(workerId)。
  • Leaf源码:同上。

2. 配置Snowflake模式

2.1 修改配置文件

leaf.properties中启用Snowflake模式并配置Zookeeper:

leaf.segment.enable=false
leaf.snowflake.enable=true
leaf.snowflake.zk.address=127.0.0.1:2181
leaf.snowflake.port=8686
2.2 启动Zookeeper

确保Zookeeper服务运行,Leaf会自动在ZK中创建持久顺序节点以分配workerId

3. 调用接口生成ID

# 获取Snowflake模式的ID
curl http://localhost:8080/api/snowflake/get/pay

4. 核心机制解析

  • ID结构:64位ID = 时间戳(41位) + 机器ID(10位) + 序列号(12位)。
  • 时钟回拨处理:若时钟回拨≤5ms,等待时钟同步;若>5ms,抛出异常。
  • 弱依赖ZK:首次从ZK获取workerId后,本地缓存文件,即使ZK宕机也不影响服务。

三、两种模式对比与选型建议

维度号段模式Snowflake模式
依赖强依赖MySQL弱依赖Zookeeper
性能10万+ QPS(单节点)50万+ QPS(单节点)
ID趋势趋势递增严格单调递增
适用场景高可用、允许短暂数据库不可用高性能、去中心化架构
缺点ID规律性强,可能泄露业务量依赖时钟,需解决回拨问题

选型建议

  • 订单系统、分库分表:优先选择号段模式,保证高可用。
  • 实时日志、秒杀系统:选择Snowflake模式,追求极致性能。

四、高级功能与监控

1. 监控号段状态

访问http://localhost:8080/cache,可实时查看各业务号段的缓冲区使用情况(如剩余ID数量、加载状态)。

2. 动态调整步长

通过修改数据库中的step字段,Leaf会自动适应流量变化。例如,若QPS从1000增至2000,可将step从1000调整为2000。


五、常见问题解答

  1. 号段模式数据库宕机怎么办?
    Leaf默认缓存两个号段,若步长设置为QPS的600倍(如QPS=1000,步长=600,000),即使数据库宕机,仍可持续服务10分钟。

  2. Snowflake模式如何避免workerId冲突?
    通过Zookeeper的持久顺序节点分配唯一workerId,宕机重启后仍复用原有ID。


结语

美团Leaf通过两种互补模式,为不同场景提供了灵活的分布式ID生成方案。无论是高可用的号段模式,还是高性能的Snowflake模式,均可通过本文教程快速落地。建议结合自身业务特点选择合适的模式,并关注Leaf的GitHub仓库获取最新动态。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/74113.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Swift 并发任务的协作式取消

在 Swift 并发(Swift Concurrency)中,任务(Task)不会被强行终止,而是采用**协作式取消(cooperative cancellation)**机制。这意味着任务会被标记为“已取消”,但是否真正…

大数据(1.1)纽约出租车大数据分析实战:从Hadoop到Azkaban的全链路解析与优化

目录 一、背景与数据价值‌ ‌二、技术选型与组件分工‌ ‌三、数据准备与预处理‌ 四、实战步骤详解‌ ‌1. 数据上传至HDFS ‌2. Hive数据建模与清洗‌ 4‌.2.1 建表语句(分区表按年份)‌: ‌4‌.2.2 数据清洗(剔除无效…

代码随想录刷题day50|(回溯算法篇)131.分割回文串▲

目录 一、回溯算法基础知识 二、分割回文串思路 2.1 如何切割 2.2 判断回文 2.3 回溯三部曲 2.4 其他问题 三、相关算法题目 四、总结 一、回溯算法基础知识 详见:代码随想录刷题day46|(回溯算法篇)77.组合-CSDN博客 二、分割回文…

VS Code PowerShell、Windows PowerShell、CMD 的区别与联系

VS Code PowerShell、Windows PowerShell、CMD 的区别与联系? VS Code PowerShell、Windows PowerShell、CMD 的区别与联系: 一、核心概念对比 名称 全称 类型 定位 VS Code PowerShell Visual Studio Code PowerShell 代码编辑器集成终端 开发/脚本编写…

关于Unity的CanvasRenderer报错

MissingReferenceException: The object of type ‘CanvasRenderer’ has been destroyed but you are still trying to access it. Your script should either check if it is null or you should not destroy the object. UnityEngine.UI.GraphicRaycaster.Raycast (UnityEng…

C++编译流程

编译器其实就是一个翻译器,把我们的文件内容翻译成机器能够看懂的指令,但如何合理翻译是核心。 C语言编译 需要经过以下几步: 词法分析:扫描代码,确定单词类型,比如是变量还是函数,是标识符还…

python学智能算法(八)|决策树

【1】引言 前序学习进程中,已经对KNN邻近算法有了探索,相关文章链接为: python学智能算法(七)|KNN邻近算法-CSDN博客 但KNN邻近算法有一个特点是:它在分类的时候,不能知晓每个类别内事物的具…

使用 OpenCV 拼接进行图像处理对比:以形态学操作为例

图像处理在计算机视觉中起着至关重要的作用,而 OpenCV 作为一个强大的图像处理库,提供了丰富的函数来实现各类图像处理任务。形态学操作(Morphological Operations)是其中常用的技术,尤其适用于二值图像的处理。常见的…

版本控制器Git ,Gitee如何连接Linux Gitee和Github区别

📖 示例场景 假设你和朋友在开发一个「在线笔记网站」,代码需要频繁修改和协作: 只用本地文件管理 每次修改后手动复制文件,命名为 v1.html、v2.html 问题:无法追踪具体改动内容;多人修改易冲突&#xff1…

使用DeepSeek翻译英文科技论文,以MarkDown格式输出,使用Writage 3.3.1插件转换为Word文件

一、使用DeepSeek翻译英文科技论文,以MarkDown格式输出 以科技论文“Electrical Power System Sizing within the Numerical Propulsion System Simulation”为例。 关于Writage 3.3.1的进一步了解,可发送邮件至邮箱pyengine163.com. 首先,打…

【NPU 系列专栏 3.0 -- scale-out 和 scale-in 和 scale-up 和 scale-down

文章目录 Overview1. Scale-out 和 Scale-in (横向扩展/缩减)举例:AI SoC 中的 Scale-out 和 Scale-in2. Scale-up 和 Scale-down (纵向扩展/缩减)举例:AI SoC 中的 Scale-up 和 Scale-down对比总结Overview 本文会 以 AI SoC 为例 详细介绍什么是 scale-out 和 scale-i…

Spring Boot 集成 Quartz 实现定时任务(Cron 表达式示例)

Spring Boot 集成 Quartz 实现定时任务(Cron 表达式示例) 前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Spring Boot 观察定时任务执行5. Quartz Cron 表达式详解6. 结论 前言 在 Spring Boot 项目中,我们经常…

智能汽车图像及视频处理方案,支持视频智能拍摄能力

美摄科技,作为智能汽车图像及视频处理领域的先行者,凭借其卓越的技术实力和前瞻性的设计理念,为全球智能汽车制造商带来了一场视觉盛宴的革新。我们自豪地推出——美摄科技智能汽车图像及视频处理方案,一个集高效性、智能化、画质…

QPrintDialog弹出慢的问题

开发环境 操作系统: openkylin2qt版本 : 5.15.10排查过程 首先看下问题的现象, 问题现象 复现问题的demo很简单,只能是从跟踪qt代码方面入手 void MainWindow::on_pushButton_clicked(){QPrinter printer;QPrintDialog dialog(&printer,this);dialog.exec();} 现在需要找一…

VLAN:逻辑隔离冲突网络的详细讲解

1. VLAN的基本概念 VLAN(Virtual Local Area Network,虚拟局域网) 是一种将物理网络划分为多个逻辑独立网络的技术。通过VLAN,不同逻辑网络可以在同一物理网络基础设施上运行,彼此隔离,互不影响。 核心功能…

投影算子(Projection Operator)的定义、性质、分类以及应用

文章目录 1. 投影算子的定义2. 投影算子的几何意义3. 一些简单的例子例 1:二维平面上的投影例 2:投影到一条任意方向的直线例 3:三维空间中投影到一个平面 4. 投影算子的性质4.1、幂等性(Idempotency): P 2…

java使用Apache POI 操作word文档

项目背景: 当我们对一些word文档(该文档包含很多的标题比如 1.1 ,1.2 , 1.2.1.1, 1.2.2.3)当我们删除其中一项或者几项时,需要手动的对后续的进行补充。该功能主要是对标题进行自动的补充。 具…

接收与发送ipv6数据包

一、ipv6的概念 IPv6 是英文 “Internet Protocol Version 6”(互联网协议第 6 版)的缩写,是互联网工程任务组(IETF)设计的用于替代 IPv4 的下一代 IP 协议,其地址数量号称可以为全世界的每一粒沙子编上…

龙虎榜——20250321

今日A股龙虎榜方向分析 根据2025年3月21日龙虎榜数据(涨停56家,跌停31家),市场呈现结构性分化行情,资金聚焦海洋经济、机器人、锂电等主线,部分个股遭机构大幅抛售。以下是具体方向解析: 一、资…

springboot milvus search向量相似度查询 踩坑使用经验

1.前提提要:java的pom 版本为:2.4.9 milvus 版本是:2.4.13-hotfix 2.先来工具类方法 /*** 向量搜索* param client* param query* return*/public SearchResp search(NonNull MilvusClientV2 client, NonNull VectorCondition query) {final …