雪花算法生成分布式唯一ID

雪花算法的结构是由时间戳、工作机器ID和序列号构成。要确保全局唯一,必须保证每个节点的机器ID唯一,并且同一毫秒内序列号不重复。在分库分表的环境下使用雪花算法,机器ID的分配是关键。常见的做法是通过分布式系统协调,比如使用ZooKeeper或者数据库来分配唯一的机器ID,在启动时从外部服务获取ID,并持久化存储,防止重启后ID变化。另外,时间戳部分需要保证各节点的时钟同步,否则可能出现时间不一致导致ID冲突。这时候可能需要NTP服务来同步时间,但NTP本身可能会引起时钟回拨的问题,尤其是在虚拟机环境中,时钟可能会被调整。这时候雪花算法默认实现会抛出异常,导致服务不可用。需要解决这个问题,可能的方法包括等待时钟追回、使用扩展位记录回拨次数,或者切换到其他ID生成方式。

一、雪花算法的核心结构与全局唯一性保证

雪花算法的ID结构通常为 64位,分为以下三部分(具体位数可调整):

  1. 时间戳(41位):记录生成ID的时间(毫秒级),可支持约69年的时间跨度。
  2. 机器ID(10位):区分不同节点,最多支持1024台机器。
  3. 序列号(12位):同一毫秒内的自增序号,支持每台机器每毫秒生成4096个ID。
全局唯一性的关键保障
  1. 机器ID唯一性

    • 静态配置:为每台机器分配唯一的ID(如通过配置文件或环境变量)。
    • 动态分配:通过分布式协调服务(如ZooKeeper、Etcd)动态分配机器ID,避免手动维护。
    • 容器化环境:在Kubernetes中可通过StatefulSet的Pod序号作为机器ID的一部分。
  2. 时间戳单调递增

    • 依赖机器的本地时钟,需确保时钟同步(如使用NTP服务)。
    • 若发生时钟回拨,需有容错机制。
  3. 序列号不重复

    • 同一毫秒内,序列号从0开始自增,达到最大值后等待下一毫秒再生成。

二、时钟回拨问题及解决方案

1. 时钟回拨的原因
  • NTP同步:网络时间协议(NTP)自动校准时钟时可能导致时间回退。
  • 人工误操作:手动调整机器时间。
  • 虚拟机挂起/恢复:虚拟机暂停后恢复可能导致时钟跳变。
2. 时钟回拨的影响
  • 若当前时间小于上一次生成ID的时间,直接使用雪花算法会生成重复ID,破坏唯一性。
3. 解决方案
(1) 容忍短暂回拨(毫秒级)
  • 等待时钟追平:若回拨时间较短(如≤100ms),暂停ID生成,等待本地时钟追平历史最大时间戳。
  • 代码示例
    public synchronized long nextId() {long currentTime = timeGen();if (currentTime < lastTimestamp) {long offset = lastTimestamp - currentTime;if (offset <= MAX_BACKWARD_MS) {Thread.sleep(offset);  // 等待时钟追平} else {throw new RuntimeException("Clock moved backwards!");}}// 正常生成ID...
    }
    
(2) 扩展时间戳位(解决长时回拨)
  • 记录时钟回拨次数:在ID中增加几位表示时钟回拨的偏移量(需牺牲部分序列号或机器ID的位数)。
  • 示例:使用42位时间戳 + 2位回拨计数器 + 8位机器ID + 12位序列号。
(3) 降级方案
  • 切到备用ID生成器:如UUID或数据库自增ID,但会牺牲部分特性(如有序性)。
(4) 优化时钟源
  • 使用物理时钟:避免依赖虚拟机的时钟(如AWS的Nitro实例使用物理时钟源)。
  • 闰秒处理:配置NTP服务忽略闰秒调整(如使用ntpd -x)。

三、实际项目中的最佳实践

1. 机器ID分配
  • 静态配置:适用于机器数量固定的场景(如10台机器,ID为0-9)。
  • 动态注册:通过数据库或配置中心注册机器ID,启动时申请,下线时释放。
2. 时钟同步
  • 强制NTP服务:所有机器绑定到同一NTP服务器,限制时钟漂移。
  • 监控告警:部署时钟偏移监控(如Prometheus + node_timex_offset_seconds)。
3. 容错设计
  • 时钟回拨日志:记录回拨事件,便于事后排查。
  • 熔断机制:若回拨时间过长,触发熔断并告警。

四、案例:开源框架的解决方案

1. 百度UidGenerator
  • 扩展了雪花算法,通过借用未来时间解决时钟回拨问题。
  • 使用RingBuffer预生成ID,降低实时生成的延迟。
2. 美团Leaf
  • 基于雪花算法,增加ZooKeeper协调机器ID分配。
  • 提供“Leaf-snowflake”模式,解决时钟回拨问题。

五、总结

  • 全局唯一性:依赖机器ID唯一性、时间戳单调性、序列号不重复。
  • 时钟回拨:通过等待追平、扩展时间戳位或降级方案解决。
  • 生产建议:优先使用成熟的分布式ID生成框架(如UidGenerator、Leaf),避免重复造轮子。

最终结论:雪花算法的全局唯一性可通过合理设计保障,时钟回拨需结合业务容忍度选择解决方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/899199.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

把手搭建vue前后端管理系统-TAB标签通过pinia来进行管理(二十六)

目标&#xff1a;通过pinia的store来进行组件状态的统一管理&#xff0c;这样大家都可以共用到这个组件的状态信息&#xff0c;就可以实现组件的联动 一、添加侧边栏菜单的点击事件&#xff1a; 1、CommonAside.vue里面添加click的事件 <el-menu-itemv-for"item in …

this(执行上下文)

&#x1f6a9; 这个专栏是一个 JS 进阶系列&#xff0c;当前内容为 JS 执行机制&#xff0c;建议按顺序阅读 执行上下文&作用域 词法环境&变量环境 this&#xff08;上下文对象&#xff09; &#x1f539; 概述 &#x1f30d; 前提概要&#xff1a; 在上文 执行上下文&…

计算机网络——数据链路层的功能

目录 物理链路 逻辑链路 封装成帧&#xff08;组帧&#xff09; 帧定界 透明传输 SDU 差错控制 可靠传输 流量控制 介质访问控制 主机需要实现第一层到第五层的功能&#xff0c;而路由器这种节点只需要实现第一层到第三层的这些功能 假设左边用户需要给右边用户发送…

计算机网络 --应用层

计算机网络 --应用层 一、应用层概述 1. 功能 应用层为应用程序通信提供直接服务&#xff0c;这种服务是用户能够直接感知到的数据通信服务。核心功能包括&#xff1a; 文件传输&#xff1a;实现不同设备间文件的传输操作。访问管理&#xff1a;对用户访问资源等进行管理。电…

企业级Linux服务器初始化优化全流程

实战指南&#xff1a;企业级Linux服务器初始化优化全流程 本文基于某电商平台百万级并发服务器的真实调优案例整理&#xff0c;所有操作均在Rocky Linux8.5验证通过&#xff0c;不同发行版请注意命令差异 一、服务器安全加固&#xff08;Situation-Task-Action-Result&#xff…

OpenAI流式解析

OpenAI 流式的代码&#xff1a; 首选一般请使用os.getenv 去读环境变量的内容 注意使用pip install python-dotenv 的安装方法 load_dotenv 是这个库提供的一个函数&#xff0c;用于读取 .env 文件并将其中定义的键值对设置为系统的环境变量。 默认情况下&#xff0c;load_…

数据抓取的缓存策略:减少重复请求与资源消耗

在数据采集领域&#xff0c;爬虫效率是决定项目成败的关键因素之一。传统的爬虫架构往往因请求频繁、资源消耗较大以及重复抓取等问题&#xff0c;导致效率低下。这些问题不仅拖慢了数据获取的速度&#xff0c;还可能引发目标服务器的过载风险&#xff0c;甚至导致爬虫被限制。…

k8s部署argocd

前言 ArgoCD是一个基于Kubernetes的GitOps持续交付工具&#xff0c;应用的部署和更新都可以在Git仓库上同步实现&#xff0c;并自带一个可视化界面。本文介绍如何使用GitHelmArgocd方式来实现在k8s中部署和更新应用服务&#xff1b; 安装Argocd 准备一个k8s集群&#xff0c;然…

【Linux】MAC帧

目录 一、MAC帧 &#xff08;一&#xff09;IP地址和MAC地址 &#xff08;二&#xff09;MAC帧格式 &#xff08;三&#xff09;MTU对IP协议的影响、 &#xff08;四&#xff09;MTU对UDP协议的影响 &#xff08;五&#xff09;MTU对TCP协议的影响 二、以太网协议 &…

MySQL - 数据库基础操作

SQL语句 结构化查询语言(Structured Query Language)&#xff0c;在关系型数据库上执行数据操作、数据检索以及数据维护的标准语言。 分类 DDL 数据定义语言(Data Definition Language)&#xff0c;定义对数据库对象(库、表、列、索引)的操作。 DML 数据操作语言(Data Manip…

GraalVM原生镜像支持:Spring Cloud应用启动速度提升90%

引言&#xff1a;当Spring Cloud遇见GraalVM&#xff0c;启动时间进入秒级时代 传统Spring Cloud应用因动态类加载、反射等机制导致启动缓慢&#xff08;通常超过30秒&#xff09;&#xff0c;在Serverless和Kubernetes滚动更新场景下成为性能瓶颈。Spring Cloud 2023.x通过**G…

【Unity3D】摄像机适配场景以及Canvas适配

目录 宽度不变策略 高度不变策略 宽度不变策略 开发分辨率 750*1334 (宽高比:0.56) 真机分辨率 1170*2532 (宽高比:0.46) 真机宽高比<开发宽高比&#xff0c;采用宽度不变策略 理由&#xff1a;小于代表真机高度比开发高度更大&#xff0c;因此不需要担心高度上…

HarmonyOS:基于axios实现文件的下载以及下载进度的监听

#前言&#xff1a;项目开发中&#xff0c;避免不了实现文件下载功能&#xff0c;其他平台的下载都很成熟&#xff0c;网上的例子也比较多&#xff0c;我就自己项目中实现的下载功能做个总结&#xff0c;你可以参考我的写法实现功能。 下载封装基于axios实现的下载功能。 1.下载…

简单一周日期展示及选择切换

医院挂号&#xff0c;可能需要切换日期&#xff0c;选择一周内的某一天。 提供一周内的日期段&#xff0c;通过点击&#xff0c;切换到不同天。 简单的js&#xff0c;html实例。切换玩调用后台接口&#xff0c;实现后续逻辑。 使用Vue,插值语法&#xff0c;更简单。 一周日历…

二叉树的前,中,后序遍历

我们来了解一下二叉树的遍历&#xff0c;话不多说 二叉树的遍历的概念&#xff1a; 二叉树有四种遍历方式&#xff0c;分别为前序遍历&#xff0c;中序遍历&#xff0c;后序遍历和层序遍历&#xff0c;但我们今天谈谈前三种&#xff0c;并实现它 前序遍历&#xff1a; 按照根…

golang Error的一些坑

golang Error的一些坑 golang error的设计可能是被人吐槽最多的golang设计了。 最经典的err!nil只影响代码风格设计&#xff0c;而有一些坑会导致我们的程序发生一些与我们预期不符的问题&#xff0c;开发过程中需要注意。 ​​ errors.Is​判断error是否Wrap不符合预期 ​…

逼用户升级Win11,微软开始给Win10限速

随着Windows10的支持时间越来越短&#xff0c;微软也加大了对Win10用户的驱赶力度。 最近&#xff0c;微软官宣了将要在今年6月份降低OneNote for Windows 10的同步速度。软件也将和Windows10在今年的10月14日一同停止支持和维护。 这将影响实时协作和多设备访问。 对OneNote…

SpringMVC_day02

一、SSM 整合 核心步骤 依赖管理 包含 SpringMVC、Spring JDBC、MyBatis、Druid 数据源、Jackson 等依赖。注意点&#xff1a;确保版本兼容性&#xff08;如 Spring 5.x 与 MyBatis 3.5.x&#xff09;。 配置类 SpringConfig&#xff1a;扫描 Service 层、启用事务管理、导入…

Android14 原生PackageInstaller安装某些apk报错问题

最近遇到Android14安装客户一个大型app的时候&#xff0c;执行到开始安装的时候就直接闪退了&#xff0c;查看log发现下面报错&#xff1a; 03-25 18:01:29.531 3085 3085 E AndroidRuntime: java.lang.RuntimeException: Could not copy bitmap to parcel blob. 03-25 18:01:2…

SQLAlchemy关键词搜索技术深度解析:从基础过滤到全文检索

在数据驱动的应用开发中&#xff0c;基于关键词的模糊查询是常见的业务需求。SQLAlchemy作为Python生态中最流行的ORM框架&#xff0c;提供了多种实现关键词搜索的技术方案。本文将从性能、适用场景和技术复杂度三个维度&#xff0c;系统对比分析SQLAlchemy中关键词搜索的最佳实…