分布式ID生成方案的深度解析与Java实现

news2025/4/16 22:00:08

在分布式系统中，生成全局唯一的ID是一项核心需求，广泛应用于订单编号、用户信息、日志追踪等场景。分布式ID不仅需要保证全局唯一性，还要满足高性能、高可用性以及一定的可读性要求。本文将深入探讨分布式ID的概念、设计要点、常见生成方案，并通过Java代码实现几种典型方案，旨在帮助开发者理解分布式ID的技术本质，并提供实践参考。

一、分布式ID的背景与挑战

分布式系统由多个节点组成，节点间通常通过网络通信，缺乏全局时钟或统一协调机制。传统的单机环境下，自增ID（如数据库主键）可以轻松满足唯一性需求，但在分布式环境中，节点独立运行，简单地依赖数据库自增ID可能导致冲突或性能瓶颈。因此，分布式ID需要解决以下核心问题：

  1. 全局唯一性：在所有节点生成的ID必须全局唯一，不能出现重复。
  2. 高性能：生成ID的速度要快，通常要求毫秒级甚至微秒级响应。
  3. 高可用性：ID生成服务需保证24/7可用，单点故障不能影响整体功能。
  4. 有序性：某些场景（如日志排序）要求ID具有时间单调递增或趋势递增的特性。
  5. 可读性：ID可能需要包含业务信息（如时间、地域），便于调试或分析。
  6. 扩展性：系统规模扩大时，ID生成方案需支持水平扩展。

这些要求使得分布式ID生成成为分布式系统设计中的一个复杂问题。以下我们将分析几种主流方案，探讨其优缺点，并提供Java实现。

二、分布式ID的常见生成方案

分布式ID生成方案可以分为以下几类，每类方案在不同场景下有其适用性：

1. 数据库自增ID

利用关系型数据库（如MySQL）的自增主键生成ID，简单易用，但在分布式场景下性能受限。

  • 优点：实现简单，ID单调递增，易于理解。
  • 缺点：数据库写入成为性能瓶颈，高并发下可能导致锁竞争；扩展性差，依赖数据库可用性。
  • 适用场景：低并发、对性能要求不高的业务。

2. UUID

UUID（Universally Unique Identifier）是基于随机数或时间戳生成的128位标识符。

  • 优点：完全去中心化，生成无需协调，冲突概率极低。
  • 缺点：长度过长（36字符），存储和传输成本高；无序性导致数据库索引性能下降。
  • 适用场景：对唯一性要求高但对性能和可读性要求低的场景。

3. 基于时间戳的Snowflake算法

Snowflake算法由Twitter提出，是一种基于时间戳的分布式ID生成方案，ID为64位整数，结构通常包括：

  • 时间戳：表示ID生成的时间，占41位（支持约69年）。

  • 机器ID：标识生成节点，占10位（支持1024个节点）。

  • 序列号：同一毫秒内的计数器，占12位（每毫秒支持4096个ID）。

  • 符号位：占1位，通常为0。

  • 优点：高性能，ID趋势递增，支持高并发，结构清晰。

  • 缺点：依赖系统时钟，时间回拨可能导致ID冲突；机器ID需手动分配。

  • 适用场景：高并发、需要趋势递增ID的业务，如订单系统。

4. 数据库分段（Leaf-Segment）

由美团提出的Leaf方案，通过数据库预分配ID段（如1000个ID），节点从内存中获取ID，耗尽后再从数据库申请新段。

  • 优点：简单可靠，支持批量获取，减少数据库压力。
  • 缺点：数据库仍是潜在瓶颈，需处理段分配的并发问题。
  • 适用场景：对性能要求适中、希望简单实现的场景。

5. 分布式协调服务（如ZooKeeper）

使用ZooKeeper等分布式协调服务生成递增ID，基于其顺序节点特性。

  • 优点：强一致性，ID严格递增。
  • 缺点：性能较低，依赖外部服务，增加了系统复杂性。
  • 适用场景：对一致性要求极高的场景，如金融系统。

6. Redis生成ID

利用Redis的原子递增操作（如INCR命令）生成ID。

  • 优点：高性能，简单易用。
  • 缺点：依赖Redis可用性，持久化可能导致ID丢失；ID无业务含义。
  • 适用场景：高并发、对可读性要求低的场景。

三、分布式ID的设计要点

在选择或设计分布式ID生成方案时，需考虑以下关键因素：

  1. 时钟依赖：基于时间戳的方案（如Snowflake）需处理时钟回拨问题，可通过拒绝生成或等待解决。
  2. ID长度：ID长度影响存储效率，64位整数是常见选择，兼容大多数数据库和系统。
  3. 分区策略：机器ID或业务ID的分配需避免冲突，可通过配置中心或数据库管理。
  4. 容错性：生成服务需支持故障转移，主备切换或多节点负载均衡。
  5. 可扩展性：方案需适应节点增加，动态分配ID空间。
  6. 业务定制：某些场景要求ID嵌入业务信息，如区域、业务类型等。

四、Java实现：Snowflake算法与Leaf-Segment方案

下面我们通过Java代码实现两种典型的分布式ID生成方案：Snowflake算法和Leaf-Segment方案，并附上详细注释和使用示例。

1. Snowflake算法实现

Snowflake算法因其高性能和趋势递增特性，成为许多分布式系统的首选。以下是一个线程安全的Java实现，支持时间回拨处理。

public class SnowflakeIdGenerator {
    // 起始时间戳（2023-01-01 00:00:00）
    private static final long START_TIMESTAMP = 1672502400000L;
    // 各部分位数
    private static final long WORKER_ID_BITS = 10L; // 机器ID占10位
    private static final long SEQUENCE_BITS = 12L;  // 序列号占12位
    // 最大值
    private static final long MAX_WORKER_ID = ~(-1L << WORKER_ID_BITS); // 1023
    private static final long MAX_SEQUENCE = ~(-1L << SEQUENCE_BITS);   // 4095
    // 位移量
    private static final long WORKER_ID_SHIFT = SEQUENCE_BITS;
    private static final long TIMESTAMP_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS;
    // 内部状态
    private long workerId;
    private long sequence = 0L;
    private long lastTimestamp = -1L;

    public SnowflakeIdGenerator(long workerId) {
        if (workerId > MAX_WORKER_ID || workerId < 0) {
            throw new IllegalArgumentException("Worker ID must be between 0 and " + MAX_WORKER_ID);
        }
        this.workerId = workerId;
    }

    public synchronized long nextId() {
        long timestamp = System.currentTimeMillis();

        // 处理时间回拨
        if (timestamp < lastTimestamp) {
            throw new RuntimeException("Clock moved backwards. Refusing to generate ID.");
        }

        // 同一毫秒内，增加序列号
        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & MAX_SEQUENCE;
            if (sequence == 0) {
                // 序列号溢出，等待下一毫秒
                timestamp = waitNextMillis(lastTimestamp);
            }
        } else {
            sequence = 0L; // 新毫秒，重置序列号
        }

        lastTimestamp = timestamp;

        // 组装ID
        return ((timestamp - START_TIMESTAMP) << TIMESTAMP_SHIFT)
                | (workerId << WORKER_ID_SHIFT)
                | sequence;
    }

    private long waitNextMillis(long lastTimestamp) {
        long timestamp = System.currentTimeMillis();
        while (timestamp <= lastTimestamp) {
            timestamp = System.currentTimeMillis();
        }
        return timestamp;
    }

    public static void main(String[] args) {
        SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(1);
        for (int i = 0; i < 10; i++) {
            System.out.println(idGenerator.nextId());
        }
    }
}

代码说明：

  • 结构：ID由41位时间戳（支持约69年）、10位机器ID（支持1024个节点）、12位序列号（每毫秒4096个ID）组成。
  • 时间回拨：通过抛出异常拒绝生成，实际生产中可改为等待或使用缓存时间。
  • 线程安全：使用 synchronized 确保并发安全，适用于中等并发场景。
  • 使用示例：运行 main 方法将生成10个唯一ID，输出类似 1234567890123 的64位整数。

优化建议：

  • 高并发：可引入线程池或异步生成，提升吞吐量。
  • 机器ID分配：通过ZooKeeper或数据库动态分配workerId。
  • 时间回拨改进：维护一个时间缓存，或在回拨时借用序列号空间。

2. Leaf-Segment方案实现

Leaf-Segment方案通过数据库预分配ID段，节点从内存获取ID，适合简单可靠的场景。以下是Java实现，假设使用MySQL存储ID段。

首先，创建数据库表：

CREATE TABLE id_segment (
    biz_tag VARCHAR(50) PRIMARY KEY COMMENT '业务标签',
    max_id BIGINT NOT NULL DEFAULT 0 COMMENT '当前最大ID',
    step INT NOT NULL DEFAULT 1000 COMMENT '步长',
    update_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);
INSERT INTO id_segment (biz_tag, max_id, step) VALUES ('order', 0, 1000);

Java实现：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class LeafSegmentIdGenerator {
    private String bizTag;
    private String jdbcUrl = "jdbc:mysql://localhost:3306/test?useSSL=false";
    private String username = "root";
    private String password = "password";
    private volatile long currentId;
    private volatile long maxId;
    private final int step;

    public LeafSegmentIdGenerator(String bizTag) {
        this.bizTag = bizTag;
        this.step = 1000; // 默认步长
        loadSegment(); // 初始化ID段
    }

    public synchronized long nextId() {
        if (currentId >= maxId) {
            loadSegment(); // ID段耗尽，重新加载
        }
        return currentId++;
    }

    private void loadSegment() {
        try (Connection conn = DriverManager.getConnection(jdbcUrl, username, password)) {
            conn.setAutoCommit(false);
            // 获取当前最大ID并更新
            String updateSql = "UPDATE id_segment SET max_id = max_id + step WHERE biz_tag = ?";
            PreparedStatement updateStmt = conn.prepareStatement(updateSql);
            updateStmt.setString(1, bizTag);
            int rows = updateStmt.executeUpdate();
            if (rows == 0) {
                throw new RuntimeException("Failed to update ID segment for " + bizTag);
            }

            // 查询新ID段
            String selectSql = "SELECT max_id FROM id_segment WHERE biz_tag = ?";
            PreparedStatement selectStmt = conn.prepareStatement(selectSql);
            selectStmt.setString(1, bizTag);
            ResultSet rs = selectStmt.executeQuery();
            if (rs.next()) {
                maxId = rs.getLong("max_id");
                currentId = maxId - step + 1;
            } else {
                throw new RuntimeException("No segment found for " + bizTag);
            }
            conn.commit();
        } catch (Exception e) {
            throw new RuntimeException("Failed to load ID segment", e);
        }
    }

    public static void main(String[] args) {
        LeafSegmentIdGenerator idGenerator = new LeafSegmentIdGenerator("order");
        for (int i = 0; i < 10; i++) {
            System.out.println(idGenerator.nextId());
        }
    }
}

代码说明：

  • 逻辑：节点从数据库获取一个ID段（如1001-2000），在内存中递增生成ID，耗尽后再申请新段。
  • 数据库交互：使用乐观锁（UPDATE直接修改）确保并发安全，事务保证数据一致性。
  • 业务隔离：通过 biz_tag 支持多业务隔离，如“order”和“user”可独立分配ID。
  • 使用示例：运行 main 方法将生成连续的ID，如 1001, 1002, ...。

优化建议：

  • 批量获取：增加步长（如10000），减少数据库访问。
  • 双缓冲：异步加载下一段ID，避免生成延迟。
  • 高可用：引入主备数据库或缓存（如Redis）提高可靠性。

五、各方案对比与选择

以下是对上述方案的对比总结：

方案唯一性性能有序性可读性扩展性依赖性适用场景
数据库自增ID强低强高差数据库低并发简单业务
UUID强高无低强无对性能敏感、无序性可接受
Snowflake强高趋势中强时钟高并发、需要趋势递增
Leaf-Segment强中强高中数据库中等并发、简单实现
ZooKeeper强低强低强ZooKeeper强一致性需求
Redis强高强低中Redis高并发、无可读性要求

选择建议：

  • 高并发场景：Snowflake或Redis，性能优异，适合订单、日志等系统。
  • 简单实现：Leaf-Segment，易于部署，适合中小规模业务。
  • 强一致性：ZooKeeper，适用于金融等对ID顺序敏感的场景。
  • 无序可接受：UUID，适合快速开发或临时场景。

六、分布式ID的未来趋势

随着分布式系统规模的扩大，ID生成方案也在不断演进。以下是一些值得关注的趋势：

  1. 云原生集成：云服务（如AWS、阿里云）提供托管ID生成服务，降低开发成本。
  2. 多租户支持：ID方案需支持多租户隔离，嵌入租户标识。
  3. AI优化：通过机器学习预测ID需求，优化分配策略。
  4. 去中心化趋势：基于区块链或P2P网络生成ID，减少对中心化服务的依赖。

七、实践中的注意事项

  1. 测试覆盖：对ID生成方案进行并发测试，确保唯一性和性能。
  2. 监控告警：监控ID生成速率、时间回拨等异常情况，及时干预。
  3. 文档化：记录ID结构（如Snowflake的位分配），便于维护和调试。
  4. 回滚策略：为ID生成服务设计降级方案，如切换到备用算法。
  5. 合规性：在涉及用户数据的场景中，确保ID不泄露敏感信息。

八、总结

分布式ID生成是分布式系统中的核心技术之一，其设计需要在唯一性、性能、可用性和可读性之间找到平衡。本文详细分析了数据库自增ID、UUID、Snowflake、Leaf-Segment、ZooKeeper和Redis等方案的优缺点，并通过Java代码实现了Snowflake和Leaf-Segment两种主流方案。实践表明，Snowflake因其高性能和趋势递增特性成为许多高并发场景的首选，而Leaf-Segment则以简单可靠著称。开发者应根据业务需求选择合适的方案，并结合监控和优化确保系统稳定运行。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2335374.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

记录学习的第二十五天

记录学习的第二十五天

今天终于又开始更新了。实在是星期六的蓝桥杯给了我一个大大的打击&#xff0c;今天终于好不容易缓过来了&#xff0c;可以好好学算法了。 还是老规划&#xff0c;力扣的每日一题。不过今天的每日一题我之前做过了&#xff0c;就又提交了一次来签到。 之后三道哈希表题目。 我一…
阅读更多...
linux电源管理(二)，内核的CPUFreq(DVFS)和ARM的SCPI

linux电源管理(二)，内核的CPUFreq(DVFS)和ARM的SCPI

更多linux系统电源管理相关的内容请看&#xff1a;https://blog.csdn.net/u010936265/article/details/146436725?spm1011.2415.3001.5331 1 简介 CPUFreq子系统位于drivers/cpufreq目录下&#xff0c;负责进行运行过程中CPU频率和电压的动态调整&#xff0c;即DVFS (Dynami…
阅读更多...
ES6学习04-数组扩展:扩展运算符、新增方法

ES6学习04-数组扩展:扩展运算符、新增方法

一、扩展运算符 1. 2. eg: 3. 二、新增方法 1. arguments 元素组合 类似数组对象 2.
阅读更多...
滚轮控制目标臂长度调整相机距离

滚轮控制目标臂长度调整相机距离

通过鼠标滚轮来控制摄像机目标臂长度 , 调整相机距离 看图就行,不多说,照着连就完事了
阅读更多...
​‌FireCrawl‌爬虫工具​, Craw4ai

​‌FireCrawl‌爬虫工具​, Craw4ai

‌FireCrawl‌是一款开源的AI爬虫工具&#xff0c;专门用于Web数据提取&#xff0c;并将其转换为Markdown格式或其他结构化数据。FireCrawl特别适合处理使用JavaScript动态生成的网站&#xff0c;能够自动抓取网站及其所有可访问的子页面内容&#xff0c;并将其转换为适合大语言…
阅读更多...
pyenv库应用入门与Ubuntu端安装实践

pyenv库应用入门与Ubuntu端安装实践

pyenv库应用入门与Ubuntu端安装实践 pyenv概述virtualenv、pyvenv、pyenvvirtualenvpyvenvpyenv Ubuntu端安装pyenv实践安装依赖报错解决安装pyenv配置环境变量更换pyenv源地址 pyenv基本用法安装成功服务器部署scrapyd pyenv概述 pyenv 是一个用于管理多个 Python 版本的工具…
阅读更多...
CS5346 - Annotation in Visualization (可视化中的注释)

CS5346 - Annotation in Visualization (可视化中的注释)

文章目录 Annotation 的重要性Levels of Annotation &#xff08;注释的层级&#xff09;Headings and IntroductionHeadings&#xff08;标题&#xff09;陈述型&#xff08;Statement&#xff09;&#xff1a;突出结论或有趣发现疑问型&#xff08;Question&#xff09;&…
阅读更多...
如何开发一套场外个股期权交易系统？个股期权交易软件包含：询价，报价，交易，持仓，行权，账户盈亏统计等

如何开发一套场外个股期权交易系统？个股期权交易软件包含：询价，报价，交易，持仓，行权，账户盈亏统计等

一、场外个股期权的定义与特点 场外个股期权&#xff08;Over-the-Counter Equity Option&#xff09;是一种由交易双方私下协商的非标准化金融衍生品合约&#xff0c;以特定个股为标的资产。与交易所上市的标准化期权不同&#xff0c;其合约条款&#xff08;如行权价、到期日…
阅读更多...
高速电路中的电阻、电容的选型及应用

高速电路中的电阻、电容的选型及应用

2.1 电阻的应用 2.1.1 与电阻相关的经典案例 如果说芯片是电路的骨架&#xff0c;那么电阻就是在芯片之间起连接作用的关节。电阻的阻值、布放位置等&#xff0c;对设计的成功起着至关重要的作用。 【案例2.1】串联电阻过大&#xff0c;导致板间告警失败 某产品由业务板和主…
阅读更多...
六、adb通过Wifi连接

六、adb通过Wifi连接

背景 收集是荣耀X40,数据线原装全新的&#xff0c;USB连上之后&#xff0c;老是断&#xff0c;电脑一直叮咚叮咚的响个不停&#xff0c;试试WIFI 连接是否稳定&#xff0c;需要手机和电脑用相同的WIFI. 连接 1.通过 USB 连接手机和电脑(打开USB调试等这些都略过) adb device…
阅读更多...
‌DeepSeek模型在非图形智能体的应用中是否需要GPU

‌DeepSeek模型在非图形智能体的应用中是否需要GPU

答&#xff1a;不一定 概念 1、是否需要GPU与应用是否图形处理应用无关 2、文本内容智能体大多也需要GPU来提供更好的性能 3、‌DeepSeek模型在非图形智能体的应用中是否需要GPU取决于具体的模型版本和部署环境 不需要GPU的模型版本 ‌DeepSeek-R1-1.5B‌&#xff1a; 这…
阅读更多...
4.14代码随想录第四十三天打卡

4.14代码随想录第四十三天打卡

图论理论基础 https://www.programmercarl.com/kamacoder/%E5%9B%BE%E8%AE%BA%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%80.html 98. 所有可达路径 (1)题目描述: (2)解题思路: #include <iostream> #include <vector> #include <list> using namespace std;vec…
阅读更多...
【视频目标分割论文集】Efficient Track Anything0000

【视频目标分割论文集】Efficient Track Anything0000

github 摘要 视频对象分割和追踪任意目标领域出现了强大的工具——分割任意模型 2&#xff08;SAM 2&#xff09;。SAM 2 实现令人印象深刻的视频对象分割性能的关键组成部分包括用于帧特征提取的大型多阶段图像编码器&#xff0c;以及存储过去帧记忆上下文以辅助当前帧分割的…
阅读更多...
码率自适应（ABR）决策的直播场景

码率自适应（ABR）决策的直播场景

直播场景 1. 直播场景的普遍框架与工作原理 主播端&#xff1a;即各类主播&#xff08;游戏、网红歌手、户外达人等&#xff09;&#xff0c;通过手机端或者个人电脑在线直播录制个人活动。 编码服务器&#xff1a;主播端上传视频流以后&#xff0c;编码服务器根据相应的编码转…
阅读更多...
SCP-Firmware安全通告：CVE-2024-11863和CVE-2024-11864

SCP-Firmware安全通告：CVE-2024-11863和CVE-2024-11864

安全之安全(security)博客目录导读 目录 一、概述 二、CVE详情 三、受影响产品 四、修复建议 五、致谢 六、版本历史 一、概述 在SCP固件(SCP-Firmware)中发现两处安全漏洞&#xff0c;可能允许普通世界特权软件&#xff08;normal world privileged software&#xff…
阅读更多...
双按键控制LED（中断优先级）

双按键控制LED（中断优先级）

1.启动时&#xff0c;两个LED灯熄灭&#xff0c;1秒钟后&#xff08;定时器实现&#xff09;&#xff0c;LED自动点亮&#xff1b; 2.按键1按下后&#xff0c;通过中断int0把两个LED熄灭5s时间&#xff0c;int0优先级设置为最高&#xff08;优先级必须设置&#xff0c;设置后才…
阅读更多...
（四）机器学习---逻辑回归及其Python实现

（四）机器学习---逻辑回归及其Python实现

之前我们提到了常见的任务和算法&#xff0c;本篇我们使用逻辑回归来进行分类 分类问题回归问题聚类问题各种复杂问题决策树√线性回归√K-means√神经网络√逻辑回归√岭回归密度聚类深度学习√集成学习√Lasso回归谱聚类条件随机场贝叶斯层次聚类隐马尔可夫模型支持向量机高…
阅读更多...
代码随想录第17天：二叉树

代码随想录第17天：二叉树

一、二叉搜索树的最近公共祖先&#xff08;Leetcode 235&#xff09; 由于是二叉搜索树&#xff0c;节点的值有严格的顺序关系&#xff1a;左子树的节点值都小于父节点&#xff0c;右子树的节点值都大于父节点。利用这一点&#xff0c;可以在树中更高效地找到最低公共祖先。 c…
阅读更多...
面试篇 - GPT-1（Generative Pre-Training 1）

面试篇 - GPT-1（Generative Pre-Training 1）

GPT-1&#xff08;Generative Pre-Training 1&#xff09; ⭐模型结构 Transformer only-decoder&#xff1a;GPT-1模型使用了一个12层的Transformer解码器。具体细节与标准的Transformer相同&#xff0c;但位置编码是可训练的。 注意力机制&#xff1a; 原始Transformer的解…
阅读更多...
【从零实现高并发内存池】内存池整体框架设计 及 thread cache实现

【从零实现高并发内存池】内存池整体框架设计 及 thread cache实现

&#x1f4e2;博客主页&#xff1a;https://blog.csdn.net/2301_779549673 &#x1f4e2;博客仓库&#xff1a;https://gitee.com/JohnKingW/linux_test/tree/master/lesson &#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01; &…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023