面试必备:10种分布式ID的生成方案

news2024/11/16 12:58:57

前言

日常工作中,我们开发的系统、或者中间件,都是分布式部署的。比如你的订单数据库,做了分库分表,这时候,你需要一个唯一的ID来标记一条数据。这时候,就需要分布式ID。分布式ID是在分布式系统下使用的ID,用于在多个节点中生成全局唯一的标识符。

1. UUID

UUID是通用唯一识别码(Universally Unique Identifier)的缩写。它通过一定的算法机器生成,包括网卡MAC地址、时间戳、名字空间(Namespace)、随机或伪随机数、时序等元素。

代码示例:

 UUID randomUUID = UUID.randomUUID();
 System.out.println(randomUUID);
 //输出示例:a4332986-c548-4a39-9202-c82e2ea3b455

UUID的优点

  • 本地生成ID,不需要进行远程调用,时延低,性能高。

  • 全球唯一,数据迁移容易。

UUID的缺点

  • UUID过长,生成的是字符串,存储空间高。

  • 不是有序的,无法保证趋势递增。

  • 可读性差,不体现业务信息。

2. 数据库自增ID

利用数据库的自增策略,如MySQL的auto_increment,来实现分布式ID。

图片

数据库自增ID的优点:

  • 主键自动增长,不用手工设值。

  • 数字型,占用空间小、检索有利。

  • 绝对有序。

数据库自增ID的缺点:

  • 并发性能不高,受限于数据库性能。

  • 不太适合重构的系统,因为涉及旧数据迁移容易ID冲突。

  • 暴露商业信息,例如可以推断出来订单量。

  • 存在单点问题

3. 数据库集群模式

单库的数据库自增ID会存在单点问题,所以可以用数据库集群模式,去解决这个问题。数据库集群模式:通过多个数据库实例设置不同的起始值和步长来生成全局唯一的ID。

图片

数据库集群模式优点

  • 可以有效生成集群中的唯一ID。解决了单点的问题。

  • 降低ID生成数据库操作的负载。

数据库集群模式缺点

  • 需要独立部署多个数据库实例,成本高。

  • 后期不方便扩展

4. 数据库号段模式

数据库号段模式:直接从数据库生成批量的ID到本地,直到本地ID号段用完再申请。

号段模式的表结构,可以这么设计:

CREATE TABLE id_generator (  
    id INT(10) NOT NULL,  
    max_id BIGINT(20) NOT NULL COMMENT '当前最大id',  
    step INT(20) NOT NULL COMMENT '号段的长度',  
    biz_type INT(20) NOT NULL COMMENT '业务类型',  
    version INT(20) NOT NULL COMMENT '版本号, 用于乐观锁',  
    PRIMARY KEY (`id`)  
);

数据库号段模式的优点

  • 速度快。

  • 如果生成ID的服务器宕机,本地ID可以支撑一段时间。

数据库号段模式的缺点:

  • 如果生成ID的服务器宕机且本地ID用尽,会出现ID大量空的情况。

  • 存储空间高。

  • 在服务器重启或故障转移等情况下,可能会导致ID的生成出现不连续的情况。

5.Redis实现的分布式ID

我们可以利用,Redis的自增命令incr生成全局唯一ID。具体实现方式是:在Redis中维护一个自增的计数器,每次生成ID时,从Redis中获取计数器的值,然后将其加一并更新回Redis。

图片

这种方式实现的分布式ID,是唯一的,并且是有序的,我们可以拼接时间、机器标识、业务类型等,让这个ID更有特殊意思。

Redis实现的分布式ID优点:

  • 高性能、可扩展性强

  • 唯一有序的

Redis实现的分布式ID缺点:

  • 需要依赖Redis集群,否则存在单点问题。

  • 可能存在ID冲突的风险(如果Redis集群设计不当)。

6. Snowflake雪花算法

雪花算法是一种生成分布式全局唯一ID的算法,生成的ID称为Snowflake IDs。这种算法由Twitter创建,并用于推文的ID。

图片

一个Snowflake ID有64位。

  • 第1位:Java中long的最高位是符号位代表正负,正数是0,负数是1,一般生成ID都为正数,所以默认为0。

  • 接下来前41位是时间戳,表示了自选定的时期以来的毫秒数。

  • 接下来的10位代表计算机ID,防止冲突。

  • 其余12位代表每台机器上生成ID的序列号,这允许在同一毫秒内创建多个Snowflake ID。

Snowflake雪花算法的优点:

  • 生成的ID全局唯一、趋势递增。

  • 性能高,可扩展性强。

Snowflake雪花算法的缺点:

  • 需要时钟回拨处理机制。

  • 依赖机器ID和数据中心ID的分配。

7. 基于Zookeeper的顺序节点

利用Zookeeper的顺序节点特性来生成全局唯一ID。

图片

优点:

  • 利用Zookeeper的集群特性保证高可用。

  • ID全局唯一。

缺点:

  • 需要依赖Zookeeper集群。

  • 可能会受到Zookeeper性能的限制。

  • 并发竞争较大不适合用Zookeeper

8.百度的uid-generator

基于Twitter的Snowflake算法进行改进,增加了更多的配置和灵活性。

与原始的snowflake算法不同在于,uid-generator支持自定义时间戳、工作机器ID和 序列号 等各部分的位数,而且uid-generator中采用用户自定义workId的生成策略。

代码demo:

import com.baidu.fsg.uid.UidGenerator;  
import com.baidu.fsg.uid.impl.CachedUidGenerator;  
  
public class UidGeneratorDemo {  
  
    public static void main(String[] args) {  
        // 创建一个UidGenerator实例  
        UidGenerator uidGenerator = new CachedUidGenerator();  
  
        // 初始化,这里只是一个简单的示例,实际使用时你可能需要根据你的业务场景进行更复杂的配置  
        // 例如,设置workerId、epoch等  
        // 注意:在多实例部署时,每个实例的workerId必须唯一  
        long workerId = 1L; // 示例ID,实际使用时需要保证每个实例的唯一性  
        long datacenterId = 1L; // 数据中心ID,示例  
        uidGenerator.init(workerId, datacenterId, null);  
  
        // 生成一个UID  
        long uid = uidGenerator.getUID();  
        System.out.println("Generated UID: " + uid);  
    }  
}
  • 优缺点:类似Snowflake算法,但配置更灵活。

9. 美团(Leaf)

Leaf是美团点评开源的分布式ID生成系统,包含基于数据库和基于Zookeeper的两种实现方式。

以基于数据库的自增ID生成策略为例(数据库表结构):

CREATE TABLE leaf_alloc (  
    biz_tag VARCHAR(128) NOT NULL COMMENT '业务key',  
    max_id BIGINT(20) NOT NULL COMMENT '当前已分配的最大id',  
    step INT(11) NOT NULL COMMENT '每次id的增长步长',  
    PRIMARY KEY (biz_tag)  
) ENGINE=INNODB DEFAULT CHARSET=utf8mb4;

Java 实现:

import java.sql.*;  
  
public class LeafIdGenerator {  
  
    private static final String JDBC_URL = "jdbc:mysql://localhost:3306/your_database?useSSL=false&serverTimezone=UTC";  
    private static final String USERNAME = "your_username";  
    private static final String PASSWORD = "your_password";  
  
    private static final String UPDATE_SQL = "UPDATE leaf_alloc SET max_id = max_id + ? WHERE biz_tag = ?";  
    private static final String SELECT_SQL = "SELECT max_id FROM leaf_alloc WHERE biz_tag = ? FOR UPDATE";  
  
    public synchronized long getId(String bizTag) throws SQLException {  
        Connection conn = null;  
        PreparedStatement updateStmt = null;  
        PreparedStatement selectStmt = null;  
        ResultSet rs = null;  
  
        try {  
            conn = DriverManager.getConnection(JDBC_URL, USERNAME, PASSWORD);  
            selectStmt = conn.prepareStatement(SELECT_SQL);  
            selectStmt.setString(1, bizTag);  
            rs = selectStmt.executeQuery();  
  
            if (rs.next()) {  
                long maxId = rs.getLong("max_id");  
                int step = 1000; // 假设步长为1000,你可以从数据库中读取这个值  
  
                // 假设这里只是简单演示,不检查是否超过max_id + step是否溢出  
                updateStmt = conn.prepareStatement(UPDATE_SQL);  
                updateStmt.setInt(1, step);  
                updateStmt.setString(2, bizTag);  
                updateStmt.executeUpdate();  
  
                // 返回ID区间中的一个ID,这里简单返回maxId(实际应用中可能需要更复杂的策略)  
                return maxId;  
            } else {  
                // 如果没有找到对应的bizTag,则需要初始化  
                // ... 初始化代码省略 ...  
                throw new RuntimeException("BizTag not found: " + bizTag);  
            }  
        } finally {  
            // 关闭资源,省略了异常处理  
            if (rs != null) rs.close();  
            if (selectStmt != null) selectStmt.close();  
            if (updateStmt != null) updateStmt.close();  
            if (conn != null) conn.close();  
        }  
    }  
  
    public static void main(String[] args) {  
        LeafIdGenerator generator = new LeafIdGenerator();  
        try {  
            long id = generator.getId("test-biz-tag");  
            System.out.println("Generated ID: " + id);  
        } catch (SQLException e) {  
            e.printStackTrace();  
        }  
    }  
}

优点

  • 结合了数据库和Zookeeper的优点,提供了高可用和高性能的ID生成服务。缺点:

  • 就是时钟回拨问题、复杂性高。

10. 滴滴(Tinyid)

Tinyid是滴滴开源的轻量级分布式ID生成系统,它是基于号段模式原理实现的与Leaf如出一辙,每个服务获取一个号段(1000,2000]、(2000,3000]、(3000,4000]

图片

以下是一个简化的Tinyid,服务端的伪代码:

// 假设我们有一个ID生成器,这里用AtomicLong模拟  
import java.util.concurrent.atomic.AtomicLong;  
  
public class TinyidService {  
    private AtomicLong idGenerator = new AtomicLong(0);  
  
    // 模拟的ID生成方法  
    public synchronized long generateId() {  
        return idGenerator.incrementAndGet();  
    }  
  
    // 这里应该是RESTful API的实现,但为简化起见,我们省略了HTTP部分  
    // 客户端应该通过HTTP请求调用此方法  
    public long getIdOverHttp() {  
        return generateId();  
    }  
}

客户端(Java示例)

import okhttp3.*;  
  
public class TinyidClient {  
    private static final String TINYID_SERVICE_URL = "http://localhost:8080/tinyid/generate";  
  
    public static void main(String[] args) {  
        OkHttpClient client = new OkHttpClient();  
  
        Request request = new Request.Builder()  
                .url(TINYID_SERVICE_URL)  
                .build();  
  
        client.newCall(request).enqueue(new Callback() {  
            @Override  
            public void onFailure(Call call, IOException e) {  
                e.printStackTrace();  
            }  
  
            @Override  
            public void onResponse(Call call, Response response) throws IOException {  
                if (!response.isSuccessful()) {  
                    throw new IOException("Unexpected code " + response);  
                } else {  
                    // 假设服务端返回的是纯文本格式的ID  
                    String responseBody = response.body().string();  
                    long id = Long.parseLong(responseBody);  
                    System.out.println("Generated ID: " + id);  
                }  
            }  
        });  
    }  
}
  • 优缺点:简单、轻量级,但性能可能不如其他方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1857739.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

冻干食品市场飙升至新高度,预计到 2030 年将达到 717 亿美元

冻干食品市场,近年来经历了显著增长,2021 年价值 372 亿美元,预计到 2030 年将达到 717 亿美元。 从2022年到2030年,这一强劲的扩张是由7.7%的复合年增长率推动的,这是由于多种因素造成的,包括食品加工行…

2023 联邦推荐系统综述

本博客结合2023年发表的综述文章,对近期一些联邦推荐文章进行总结,综述原文: SUN Z, XU Y, LIU Y, et al. A Survey on Federated Recommendation Systems[J]. 2023.https://doi.org/10.48550/arXiv.2301.00767 引言 最近,已有许多…

基于SpringBoot小区物业智能卡管理设计和实现(源码+LW+调试文档+讲解等)

💗博主介绍:✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者,博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码数据库🌟感兴趣的可以先收藏起来,还…

金融科技在智能投研领域的革新与未来趋势

金融科技作为当今金融行业的重要驱动力,其在智能投研领域的应用正逐渐改变传统的投资研究模式,引领着行业向更加智能、高效的方向发展。本文将从不同角度探讨金融科技在智能投研领域的革新及未来趋势。 一、技术革新:从数据分析到智能决策 金…

shell条件测试语句

条件测试: $? 返回码 判断命令或者脚本是否执行成功 为0 true 为真就是成功 非0 fales 失败或者异常 test命令 可以进行条件测试,然后根据返回值来判断条件是否成立 -e :测试文件或者目录是否存在 -d :只能测试…

酸纯化器酸蒸馏器提取系统亚沸腾高纯酸蒸馏硝酸盐酸氢氟酸

一、产品简介 酸纯化器:亦称高纯酸蒸馏纯化器、酸蒸馏器、亚沸腾蒸馏装置,简称酸纯化器(南京-瑞尼克-科技)是超净化实验产品,后期提取的高纯酸、高纯水可以配套我们公司Teflon系列的器皿使用。 二、工作原理 酸纯化器是利用热辐射原理&…

Mac清理系统数据小技巧,告别卡顿烦恼 苹果电脑清理内存怎么清理

任何使用Mac的用户都会同意:没有什么比一台运行缓慢的电脑更能消磨人的耐心了。那些无休止的彩球旋转、程序响应迟缓、突然的系统冻结,这一切都让人想抓狂!但别担心,这里有一些简单的Mac清理系统数据小技巧和CleanMyMac X的神助攻…

Codeforces Round 954 (Div.3)

传送门 A. X Axis 时间限制:2秒 空间限制:256MB 输入:标准输入 输出:标准输出 问题描述 你有三个位于 X 轴上的整数坐标点 , 和 (其中 )。你可以选择 X 轴上任意一个整数坐标点 …

Windows环境如何ssh远程连接本地局域网内的Archcraft系统

文章目录 前言1. 本地SSH连接测试2. Archcraft安装Cpolar3. 配置 SSH公网地址4. 公网远程SSH连接小结 5. 固定SSH公网地址6. SSH固定地址连接 前言 本文主要介绍如何在Archcraft系统中安装Cpolar内网穿透工具,并以实现Windows环境ssh远程连接本地局域网Archcraft系统来说明使用…

区块链实验室(37) - 交叉编译百度xuperchain for arm64

纠结了很久,终于成功编译xuperchain for arm64。踩到1个坑,说明如下。 1、官方文档是这么说的:go语言版本推荐1.5-1.8 2、但是同一个页面,又是这么说的:不推荐使用1.11之前的版本。 3、问题来了:用什么版本…

数据归档与清理功能大幅升级,NineData重磅升级!

NineData 的数据归档与清理功能已经发布将近半年时间,在这段时间里,解决了一大批企业在过期数据处理方面的大麻烦,可以相对自动化地定期执行如下数据归档与清理工作。 识别业务库中的归档数据→移动到归档库→清理业务库的已归档数据→整理业…

【力扣C++】爬楼梯

假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢? 示例 1: 输入:n 2 输出:2 解释:有两种方法可以爬到楼顶。 1. 1 阶 1 阶 2. 2 阶 示例 2&#x…

解决Playwright在Ubuntu下启动报错的问题:从环境到依赖的全面优化

在Ubuntu环境中使用Python进行web自动化测试时,Playwright是一个非常强大的工具。然而,在具体实践中,我们常常会遇到各种错误,尤其是在不同Python版本和依赖版本之间切换时。本文将详细介绍如何应对这些问题,并提供一些解决方法。 问题背景 在使用Playwright时,我们有时…

docker-compose离线安装harbor

1、下载harbor goharbor下载:Releases goharbor/harbor GitHub harbor-offline-installer-v2.11.0.tgz 2、解压 tar -xvf harbor-offline-installer-v2.11.0.tgz 3、创建一个卷目录,并复制一份配置文件 cd harbor; mkdir data;cp harbor.yml.tmp…

Linux 安装、配置Tomcat 的HTTPS

Linux 安装 、配置Tomcat的HTTPS 安装Tomcat 这里选择的是 tomcat 10.X ,需要Java 11及更高版本 Binary Distributions ->Core->选择 tar.gz包 下载、上传到内网服务器 /opt 目录tar -xzf 解压将解压的根目录改名为 tomat-10 并移动到 /opt 下, 形成个人习惯的路径 /…

[Linux]缓冲区

一、概念 缓冲区,也称为缓存,是内存空间的一部分。也就是说,在内存空间中预留了一定的存储空间,用来缓冲输入或输出的数据。这个保留的空间称为缓冲区。 缓冲区的主要作用就是提高效率: 提高使用者的效率&#xff0…

【吊打面试官系列-Mysql面试题】NULL 是什么意思?

大家好,我是锋哥。今天分享关于 【NULL 是什么意思?】面试题,希望对大家有帮助; NULL 是什么意思? 答:NULL 这个值表示 UNKNOWN(未知):它不表示“”(空字符串)。对 NULL 这个值的任何比较都会生产一个 NULL 值。您不能…

Qt项目天气预报(6) - 引入QMap: debug+更新天气图片

QMAP 解决bug () bug描述 由于json文件中有的地方不带市,有的地方带县,有的地方是区,我们匹配不上这个地方,我们可以使用QString进行字符串拼接来实现。 另外,我们之前的 getCityCodeFromName()函数写得…

使用python连接dy直播间的websocket消息,竟然一会就自动断开了

使用python的websocket创建一个客户端连接直播间的消息,可是过一会就自动断开了,使用rust尝试连接也是一样的效果,过一会就自动断开了,而且报错: 我们先使用python建立一个客户端试一下: # 导入websocket-…

免费的AI在线写作工具,让写作变的更简单

在如今的时代,写作已经成为了我们日常生活中不可或缺的一部分。无论是自媒体创作者、学生还是办公职场人员,都有内容创作的需求。然而,写作过程往往伴随着灵感枯竭、查找资料费时等问题。下面小编就来和大家分享几款免费的AI在线写作工具&…