分布式ID的实现方案

news2025/1/17 0:31:20

1. 什么是分布式ID

​ 对于低访问量的系统来说,无需对数据库进行分库分表,单库单表完全可以应对,但是随着系统访问量的上升,单表单库的访问压力逐渐增大,这时候就需要采用分库分表的方案,来缓解压力。

​ 在实际的业务场景中,我们常常需要一个唯一ID来确保数据的唯一性,对于单表单库来说,我们通常采用自增ID来作为标识,但是分库分表之后,自增ID的唯一性就无法保证。

分布式ID的实现方案-01

​ 如上图所示,同一业务下的3张数据表,可能存在相同的ID,导致无法根据ID来确保数据的唯一性,因此,在分库分表的架构中,我们就需要使用分布式ID,来确保同一业务下的多张数据表或者多张数据库,数据的唯一性。

2. 分布式ID的实现方案

1. 基于UUID生成

​ UUID是一组由32位的16进制数据所构成,所以可以生成16^32个数据,也就是说,平均每纳秒可以生成1兆组数据,约100亿年才可以使用完。

​ UUID的格式为8-4-4-4-12,如:62f51e7e-a3ca-45ab-bf3f-2c3279f2991e,在JDK中,可以通过如下方式生成一组UUID:

    public static void main(String[] args) {
        UUID uuid = UUID.randomUUID();
        System.out.println("UUID:" + uuid);
    }

UUID:e27cc5fa-8655-4095-b682-e12d178791dd

​ 虽然UUID的实现方案简单便捷,但是由于其长度较长,在数据库中存储会占用过多资源,并且如果作为主键,由于UUID的无序性,会导致其存储的数据位置频繁变动,对性能影响较大。

2. 基于数据库生成
1. 基于特定起始值和步长分配ID

​ 例如现在分了3张表,分别是table_1、table_2、table_3,那么可以给table_1分配自增ID的起始值是1;为table_2分配自增ID的起始值是2,为table_3分配自增ID的起始值是3,步长均为3,这样同一业务下的这3张表,也可以确保其ID的唯一性。

以MySQL为例,可以在MySQL的配置文件中,设置自增ID起始值和步长

自增ID起始值:auto_increment_increment = value

自增ID步长:auto_increment_offset = value

​ 以上方式,虽然可以实现全局唯一ID的生成,但是该方案高度依赖数据库,一旦数据库发生异常,便直接影响业务,并且在主库发生异常,主从切换不一致时,可能会出现ID重复的异常。

2. 基于特定数据表分配ID

​ 可以新建一张数据表,专门存放当前最新的ID,每次需要获取ID值时,都将该数据表中的ID自增一次,并返回最新的ID值。

副本-分布式ID的实现方案-03

​ 以上方式,同样可以生成全局唯一ID,但是也同样高度依赖数据库,在进行实际的业务场景中,增加了一次与业务无关的读写操作,在高并发场景下,ID数据表的压力很大,对系统的QPS影响较大,并且当数据库发生异常时,也会直接影响原有的业务执行。

3. 基于Redis生成

​ 可以通过Redis的INCRINCRBY指令来实行分布式ID的生成,每次请求时,都从Redis中获取一次分布式ID。

分布式ID的实现方案-04

​ 当QPS较小时,此种方案可以应对,但是对于高并发场景,此种方案对于单台Redis服务器的性能要求较高,因此,需要搭建Redis集群,来缓解单台Redis服务器的压力,但是对于Redis集群来说,分布式ID的生成又会出现MySQL集群出现的问题,并且此种方案同样高度依赖Redis,一旦Redis服务器出现异常,就会影响到整个业务流程,同时此种方案引入了Redis中间件,增加了系统的复杂度。

4. 基于雪花算法生成

​ 雪花算法是由Twitter开源的一个分布式ID生成的解决方案,该分布式ID总共占用64bit存储空间,对于Java来说,正好使用long类型来进行存储。

第1位:始终是0,可以看做是符号位,不使用。

第2-42位:总共41位,表示时间戳,单位是毫秒,总共可以表示2^41个数字,即69年的时间。

第43-52位:总共10位,表示机器数,总共可以表示2^10=1024台机器,通常情况下,不需要部署这么多台机器,因此,一般将前5位表示数据中心,后5位表示机器数,即总共可以表示32个数据中心,每个数据中心有32台机器。

第53-64位:总共12位,表示自增序列,可以表示2^12=4096个数。

​ 这样划分之后,相当于在1ms之内,一个数据中心的一台服务器中,可以产生4096个不重复的有序ID。

分布式ID的实现方案-05

​ 具体的Java代码实现如下:

/***
 * 雪花算法
 *
 * @author niutucode
 */
public class Snowflake {
    /**
     * 开始时间戳
     */
    private static final long START_TIMESTAMP = 1736820033851L;
    /**
     * 机器位数
     */
    private static final long MACHINE_BIT = 10L;
    /**
     * 序列号位数
     */
    private static final long SEQUENCE_BIT = 12L;
    /**
     * 机器最大值 1023
     */
    private static final long MAX_MACHINE_NUM = ~(-1L << MACHINE_BIT);
    /**
     * 序列号最大值 4095
     */
    private static final long MAX_SEQUENCE = ~(-1L << SEQUENCE_BIT);
    /**
     * 机器标识向左移动的位数
     */
    private static final long MACHINE_LEFT = SEQUENCE_BIT;
    /**
     * 时间戳向左移动的位数
     */
    private static final long TIMESTAMP_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    /**
     * 机器ID
     */
    private long machineId;
    /**
     * 序列号
     */
    private long sequence = -1L;
    /**
     * 上一次时间戳
     */
    private long lastTimeStamp = 0L;

    /**
     * 构造器
     *
     * @param machineId 机器ID
     */
    public Snowflake(long machineId) {
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("机器ID不能大于" + MAX_MACHINE_NUM + "或者小于0");
        }
        this.machineId = machineId;
    }

    /**
     * 产生下一个时间戳
     *
     * @param lastTimeStamp 上一次生成的时间戳
     * @return 下一个时间戳
     */
    private long nextTimestamp(long lastTimeStamp) {
        long timestamp = System.currentTimeMillis();
        while (timestamp <= lastTimeStamp) {
            timestamp = System.currentTimeMillis();
        }
        return timestamp;
    }

    /**
     * 获取分布式ID
     * 该方法需线程安全,如果在分布式系统中,应该使用分布式锁来保证该方法的线程安全,如果不设置,在高并发场景中,      * 可能会出现多个线程生成同一ID的异常
     * @return 分布式ID
     */
    public synchronized long nextId() {
        long timestamp = System.currentTimeMillis();
        if (timestamp < lastTimeStamp) {
            throw new RuntimeException("时钟回拨异常");
        }
        if (timestamp == lastTimeStamp) {
            // 相同毫秒内,序列号自增
            sequence = (sequence + 1) & MAX_SEQUENCE;
            // 同一毫秒的序列数已经达到最大
            if (sequence == 0) {
                timestamp = nextTimestamp(lastTimeStamp);
            }
        } else {
            sequence = 0L;
        }
        lastTimeStamp = timestamp;
        return (timestamp - START_TIMESTAMP) << TIMESTAMP_LEFT | machineId << MACHINE_LEFT | sequence;
    }
}
public static void main(String[] args) {
    Snowflake snowflake = new Snowflake(0);
    System.out.println("分布式ID:" + snowflake.nextId());
}

分布式ID:9161748250624

​ 通过雪花算法生成分布式ID,生成的ID是有序递增的,不依赖于第三方系统,在高并发场景下,依然具有良好的性能,相较于UUID方式生成分布式ID,该方式性能更高,占用空间小,且递增有序,可读性更好。

​ 但是雪花算法也存在一定的局限性,当系统发生时钟回拨时,该方法就会处于不可用的状态,可以使用百度的UidGenerator或者美团的Leaf规避这一风险,在实际的开发中,可以根据需要,选择合适的方案,来实现分布式ID的生成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2277769.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

28.找出字符串中第一个匹配项的下标【力扣】KMP前缀表 ≈ find() 函数、暴力解法

class Solution { public: //得到前缀表void getNext(int *next,string needle){int j0;for(int i1;i<needle.size();i){while(j>0 && needle[j]!needle[i]) jnext[j-1];//**j>0**>j0是出口if(needle[i]needle[j]) j;next[i]j;//若写入if中&#xff0c;则该…

当自动包布机遇上Profinet转ModbusTCP网关,“妙啊”,工业智能“前景无限

在自动化控制技术日新月异的当下&#xff0c;Profinet与ModbusTCP这两种协议在工业通信领域占据着举足轻重的地位。ModbusTCP是基于以太网的串行通信协议&#xff0c;而Profinet则是依托工业以太网的现场总线协议。它们在数据传输速度、实时性表现以及兼容性等方面各具特色。不…

ADC(Analog-to-digital converter)模拟-数字转换器

ADC简介 ADC&#xff08;Analog-to-Digital Converter&#xff09;&#xff0c;即模拟-数字转换器&#xff0c;是一种将模拟信号转换成数字信号的电子设备。它在现代电子系统中扮演着至关重要的角色&#xff0c;广泛应用于传感器信号处理、通信系统、医疗设备、工业自动化等多…

Uniapp判断设备是安卓还是 iOS,并调用不同的方法

在 UniApp 中&#xff0c;可以通过 uni.getSystemInfoSync() 方法来获取设备信息&#xff0c;然后根据系统类型判断当前设备是安卓还是 iOS&#xff0c;并调用不同的方法。 示例代码 export default {onLoad() {this.checkPlatform();},methods: {checkPlatform() {// 获取系…

TP4056锂电池充放电芯片教程文章详解·内置驱动电路资源!!!

目录 TP4056工作原理 TP4056引脚详解 TP4056驱动电路图 锂电池充放电板子绘制 编写不易&#xff0c;仅供学习&#xff0c;感谢理解。 TP4056工作原理 TP4056是专门为单节锂电池或锂聚合物电池设计的线性充电器&#xff0c;充电电流可以用外部电阻设定&#xff0c;最大充电…

平滑算法 效果比较

目录 高斯平滑 效果对比 移动平均效果比较: 高斯平滑 效果对比 右边两个参数是1.5 2 代码: smooth_demo.py import numpy as np import cv2 from scipy.ndimage import gaussian_filter1ddef gaussian_smooth_array(arr, sigma):smoothed_arr = gaussian_filter1d(arr, s…

Jenkins-简介/安装!

一. 关于持续集成&#xff1a; 持续集成(CI ) [ Continuous Integration ]&#xff0c;通俗来讲&#xff0c;就是一个能监控版本控制系统变化的工具&#xff0c;可以自动编译和测试集成的应用程序。出现问题&#xff0c;能够及时的通知相应人员。持续集成是一种思维工具集&…

Flutter中Get.snackbar避免重复显示的实现

在pubspec.yaml中引入依赖框架。 #GetX依赖注解get: ^4.6.5创建一个SnackBarManager管理类去管理每个提示框。 import package:get/get.dart; import package:flutter/material.dart;class SnackBarManager {factory SnackBarManager() > instance;static final SnackBarMa…

c#删除文件和目录到回收站

之前在c上遇到过这个问题&#xff0c;折腾许久才解决了&#xff0c;这次在c#上再次遇到这个问题&#xff0c;不过似乎容易了一些&#xff0c;亲测代码如下&#xff0c;两种删除方式都写在代码中了。 直接上完整代码&#xff1a; using Microsoft.VisualBasic.FileIO; using Sy…

微信小程序集成Vant Weapp移动端开发的框架

什么是Vant Weapp Vant 是一个轻量、可靠的移动端组件库&#xff0c;于 2017 年开源。 目前 Vant 官方提供了 Vue 2 版本、Vue 3 版本和微信小程序版本&#xff0c;并由社区团队维护 React 版本和支付宝小程序版本。 官网地睛&#xff1a;介绍 - Vant Weapp (vant-ui.gith…

kafka原理和实践

Kafka是当前分布式系统中最流行的消息中间件之一&#xff0c;凭借着其高吞吐量的设计&#xff0c;在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容&#xff1a; Kafka简介 Kafka特点Kafka基本概念Kafka架构Kafka的几…

【机器学习】数据拟合-最小二乘法(Least Squares Method)

最小二乘法&#xff08;Least Squares Method&#xff09; 最小二乘法是一种广泛使用的数据拟合方法&#xff0c;用于在统计学和数学中找到最佳拟合曲线或模型&#xff0c;使得观测数据点与模型预测值之间的误差平方和最小化。以下是详细介绍&#xff1a; 基本概念 假设有一组…

我的年度总结

这一年的人生起伏&#xff1a;从曙光到低谷再到新的曙光 其实本来没打算做年度总结的&#xff0c;无聊打开了帅帅的视频&#xff0c;结合自己最近经历的&#xff0c;打算简单聊下。因为原本打算做的内容会是一篇比较丧、低能量者的呻吟。 实习生与创业公司的零到一 第一段工…

30分钟内搭建一个全能轻量级springboot 3.4 + 脚手架 <5> 5分钟集成好caffeine并使用注解操作缓存

快速导航 <1> 5分钟快速创建一个springboot web项目 <2> 5分钟集成好最新版本的开源swagger ui&#xff0c;并使用ui操作调用接口 <3> 5分钟集成好druid并使用druid自带监控工具监控sql请求 <4> 5分钟集成好mybatisplus并使用mybatisplus generator自…

Mysql--运维篇--主从复制和集群(主从复制I/O线程,SQL线程,二进制日志,中继日志,集群NDB)

一、主从复制 MySQL的主从复制&#xff08;Master-Slave Replication&#xff09;是一种数据冗余和高可用性的解决方案&#xff0c;它通过将一个或多个从服务器&#xff08;Slave&#xff09;与主服务器&#xff08;Master&#xff09;同步来实现。主从复制的基本原理是&#…

实战threeJS数字孪生开源 数字工厂

threeJS数字孪生 数字工厂 设备定位 基于three.js的数字工厂开源项目介绍 一、项目概述 本项目是一款基于three.js的数字工厂项目&#xff0c;旨在通过3D可视化技术&#xff0c;为工业制造领域提供一个直观、高效、智能的生产监控与管理平台。该项目结合了现代前端技术栈&…

回归预测 | MATLAB实RVM相关向量机多输入单输出回归预测

回归预测 | MATLAB实RVM相关向量机多输入单输出回归预测 目录 回归预测 | MATLAB实RVM相关向量机多输入单输出回归预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 RVM-Adaboost相关向量机集成学习多输入单输出回归预测是一种先进的机器学习方法&#xff0c;用于处理…

计算机网络 (44)电子邮件

一、概述 电子邮件&#xff08;Electronic Mail&#xff0c;简称E-mail&#xff09;是因特网上最早流行的应用之一&#xff0c;并且至今仍然是因特网上最重要、最实用的应用之一。它利用计算机技术和互联网&#xff0c;实现了信息的快速、便捷传递。与传统的邮政系统相比&#…

向量数据库Milvus详解

向量数据库Milvus详解 0. 什么是向量数据库? 在现实世界中,并非所有数据都可以整齐地放到行和列中。在处理图像、视频和自然语言等复杂的非结构化数据时尤其如此。这就是向量数据库的用武之地。 向量数据库是一种以高维向量的形式来存储数据的数据库,这些向量本质上是表示…

通信与网络安全管理之ISO七层模型与TCP/IP模型

一.ISO参考模型 OSI七层模型一般指开放系统互连参考模型 (Open System Interconnect 简称OSI&#xff09;是国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合制定的开放系统互连参考模型&#xff0c;为开放式互连信息系统提供了一种功能结构的框架。 它从低到高分别是…