美团Leaf分布式ID生成器使用教程:号段模式与Snowflake模式详解

news2025/3/22 12:53:21

引言

在分布式系统中,生成全局唯一ID是核心需求之一。美团开源的Leaf提供了两种分布式ID生成方案:号段模式(高可用、依赖数据库)和Snowflake模式(高性能、去中心化)。本文将手把手教你如何配置和使用这两种模式,并解析其核心机制。


一、Leaf号段模式使用教程

1. 环境准备

  • 数据库:MySQL 5.7+
  • Java环境:JDK 1.8+
  • Leaf源码:从GitHub克隆Leaf仓库(推荐使用feature/spring-boot-starter分支)。

2. 数据库配置

2.1 创建表结构

执行以下SQL创建leaf_alloc表,用于管理号段:

CREATE TABLE `leaf_alloc` (
  `biz_tag` varchar(128) NOT NULL DEFAULT '' COMMENT '业务标识',
  `max_id` bigint(20) NOT NULL DEFAULT '1' COMMENT '当前最大ID',
  `step` int(11) NOT NULL COMMENT '号段步长',
  `description` varchar(256) DEFAULT NULL COMMENT '业务描述',
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`biz_tag`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
2.2 插入测试数据

初始化两个业务标识(例如订单和用户服务):

INSERT INTO leaf_alloc(biz_tag, max_id, step, description) 
VALUES ('order', 1, 2000, '订单服务'), ('user', 1, 2000, '用户服务');

3. Leaf服务配置

3.1 修改配置文件

leaf-server/src/main/resources/leaf.properties中配置数据库连接:

leaf.name=leaf-service
leaf.segment.enable=true
leaf.jdbc.url=jdbc:mysql://localhost:3306/leaf?useUnicode=true&characterEncoding=utf8
leaf.jdbc.username=root
leaf.jdbc.password=123456
3.2 启动Leaf服务

运行LeafServerApplication,服务默认端口为8080

4. 调用接口生成ID

通过HTTP接口获取ID:

# 获取订单服务的ID
curl http://localhost:8080/api/segment/get/order

# 获取用户服务的ID
curl http://localhost:8080/api/segment/get/user

5. 核心机制解析

  • 双Buffer机制:Leaf维护两个号段缓冲区(当前和备用),当当前号段消耗10%时,异步加载下一个号段,避免数据库访问阻塞。
  • 动态步长调整:根据流量变化自动调整步长(如流量翻倍时步长倍增),确保数据库压力稳定。

二、Leaf Snowflake模式使用教程

1. 环境准备

  • Zookeeper:用于生成全局唯一的机器ID(workerId)。
  • Leaf源码:同上。

2. 配置Snowflake模式

2.1 修改配置文件

leaf.properties中启用Snowflake模式并配置Zookeeper:

leaf.segment.enable=false
leaf.snowflake.enable=true
leaf.snowflake.zk.address=127.0.0.1:2181
leaf.snowflake.port=8686
2.2 启动Zookeeper

确保Zookeeper服务运行,Leaf会自动在ZK中创建持久顺序节点以分配workerId

3. 调用接口生成ID

# 获取Snowflake模式的ID
curl http://localhost:8080/api/snowflake/get/pay

4. 核心机制解析

  • ID结构:64位ID = 时间戳(41位) + 机器ID(10位) + 序列号(12位)。
  • 时钟回拨处理:若时钟回拨≤5ms,等待时钟同步;若>5ms,抛出异常。
  • 弱依赖ZK:首次从ZK获取workerId后,本地缓存文件,即使ZK宕机也不影响服务。

三、两种模式对比与选型建议

维度号段模式Snowflake模式
依赖强依赖MySQL弱依赖Zookeeper
性能10万+ QPS(单节点)50万+ QPS(单节点)
ID趋势趋势递增严格单调递增
适用场景高可用、允许短暂数据库不可用高性能、去中心化架构
缺点ID规律性强,可能泄露业务量依赖时钟,需解决回拨问题

选型建议

  • 订单系统、分库分表:优先选择号段模式,保证高可用。
  • 实时日志、秒杀系统:选择Snowflake模式,追求极致性能。

四、高级功能与监控

1. 监控号段状态

访问http://localhost:8080/cache,可实时查看各业务号段的缓冲区使用情况(如剩余ID数量、加载状态)。

2. 动态调整步长

通过修改数据库中的step字段,Leaf会自动适应流量变化。例如,若QPS从1000增至2000,可将step从1000调整为2000。


五、常见问题解答

  1. 号段模式数据库宕机怎么办?
    Leaf默认缓存两个号段,若步长设置为QPS的600倍(如QPS=1000,步长=600,000),即使数据库宕机,仍可持续服务10分钟。

  2. Snowflake模式如何避免workerId冲突?
    通过Zookeeper的持久顺序节点分配唯一workerId,宕机重启后仍复用原有ID。


结语

美团Leaf通过两种互补模式,为不同场景提供了灵活的分布式ID生成方案。无论是高可用的号段模式,还是高性能的Snowflake模式,均可通过本文教程快速落地。建议结合自身业务特点选择合适的模式,并关注Leaf的GitHub仓库获取最新动态。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2319574.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

python3.13.2安装详细步骤(附安装包)

文章目录 前言一、python3.13.2下载二、python3.13.2安装详细步骤1.查看安装文件2.启动安装程序3.安装模式选择4.自定义安装配置5.高级选项设置6.执行安装7.开始安装8.安装完成8.打开软件9.安装验证 前言 在数字化时代,Python 已成为不可或缺的编程语言。无论是开发…

AI-Talk开发板之更换串口引脚

一、默认引脚 CSK6011A使用UART0作为Debug uart,AI-Talk开发板默认使用的GPIOA2和GPIOA3作为Debug uart的RX和TX,通过连接器CN6引出。 二 、更换到其它引脚 查看60xx_iomux_v1.0可以,UART0的tx和rx可以映射到很多管脚上。 结合AI-Talk开发板…

深度解读DeepSeek:源码解读 DeepSeek-V3

深度解读DeepSeek:开源周(Open Source Week)技术解读 深度解读DeepSeek:源码解读 DeepSeek-V3 深度解读DeepSeek:技术原理 深度解读DeepSeek:发展历程 文章目录 整体流程模型初始化模型前向传播MoE https:/…

JavaIO流的使用和修饰器模式(直击心灵版)

系列文章目录 JavaIO流的使用和修饰器模式 文章目录 系列文章目录前言一、字节流: 1.FileInputStream(读取文件)2.FileOutputStream(写入文件) 二、字符流: 1..基础字符流:2.处理流:3.对象处理流:4.转换流: 三、修饰器…

爬虫入门re+bs4

目录 前言 1. 导入必要的库 2. 定义获取网页HTML内容的函数 get_html 3. 定义获取数据的函数 get_data 4. 定义获取文章正文内容的函数 content_text 5. 定义获取单条课程数据的函数 get_one_course_data 6. 定义保存数据的函数 save_data 7. 定义文件名合法化处理函数 sanitiz…

MySQL身份验证的auth_socket插件

在Ubuntu 20.04 LTS上,MySQL 8.0默认使用auth_socket插件进行身份验证,可能存在意想不到的情况。 一、auth_socket插件 在使用sudo mysql或通过sudo切换用户后执行任何MySQL命令时,不需要输入密码或错误密码都可以正常登入mysql数据库&…

使用Gitee Go流水线部署个人项目到服务器指南

使用Gitee Go流水线部署个人项目到服务器指南 前言!!! 本文解决的问题: 你有一台ECS服务器,你在上面部署了一个Java服务也就是一个jar,你觉着你每次手动本地打包,上传,在通过命令去…

BlockChain.java

BlockChain 区块链,举个栗子 注意啦,列子里面的hashcode相等,但是字符串是不一样的哦,之前有记录这个问题 String.hashCode()-CSDN博客

【技术简析】触觉智能RK3506 Linux星闪网关开发板:重新定义工业物联新标杆

在工业智能化与物联网深度融合的今天,深圳触觉智能推出首款搭载瑞芯微RK3506芯片的Linux星闪网关开发板,为大家技术解析。 RK3506-国产芯的硬核实力 作为瑞芯微2024年第四季度推出的入门级工业芯片平台,RK3506以三核Cortex-A7(1.…

YOLO-UniOW: 高效通用开放世界目标检测模型【附论文与源码】

《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】 项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…

面向对象(进阶)(‘封装‘,‘多态‘,‘对象属性‘,‘类属性‘,‘类方法‘,‘对象方法‘及其应用场景)

‘封装’,多态’及其应用场景 一, 封装及其应用场景 封装的定义 属于面向对象的三大特征之一, 就是隐藏对象的属性和现实细节, 仅对外提供公共的访问方式.(我们学的 函数, 类, 都是封装的体现). 封装的格式 __属性名 __属性名()封装的好处和弊端 好处 提高代码的安全性.…

算法模型从入门到起飞系列——广度优先遍历(BFS)

文章目录 前言一、广度优先遍历(BFS)简介1.1 广度优先遍历(BFS)的特点1.2 广度优先遍历(BFS)的要素 二、广度优先遍历(BFS)& 深度优先遍历(DFS)2.1 广度优…

<项目> 主从Reactor模型的高并发服务器

目录 Reactor 概念 分类 单Reactor单线程 单Reactor多线程 多Reactor多线程 项目介绍 项目规划 模块关系 实现 TimerWheel -- 时间轮定时器 定时器系统调用 时间轮设计 通用类型Any Buffer Socket Channel Poller EventLoop(核心) eventfd 设计思路 …

注意力机制,本质上是在做什么?

本文以自注意机制为例,输入一个4*4的矩阵 如下: input_datatorch.tensor([[1,2,3,4], [5,6,7,8], [9,10,11,12], [13,14,15,16] ],dtypetorch.float) 得到Q和K的转置如下。 此时,计算QK^T ,得到如下结果 第一行第一个位置就是第一条样本和第…

使用Python在Word中创建、读取和删除列表 - 详解

目录 工具与设置 Python在Word中创建列表 使用默认样式创建有序(编号)列表 使用默认样式创建无序(项目符号)列表 创建多级列表 使用自定义样式创建列表 Python读取Word中的列表 Python从Word中删除列表 在Word中&#xff…

右键添加:新建HTML模板文件

使用注册表给Windows右键添加:新建HTML文档模板的功能_注册表右键新建-CSDN博客 新建文件有了,但是没有引用模板文件,是空文件。 默认改成 htmlfile 模板成功

Windows10配置OpenJDK11

下载 # 华为OpenJDK镜像源 https://mirrors.huaweicloud.com/openjdk/11.0.2/解压 # 解压后至于C:\Dev\Env\Java\jdk-11.0.2目录下 https://mirrors.huaweicloud.com/openjdk/11.0.2/openjdk-11.0.2_windows-x64_bin.zip编译安装 # 以管理员身份运行 CMD命令提示符 并进入JD…

统一开放世界与开放词汇检测:YOLO-UniOW无需增量学习的高效通用开放世界目标检测框架

目录 一、摘要 二、引言 三、相关工作 开放词汇对象检测 开放世界目标检测 参数高效学习 四、高效通用的开放世界目标检测 问题定义 高效的自适应决策学习 开放世界通配符学习 五、Coovally AI模型训练与应用平台 六、实验 数据集 评价指标 实施细节 定量结果 …

如何给商品一键换色?图生生AI,告别繁琐修图

在电商竞争日益激烈的今天,商品图片的视觉效果直接影响着消费者的购买决策。而商品颜色的展示,更是重中之重!传统的图片换色方式,往往需要耗费设计师大量的时间和精力,从抠图到调色,再到细节调整&#xff0…

练习-班级活动(map存储键值对)

问题描述 小明的老师准备组织一次班级活动。班上一共有 n 名 (n 为偶数) 同学,老师想把所有的同学进行分组,每两名同学一组。为了公平,老师给每名同学随机分配了一个 n 以内的正整数作为 id,第 i 名同学的 id 为 ai​。 老师希望…