记一次生产事故,来来回回搞了一个月

news2024/11/19 9:24:30

在这里插入图片描述

🍅我是小宋,关注我,带你轻松过面试 读源码。提升简历亮点(14个demo)

🌏号:tutou123com。拉你进专属群。

记一次生产事故,来来回回搞了一个月

背景

我们的主要业务是台湾省的一个小商城,这次出问题的是我们仓库系统。在仓库系统中有这么一段逻辑:
员工可以领取新建的订单,然后去执行拣货发货的操作,领取的时候,发货单的状态会从新建变为待拣货,也就是说找新建状态的发货单,领取然后变为待拣货然后去拣货

bug内容

突然有一天,仓库的同事发消息说有两位员工领取了同一个发货单。拣货的时候报错该发货单已拣货。 这可就奇了怪了,为了防止并发,且这个仓库是单节点部署的,记得是加了锁的

模拟

这时候需要定位问题,先模拟一下我们的场景。

@GetMapping(path = "test")
@ResponseBody
public void test(Pageable request){
    for (int i = 0; i < 100; i++) {
        //新建线程处理
        new Thread(() -> {
            userInfoService.testDemo();
        }).start();
    }
}

肯定是并发导致的,这里模拟一下高并发的情况

@Transactional(rollbackOn = Exception.class)
public synchronized void testDemo() {
    UserInfo byUserId = userRepository.findByUserId(1);
    byUserId.setAge(byUserId.getAge() + 1);
    userRepository.save(byUserId);
}

可以看到业务逻辑里有个锁,并且有事务。
数据大概长这样,我拿之前我写的demo的表来处理,修改这个age 100次。

执行,不用看表了,看log就知道有问题的:

好家伙,这并发了啊,这锁了个寂寞啊。

好吧,查资料,很容易就查到了:
这种情况下,锁可能会失效。因为synchronized锁的是这个方法,而@Transactional是Spring的AOP在开启时自动锁定的。在进入这个方法前,AOP会先开启事务,然后进入方法,此时会加锁。当方法结束后,锁被释放,然后才会提交事务。如果在锁释放和提交事务之间有其他线程请求并再次加锁,这可能导致程序不安全。
所以,所以,所以,这应该就是问题所在了吧
先改一版试试:

@GetMapping(path = "test")
@ResponseBody
public void test(Pageable request) {
    for (int i = 0; i < 100; i++) {
        //新建线程处理
        new Thread(() -> {
            synchronized (UserController.class) {
                userInfoService.testDemo();
            }
        }).start();
    }
}

将锁放到整个事务的外层,这样事务提交之后才会释放锁。

@Transactional(rollbackOn = Exception.class)
public void testDemo() {
    UserInfo byUserId = userRepository.findByUserId(1);
    log.info("当前线程:{},当前年龄:{}",Thread.currentThread().getName(),byUserId.getAge());
    byUserId.setAge(byUserId.getAge() + 1);
    userRepository.save(byUserId);
    log.info("当前线程:{},当前年龄:{}",Thread.currentThread().getName(),byUserId.getAge());
}

看log,也是没有问题的

数据也没有问题

欸欸欸,好了。搞定,提代码,打包,发包,一气呵成。解决bug就是这么迅速。

又发生了

过了几天,仓库又反馈了,这bug又发生了,啊啊啊?奇了怪了。还没锁住?

在研究了好久,觉得这锁没问题啊,是哪里出了问题呢?各种权衡之下,先加了个分布式锁,以求解决问题。然而不出所料,过了两天又又又发生了。
又发生了,那就不是锁的问题了,那是什么的问题呢?这段业务很简单,拿到发货单,然后修改状态,然后存进去。就这,也没啥bug可以发生啊。
再从数据看,发现一个奇怪的地方,所有重复领取的发货单,都是在整点领取,然后发生bug的。这绝不是偶然,我在整点干啥了呢?
想起来了,我前一阵加了个功能,使用定时任务批量请求货代的打印面单接口然后将面单的url存到了发货单表里,这样,发货的时候就不用一个个请求这个接口了。这个任务就是整点跑的。。。。。
哎呦呦,我想通了,这样并发了啊,修改的同一张表,而且修改url的只会修改新建状态的url,

  1. 若是修改url的先获取发货单里所有新建状态的发货单
  2. 然后员工获取发货单数据,这时候因为修改url的线程需要调用api会稍微慢点
  3. 员工会把发货单修改为待拣货,然后保存入库
  4. 修改url的线程执行完了,由于我是执行的jpa的save方法,他会把自己读取到新建状态的数据,修改个url再保存回表,这时候,表里的数据又变成新建状态了。这样之后的员工又能取到这条发货单数据,然后这样不就重了。

找到原因了解决就很简单了,修改url的时候只修改这一个字段,其他的不修改就好了。
至此,bug解决掉了,修改数据库数据的时候save方法还是少用啊。一波三折啊,之前那种写法也是有问题的,幸亏一起改掉了,不然之后肯定也会继续发生。

2024年1月29日 09点51分 付:
评论里一位大哥提醒了俺,我这个解决方法只是解决了当前这一个问题。对于并发问题,还是加个分布式锁来的稳妥。这个方案属于在发生并发时,解决了并发本身,而不是解决了并发问题。要是以后遇到相同的并发问题,还是要再debug一遍,所以,各位小伙伴在以后遇到这种问题时还是加个分布式锁吧,文中最终的解决方案并不是很恰当或者说就是错滴。。。只能算是个临时的解决方案,或者说是判断问题所在,debug时的方案。再次,再次感谢评论区的大哥,大哥没昵称,没法称呼呀。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1838501.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

工业自动化中OBC充电机测试负载箱的应用

在工业自动化中&#xff0c;OBC充电机是电动汽车和混合动力汽车的重要组成部分。它的主要功能是为电动汽车的电池组提供电能&#xff0c;保证车辆的正常运行。为了保证OBC充电机的性能和安全性&#xff0c;通常需要对其进行严格的测试。在这个过程中&#xff0c;负载箱是一种非…

【SQL server速成之路】函数

&#xff08;3&#xff09;LEFT函数 LEFT ( character_expression , integer_expression ) 功能&#xff1a;返回从字符串character_expression左边开始&#xff0c;由integer_expression指定个数的字符。参数character_expression&#xff1a;为字符型表达式&#xff0c;integ…

C#的Switch语句2(如何快速中断函数执行)

文章目录 switch语法结构case具体的值枚举值字符串const关键字 如果没有匹配的值default语句不一定要在最后与C的差异-case穿透&#xff08;Fall-through&#xff09; 下一篇文章 switch语法结构 基础的语法结构&#xff0c;在上一篇文章已经写了&#xff0c;具体请看&#xf…

Python --- 如何修改Jupyter Notebook在本地保存文件的默认路径?

如何修改Jupyter Notebook在本地保存文件的默认路径&#xff1f; 一直以来都比较喜欢jupter notebook&#xff0c;自从用了以后就爱上了。平时用的时候&#xff0c;因为大多都是临时调用&#xff0c;每次在界面里直接new一个新的file就开干。 曾经也想过我创建的这些python文件…

MySQL从5.7升级到8.0步骤及其问题

MySQL从5.7升级到8.0步骤及其问题 前言 本文源自微博客&#xff0c;且以获得授权&#xff0c;请尊重版权。 一、需求背景 Docker环境下&#xff0c;MySQL5.7升级到8.0&#xff0c;数据迁移时使用的是mysqldump方式迁移。 二、迁移步骤 数据备份&#xff1a; docker exec -i 1…

QEMU + Vscode + Arm Arch‘s Linux调试小记

目录 下载QEMU 下载aarch64-gcc 下载BusyBox 编译linux 6.9.5的内核 启动&#xff01; 链接到vscode进行远程调试 Reference 前几天看到了一篇讲授如何调试ARM Linux内核的文章&#xff0c;这里现在记录一下调试ARM Linux内核的办法 下载QEMU 对于Arch Linux用户而言&a…

结构思考力:让你的思维更有条理

在这个信息爆炸的时代&#xff0c;如何让自己的思维更有条理&#xff0c;更高效地沟通显得尤为重要。最近读了《结构思考力》一书。今天&#xff0c;我想和大家分享一下读后感&#xff0c;从以下几个方面展开&#xff1a;1. 什么是结构思考力及其重要性&#xff1b;2. 为什么要…

数据治理创新路:建设数据集市,强化数据报送一致性新实践

随着信息化和数字化的飞速发展&#xff0c;数据已经成为企业运营和决策的核心要素。然而&#xff0c;数据治理的复杂性和多样性给企业带来了不小的挑战。为了更好地应对这些挑战&#xff0c;许多企业开始探索数据治理的创新路径&#xff0c;其中建设数据集市和强化数据报送一致…

Vue08-webpack使用

webpack使用 1、什么是Webpack 本质上&#xff0c; webpack是一个现代JavaScript应用程序的静态模块打包器(module bundler) 。当webpack处理应用程序时&#xff0c; 它会递归地构建一个依赖关系图(dependency graph) &#xff0c; 其中包含应用程序需要的每个模块&#xff0…

期货以旁观者心态关注市场,会更加理性

1.期货交易具备较高灵活度&#xff0c;相比于股票&#xff0c;期货盈利速度明显提升。针对普通投资者&#xff0c;适量参与中线投机更为合适。 2.选择期货品种需兼顾市场属性稳定与计划特点较弱两方面&#xff0c;以及波动剧烈、投机特征显著的品种。 3.若市场环境不利且缺乏机…

temu跨境选品师是怎么样的一个项目?

TEMU(特穆)跨境选品师项目&#xff0c;作为一项创新的全球商品采购和选品服务&#xff0c;正在逐步改变消费者对于跨境电商产品的认知和选择方式。这个项目不仅仅是一个简单的商品推荐平台&#xff0c;更是一种以数据驱动的精准选品策略的体现&#xff0c;为消费者提供了全新的…

【操作系统】操作系统课后作业-聊天程序

无名管道与有名管道的区别 无名管道&#xff1a; 它是半双工的&#xff0c;具有固定的读端和写端。 只能用于具有亲缘关系的进程之间的通信&#xff08;也是父子进程或者兄弟进程之间&#xff09;。 不是普通的文件&#xff0c;不属于其他任何文件系统&#xff0c;并且只存…

期望25K,我的React知识体系

面经哥只做互联网社招面试经历分享&#xff0c;关注我&#xff0c;每日推送精选面经&#xff0c;面试前&#xff0c;先找面经哥 我最终还是上岸了&#xff0c;花了3天总结了近万字的react知识体系思维导图&#xff0c;分享出来希望能帮助有缘人吧&#xff0c;以下只是部分截图&…

org.eclipse.milo opcua 库查看记录

1 Reference连接 在OPC UA Server中&#xff0c;所有Node之间都是使用Reference进行连接的。 读取时指定HierarchicalReferences就可以读取HierarchicalReferences及以下所有类型的节点。 2 nodeId读取 browse 默认读取了Method、Object、Variable类型节点&#xff0c;Refer…

CCS条形光源——HLDL3系列,长距离和宽范围照射应用的不二之选

机器视觉系统中&#xff0c;光源起着重要作用&#xff0c;不同类型的光源应用也不同&#xff0c;选择合适的光源成像效果非常明显。今天我们一起来看看CCS光源——工业用条形光源HLDL3系列。 高亮LED光源HLDL3系列 适用于长距离和宽范围照射的条形光源。 适用于各种检测案例&a…

Linux DNS配置文档

一、问题描述 1. 无法在浏览器通过域名访问百度&#xff1b; 2. 无法在终端 ping 通百度&#xff0c;例如&#xff1a;ping www.baidu.com 3. 可以 ping 通公网地址&#xff0c;例如&#xff1a;ping 114.114.114.114 或 ping 8.8.8.8 二、问题原因 域名解析 DNS 配置错误&am…

如何快速在一台新电脑上安装 Python 环境

一、下载miniconda 1.下载 我们可以在清华大学开源软件镜像站下载最新版本的miniconda。如&#xff1a;https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py38_4.9.2-Windows-x86_64.exe 2.安装 双击exe文件安装&#xff0c;如果没有特殊的需求&#x…

Erlang程序设计[Part2 chapter5-chapter8]

两种数据容器&#xff1a;元组、列表 part 2 chapter5 记录与映射组 记录 记录其实就是元组的另一种形式。通过使用记录&#xff0c;可以给元组里的各个元素关联一个名称。 映射 映射组是键 值对的关联性集合。 通过记录命名元组里的项 记录的产生背景&#xff1a; 对于小型元…

线上课堂知识付费小程序源码系统 全面升级+完整的安装包+搭建部署教程

系统概述 随着互联网的发展&#xff0c;线上教育和知识付费市场呈现出爆发式增长。线上课堂知识付费小程序源码系统为教育机构、培训师、个人创作者等提供了一个便捷、高效的平台&#xff0c;让他们能够将自己的知识和技能转化为实际收益。 代码示例 系统特色功能一览 1.拓展…

K8s的资源对象

资源对象是 K8s 提供的一些管理和运行应用容器的各种对象和组件。 Pod 资源是 K8s 中的基本部署单元&#xff0c;K8s通过Pod来运行业务应用的容器镜像 Job 和 CronJob 资源用于执行任务和定时任务&#xff0c;DaemonSet 资源提供类似每个节点上守护进程&#xff0c; Deployment…