Java使用MyBatis、JDBC批量插入数据

news2024/12/24 22:10:46

使用MyBatis、JDBC做大量数据插入

准备

表结构
CREATE TABLE `tb_users` (
  `id` varchar(255) NOT NULL,
  `name` varchar(100) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
MyBatis配置文件
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>

    <!--通过properties标签加载外部properties文件-->
    <properties resource="jdbc.properties"/>


    <!--自定义别名-->
    <typeAliases>
        <typeAlias type="com.mytest.domain.User" alias="user"/>
    </typeAliases>


    <!--数据源环境-->
    <environments default="developement">
        <environment id="developement">
            <transactionManager type="JDBC"/>
            <dataSource type="POOLED">
                <property name="driver" value="${jdbc.driver}"/>
                <property name="url" value="${jdbc.url}"/>
                <property name="username" value="${jdbc.username}"/>
                <property name="password" value="${jdbc.password}"/>
            </dataSource>
        </environment>
    </environments>


    <!--加载映射文件-->
    <mappers>
        <mapper resource="com/mytest/mapper/UserMapper.xml"/>
    </mappers>

</configuration>

全部插入

逐条插入

mapper.xml

	<insert id="batchAddUser" parameterType="user">
        insert into tb_users(id, name, age)
         values (#{id}, #{name}, #{age})
    </insert>

测试代码

public class InsertTest {
    public static void main(String[] args) throws IOException {
        InputStream inputStream = Resources.getResourceAsStream("mybatis-config.xml");
        SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(inputStream);
        SqlSession sqlSession = factory.openSession();
        long start = System.currentTimeMillis();
        for (int i = 0; i < 300000; i++) {
            User user = new User();
            user.setId(UUID.randomUUID().toString());
            user.setName("插入第" + i + "条数据");
            user.setAge(i);
            sqlSession.insert("batchAddUser", user);
            sqlSession.commit();
        }
        // 插入数据库
        long total = System.currentTimeMillis() - start;
        System.out.println("共耗时：" + total + "ms");
        sqlSession.close();
    }
}

伴随着计算机磁盘高速运转下，共耗时
在这里插入图片描述

循环插入

mapper.xml

	<insert id="batchAddUser" parameterType="arraylist">
        insert into tb_users(id, name, age) values
        <foreach collection="list" index="index" item="u" separator=",">
            (#{u.id}, #{u.name}, #{u.age})
        </foreach>
    </insert>

测试方法

public class InsertTest {
    public static void main(String[] args) throws IOException {
        InputStream inputStream = Resources.getResourceAsStream("mybatis-config.xml");
        SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(inputStream);
        SqlSession sqlSession = factory.openSession();
        long start = System.currentTimeMillis();
        List<User> lists = new ArrayList<>();
        for (int i = 0; i < 300000; i++) {
            User user = new User();
            user.setId(UUID.randomUUID().toString());
            user.setName("插入第" + i + "条数据");
            user.setAge(i);
            lists.add(user);
        }
        // 插入数据库
        sqlSession.insert("batchAddUser", lists);
        sqlSession.commit();
        long total = System.currentTimeMillis() - start;
        System.out.println("共耗时：" + total + "ms");
        sqlSession.close();
    }
}

借助列表插入在三个字段情况下耗时，但可能会报超出包最大异常，少量数据可取
在这里插入图片描述

分批插入

隔一段时间提交插入一次
mapper.xml

	<insert id="batchAddUser" parameterType="arraylist">
        insert into tb_users(id, name, age) values
        <foreach collection="list" index="index" item="u" separator=",">
            (#{u.id}, #{u.name}, #{u.age})
        </foreach>
    </insert>

测试方法

public class InsertTest {
    public static void main(String[] args) throws IOException {
        InputStream inputStream = Resources.getResourceAsStream("mybatis-config.xml");
        SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(inputStream);
        SqlSession sqlSession = factory.openSession();
        long start = System.currentTimeMillis();
        List<User> lists = new ArrayList<>();
        for (int i = 0; i < 300000; i++) {
            User user = new User();
            user.setId(UUID.randomUUID().toString());
            user.setName("插入第" + i + "条数据");
            user.setAge(i);
            lists.add(user);
            if (i % 1000 == 0) {
                sqlSession.insert("batchAddUser", lists);
                sqlSession.commit();
                lists.clear();
            }
        }
        // 插入剩余数据
        if (!lists.isEmpty()) {
            sqlSession.insert("batchAddUser", lists);
            sqlSession.commit();
        }
        long total = System.currentTimeMillis() - start;
        System.out.println("共耗时：" + total + "ms");
        sqlSession.close();
    }
}

时间和循环插入差不多但可以避免超出包最大异常，还可以增大每次提交的数据量，进一步缩短时间
在这里插入图片描述

JDBC分批插入

public class JdbcInsertTest {
    public static void main(String[] args) {
        Connection connection = null;
        PreparedStatement preparedStatement = null;
        String url = "jdbc:mysql:///mytest?serverTimezone=Asia/Shanghai";
        String username = "root";
        String password = "123456";
        try {
            connection = DriverManager.getConnection(url, username, password);
            // 关闭自动提交事务，改为手动提交
            connection.setAutoCommit(false);
            long start = System.currentTimeMillis();
            String sqlInsert = "INSERT INTO tb_users (id, name, age) VALUES (?, ?, ?)";
            preparedStatement = connection.prepareStatement(sqlInsert);
            for (int i = 0; i < 300000; i++) {
                preparedStatement.setString(1, UUID.randomUUID().toString());
                preparedStatement.setString(2, "插入第" + i + "条数据");
                preparedStatement.setInt(3, i);
                preparedStatement.addBatch();
                if (i % 10000 == 0) {
                    preparedStatement.executeBatch();
                    connection.commit();
                }
            }
            // 处理剩余
            preparedStatement.executeBatch();
            connection.commit();
            long total = System.currentTimeMillis() - start;
            System.out.println("共耗时：" + total + "毫秒");
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            try {
                if (connection != null) {
                    connection.close();
                }
                if (preparedStatement != null) {
                    preparedStatement.close();
                }
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/916781.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Wireshark数据抓包分析之ARP协议

Wireshark数据抓包分析之ARP协议

一、实验目的&#xff1a; 通过wireshark的数据抓包了解这个ARP协议的具体内容 二、预备知识: 1.Address Resolution Protocol协议&#xff0c;就是通过目标IP的值&#xff0c;获取到目标的mac地址的一个协议 2.ARP协议的详细工作过程&#xff0c;下面描述得非常清晰&#xff…
阅读更多...
【蓝桥杯】 [蓝桥杯 2015 省 A] 饮料换购

【蓝桥杯】 [蓝桥杯 2015 省 A] 饮料换购

原题链接&#xff1a;https://www.luogu.com.cn/problem/P8627 1. 题目描述 2. 思路分析 小伙伴们可以看看这篇文章~ https://blog.csdn.net/m0_62531913/article/details/132385341?spm1001.2014.3001.5501 我们这里主要讲下方法二的推导过程&#xff1a; 列方程。 设最…
阅读更多...
选购Redshift工作站需要注意哪些方面？

选购Redshift工作站需要注意哪些方面？

GPU 渲染在过去几年中变得非常流行。这并不奇怪&#xff0c;这要归功于 GPU 功能的巨大进步。专为 Redshift 等 GPU 加速渲染引擎量身定制的经过良好优化的工作站可以实时生成高度详细的渲染。 Maxon Redshift 与许多行业领先的 3D 设计应用程序完美集成&#xff0c;使其成为建…
阅读更多...
多线程——学习记录2

多线程——学习记录2

目录 单例模式两种单例写法饿汉式和懒汉式的区别 RuntimeTimer 计时器两个线程间的通信关键点&#xff1a;wait()线程等待 和 notify()随机唤醒等待的线程; 三个或三个以上间的线程通信关键点&#xff1a;notifyAll()唤醒所有线程 线程间通信需要注意的问题JDK1.5的新特性互斥锁…
阅读更多...
RT-Thread学习——简介

RT-Thread学习——简介

简介 RT-Thread是一个实时操作系统&#xff0c;移植到stm32单片机上。 常见的操作系统&#xff1a; Windows、Linux、MAC安卓、IOS鸿蒙操作系统 RT-Thread是一个集实时操作系统&#xff08;RTOS&#xff09;内核、中间件组件和开发者社区于一体的技术平台。 RT-Thread也是…
阅读更多...
【SpringCloud技术专题】「Gateway网关系列」（2）微服务网关服务的Gateway功能配置指南分析

【SpringCloud技术专题】「Gateway网关系列」（2）微服务网关服务的Gateway功能配置指南分析

Spring Cloud Gateway简介 Spring Cloud Gateway是Spring Cloud体系的第二代网关组件&#xff0c;基于Spring 5.0的新特性WebFlux进行开发&#xff0c;底层网络通信框架使用的是Netty&#xff0c;所以其吞吐量高、性能强劲&#xff0c;未来将会取代第一代的网关组件Zuul。Spri…
阅读更多...
【GeoDa实用技巧100例】022：geoda生成空间权重矩阵（邻接矩阵、距离矩阵）

【GeoDa实用技巧100例】022：geoda生成空间权重矩阵（邻接矩阵、距离矩阵）

geoda生成空间权重矩阵（邻接矩阵、距离矩阵），车式矩阵、后式矩阵、K邻接矩阵。 文章目录 一、概述二、“车式”邻接的gal文档生成三、“后式”邻接gal文档生成四、k最近邻居gat文档生成五、查看gal和gat文档一、概述 空间权重矩阵(或相应的表格形式)一般需要用计算机软件生…
阅读更多...
【音视频处理】转编码H264 to H265，FFmpeg，代码分享讲解

【音视频处理】转编码H264 to H265，FFmpeg，代码分享讲解

大家好&#xff0c;欢迎来到停止重构的频道。 本期我们讨论音视频文件转编码&#xff0c;如将视频H264转H265等。 内容中所提及的代码都会放在GitHub&#xff0c;感兴趣的小伙伴可以到GitHub下载。 我们按这样的顺序展开讨论&#xff1a;​ 1、 编码的作用 2、 转编码的…
阅读更多...
基于 Github 平台的 .NET 开源项目模板. 嘎嘎实用!

基于 Github 平台的 .NET 开源项目模板. 嘎嘎实用!

简介 大家好,为了使开源项目的维护和管理更方便一些,出于个人需求写了一款开源项目的模板,该模板基于 Github 平台,并使用 .NET 来实现管道功能. 在接受过实战检验后, 于今天开源, 项目地址:GitHub - night-moon-studio/Template 定位 以下5种境地的同学可以继续往下读一读:…
阅读更多...
《剑指Offer》模块2 二叉树【15道二叉树帮助你掌握二叉树】

《剑指Offer》模块2 二叉树【15道二叉树帮助你掌握二叉树】

二叉树 二叉树1. 树中两个结点的最低公共祖先方法一&#xff1a;公共路径方法二&#xff1a;递归 2. 重建二叉树根据前序遍历和中序遍历 得到树 补充题&#xff1a;树的遍历 3. 二叉树的下一个节点4. 树的子结构&#xff08; 递归中调用递归 &#xff09;5. 二叉树的镜像&#…
阅读更多...
解密七夕节快递速度之谜：物流行业的幕后功臣

解密七夕节快递速度之谜：物流行业的幕后功臣

又是一年七夕&#xff0c;今年爱情总是伴随着太多的不确定性&#xff0c;突然的通知、滞留的快递、延期的演出...在这个特殊的日子里&#xff0c;大多数人都会选择通过网购礼物传递爱意和祝福。在此&#xff0c;快递物流就扮演着至关重要的角色。 在七夕节前后&#xff0c;快递…
阅读更多...
解决政务审计大数据传输难题！镭速传输为政务行业提供解决方案

解决政务审计大数据传输难题！镭速传输为政务行业提供解决方案

政务行业是国家治理的重要组成部分&#xff0c;涉及到国家安全、社会稳定、民生福祉等方面。随着信息技术的快速发展和革新&#xff0c;政务信息化也迎来了新一轮的升级浪潮。国家相继出台了《国家信息化发展战略纲要》《“十三五”国家信息化规划》《“十四五”推进国家政务信…
阅读更多...
新生开学必备攻略｜开学必备数码产品清单合集

新生开学必备攻略｜开学必备数码产品清单合集

​新学期将至&#xff0c;有哪些需要准备的东西呢&#xff1f;知道大家都正在为摊开的行李箱发愁&#xff0c;小篇特地整理了一份开学必备的《开学数码产品清单合集》&#xff0c;来抄作业吧&#xff0c;各位&#xff01; 推荐一&#xff1a;南卡00压蓝牙耳机 不入耳设计&…
阅读更多...
Vue2学习笔记のvuex

Vue2学习笔记のvuex

目录 vuex1.概念2.何时使用&#xff1f;3.搭建vuex环境4.基本使用5.getters的使用6.四个map方法的使用7.模块化命名空间 hello, 本文是Vue2学习笔记的第5篇&#xff1a;vuex。 vuex 1.概念 在Vue中实现集中式状态&#xff08;数据&#xff09;管理的一个Vue插件&#xff0c;对…
阅读更多...
有些网络通信协议？ - 易智编译EaseEditing

有些网络通信协议？ - 易智编译EaseEditing

网络通信协议是计算机网络中用于实现数据传输和通信的规则和标准。以下是一些常见的网络通信协议&#xff1a; TCP/IP协议&#xff1a; 是互联网的核心协议&#xff0c;包括传输控制协议&#xff08;TCP&#xff09;和网际协议&#xff08;IP&#xff09;。TCP负责数据的可靠传…
阅读更多...
Linux 计算机网络基础概论

Linux 计算机网络基础概论

一、网络基本概念 1、网络 网络是由若干节点和连接这些结点的链路组成&#xff0c;网络中的结点可以是计算机、交换机、路由器等设备。通俗地说就是把不同的主机连接起来就构成了一个网络&#xff0c;构成网路的目的是为了信息交互、资源共享。 网络设备有&#xff1a;交换机…
阅读更多...
数字化浪潮中的稳定之锚：项目敏捷性与灵活性的秘密

数字化浪潮中的稳定之锚：项目敏捷性与灵活性的秘密

引言 在这个日新月异的数字化时代&#xff0c;企业和团队面临着前所未有的挑战。技术的快速发展、客户需求的不断变化以及全球化的竞争环境都要求我们重新思考项目管理的方法。在这样的背景下&#xff0c;敏捷性和灵活性成为了项目成功的关键。 当前数字化时代的挑战与机遇 …
阅读更多...
Mimikatz免杀实战:绕过360核晶和defender

Mimikatz免杀实战:绕过360核晶和defender

文章目录 前言绕过360核晶实现思路完整代码运行测试 绕过WD实现思路MiniDumpWriteDump回调函数加密dump文件 完整代码运行测试 参考文章 前言 通常来说&#xff0c;即使我们成功实现了mimikatz的静态免杀&#xff0c;其抓取hash的行为仍可能会被防病毒软件检测到虽然你可以通过…
阅读更多...
基于VUE3+Layui从头搭建通用后台管理系统（前端篇）十：实体配置功能实现

基于VUE3+Layui从头搭建通用后台管理系统（前端篇）十：实体配置功能实现

一、本章内容 本章实现实体配置功能，包括识别实体属性、设置各属性的展示方式、相关类型、要和展示、编辑的内容等。 1. 详细课程地址： 待发布 2. 源码下载地址： 待发布 二、界面预览 三、开发视频 3.1 B站视频地址：
阅读更多...
与ChatGPT可以经常互动但也不要暴露自己

与ChatGPT可以经常互动但也不要暴露自己

​ 全球亿万人使用ChatGPT&#xff0c;但这并不意味着你的个人信息数据就可以安全无忧。要特别注意的&#xff0c;而且很多人已经忽视了的&#xff1a;用户最好不要过多地提供有关自己的私密信息&#xff0c;虽然多数情况下你并不知道自己是怎么把信息泄露的。 首先&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023