MySQL数据库10秒内插入百万条数据的实现
假设现在我们要向mysql插入500万条数据,如何实现高效快速的插入进去？本文就详细的介绍一下，感兴趣的可以了解一下
首先我们思考一个问题：
要插入如此庞大的数据到数据库，正常情况一定会频繁地进行访问，什么样的机器设备都吃不消。那么如何避免频繁访问数据库，能否做到一次访问，再执行呢？
Java其实已经给了我们答案。
这里就要用到两个关键对象：Statement、PrepareStatement
我们来看一下二者的特性：
要用到的BaseDao工具类 (jar包 / Maven依赖) (Maven依赖代码附在文末)(封装以便于使用)
注：（重点）rewriteBatchedStatements=true，一次插入多条数据，只插入一次！！
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | public class BaseDao { // 静态工具类，用于创建数据库连接对象和释放资源，方便调用 // 导入驱动jar包或添加Maven依赖（这里使用的是Maven，Maven依赖代码附在文末） static { try { Class.forName("com.mysql.cj.jdbc.Driver"); } catch (ClassNotFoundException e) { e.printStackTrace(); } } // 获取数据库连接对象 public static Connection getConn() { Connection conn = null; try { // rewriteBatchedStatements=true,一次插入多条数据，只插入一次 conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/million-test?rewriteBatchedStatements=true", "root", "qwerdf"); } catch (SQLException throwables) { throwables.printStackTrace(); } return conn; } // 释放资源 public static void closeAll(AutoCloseable... autoCloseables) { for (AutoCloseable autoCloseable : autoCloseables) { if (autoCloseable != null) { try { autoCloseable.close(); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } } } }} |
接下来上关键代码及注释：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 | /* 因为数据库的处理速度是非常惊人的 单次吞吐量很大 执行效率极高 addBatch()把若干sql语句装载到一起，然后一次送到数据库执行，执行需要很短的时间 而preparedStatement.executeUpdate() 是一条一条发往数据库执行的 时间都消耗在数据库连接的传输上面*/public static void main(String[] args) { long start = System.currentTimeMillis(); // 获取系统当前时间，方法开始执行前记录 Connection conn = BaseDao.getConn(); // 调用刚刚写好的用于获取连接数据库对象的静态工具类 String sql = "insert into mymilliontest values(null,?,?,?,NOW())"; // 要执行的sql语句 PreparedStatement ps = null; try { ps = conn.prepareStatement(sql); // 获取PreparedStatement对象 // 不断产生sql for (int i = 0; i < 1000000; i++) { ps.setString(1, Math.ceil(Math.random() * 1000000) + ""); ps.setString(2, Math.ceil(Math.random() * 1000000) + ""); ps.setString(3, UUID.randomUUID().toString()); // UUID该类用于随机生成一串不会重复的字符串 ps.addBatch(); // 将一组参数添加到此 PreparedStatement 对象的批处理命令中。 } int[] ints = ps.executeBatch();// 将一批命令提交给数据库来执行，如果全部命令执行成功，则返回更新计数组成的数组。 // 如果数组长度不为0，则说明sql语句成功执行，即百万条数据添加成功！ if (ints.length > 0) { System.out.println("已成功添加一百万条数据！！"); } } catch (SQLException throwables) { throwables.printStackTrace(); } finally { BaseDao.closeAll(conn, ps); // 调用刚刚写好的静态工具类释放资源 } long end = System.currentTimeMillis(); // 再次获取系统时间 System.out.println("所用时长:" + (end - start) / 1000 + "秒"); // 两个时间相减即为方法执行所用时长} |
最后我们运行看一下效果：
嘿嘿，这里时长超过了10秒，设备差点意思，希望理解哈~
1 2 3 4 5 6 | <!--连接数据库所用到的mysql-connector-java依赖--><dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.27</version></dependency> |
PS : 添上线程后会更快，在后续的文章中会作示例。
到此这篇关于MySQL数据库10秒内插入百万条数据的实现的文章就介绍到这了
原文链接：https://blog.csdn.net/m0_55710969/article/details/121019684