Java案例怎么批量插入数据库？

wen java案例 2026-06-10 14

本文目录导读：

Java案例怎么批量插入数据库？

文章标题：Java案例实战：如何高效批量插入数据库？从原理到代码全解析
批量插入的痛点与核心场景
批量插入的底层逻辑：JDBC批处理原理
实战案例一：基于JDBC的批量插入（含代码）
实战案例二：基于MyBatis的批量插入优化
常见陷阱与性能对比
问答环节：开发者高频问题详解
总结与最佳实践建议

Java案例实战：如何高效批量插入数据库？从原理到代码全解析

目录导读

批量插入的痛点与核心场景
批量插入的底层逻辑：JDBC批处理原理
实战案例一：基于JDBC的批量插入（含代码）
实战案例二：基于MyBatis的批量插入优化
常见陷阱与性能对比：为什么你的批量插入反而更慢？
问答环节：开发者高频问题详解
总结与最佳实践建议

批量插入的痛点与核心场景

在实际Java开发中,数据迁移、日志采集、排行榜更新等场景常遇到“一次性插入数万甚至百万条记录”的需求，如果使用逐条插入（for循环+单条INSERT），数据库连接开销、事务提交次数、SQL解析次数将急剧飙升，轻则接口超时，重则拖垮数据库。

核心痛点：

网络往返次数过多（每次INSERT都需要一次TCP包传输）。
事务日志刷盘压力大（逐条提交会导致频繁fsync）。
SQL预编译重复执行,浪费CPU资源。

解决方向：将多条INSERT合并为一条批处理语句，或使用批量提交模式。

批量插入的底层逻辑：JDBC批处理原理

JDBC的addBatch()和executeBatch()是批量插入的基石，其工作流程如下：

禁用自动提交（conn.setAutoCommit(false)）。
多次调用preparedStatement.addBatch()，将SQL参数暂存于客户端内存缓冲区。
一次性调用executeBatch()，将整个批次发送至数据库。
手动提交事务（conn.commit()）。

关键参数：

rewriteBatchedStatements=true（MySQL特有）：若开启，JDBC驱动会将多条INSERT合并为一条INSERT INTO table VALUES (...), (...), ...，大幅减少SQL解析次数。
batchSize控制：一般建议每500~1000条提交一次，避免客户端内存溢出或锁等待超时。

实战案例一：基于JDBC的批量插入（含代码）

场景：向用户表user插入10万条模拟数据，字段为id, name, age。

public void batchInsertWithJDBC(List<User> userList) {
    String sql = "INSERT INTO user (name, age) VALUES (?, ?)";
    try (Connection conn = dataSource.getConnection();
         PreparedStatement pstmt = conn.prepareStatement(sql)) {
        conn.setAutoCommit(false); // 关闭自动提交
        int batchSize = 500; // 每500条提交一次
        int count = 0;
        for (User user : userList) {
            pstmt.setString(1, user.getName());
            pstmt.setInt(2, user.getAge());
            pstmt.addBatch();
            count++;
            if (count % batchSize == 0) {
                pstmt.executeBatch();
                conn.commit();
                pstmt.clearBatch();
            }
        }
        // 处理剩余批次
        pstmt.executeBatch();
        conn.commit();
    } catch (SQLException e) {
        // 回滚事务
        throw new RuntimeException("批量插入失败", e);
    }
}

说明：

若使用MySQL,请在JDBC URL中添加?rewriteBatchedStatements=true。
clearBatch()必须调用，否则重复添加同一批参数会导致数据重复。

实战案例二：基于MyBatis的批量插入优化

MyBatis本身不直接支持executeBatch()，但可通过SqlSession的ExecutorType.BATCH开启批量模式。

配置示例：

<!-- mybatis-config.xml -->
<settings>
    <setting name="defaultExecutorType" value="BATCH"/>
</settings>

代码示例：

@Autowired
private SqlSessionTemplate sqlSessionTemplate;
public void batchInsertWithMyBatis(List<User> userList) {
    SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
    try {
        UserMapper mapper = sqlSession.getMapper(UserMapper.class);
        for (User user : userList) {
            mapper.insert(user); // 实际不立即执行，而是加入批处理队列
        }
        sqlSession.commit(); // 统一提交
    } catch (Exception e) {
        sqlSession.rollback();
        throw e;
    } finally {
        sqlSession.close();
    }
}

MyBatis的insert语句：

<insert id="insert" parameterType="User">
    INSERT INTO user (name, age) VALUES (#{name}, #{age})
</insert>

注意事项：

BATCH模式下,selectKey（如自增主键回写）可能失效，需手动获取。
每次sqlSession.commit()会清空批处理队列，因此需要循环批次提交。

常见陷阱与性能对比

陷阱1：批处理数量过大

问题：一次性提交10万条，MySQL的max_allowed_packet限制可能导致连接断开。
解决：设置合理batchSize（建议500~2000），并监控数据库max_allowed_packet（默认64MB可调）。

陷阱2：未开启rewriteBatchedStatements

测试对比：
- 未开启：批量插入10万条数据耗时约12秒（每条INSERT独立解析）。
- 开启后：耗时约0.8秒（合并为一条长INSERT，解析一次）。
对MySQL而言,此参数是性能倍增器。

陷阱3：多线程批量插入

错误做法：每个线程独立获取连接，分别批处理，导致连接池耗尽。
正确做法：使用ThreadPoolExecutor控制并发数，确保连接复用；或使用分区表避免行锁竞争。

性能对比表（10万条数据，MySQL 8.0）：

方式	耗时（秒）	事务日志大小
逐条INSERT	35	高
JDBC批处理（未优化）	12	中
JDBC批处理（优化）	8	低
MyBatis BATCH	2	中

问答环节：开发者高频问题详解

Q1：为什么我的batchSize设置成10000反而更慢？
A：客户端内存占用增加，且数据库锁等待时间变长，若max_allowed_packet不足，会直接抛出PacketTooBigException，建议从500开始逐步调优，结合实际压测结果。

Q2：MyBatis的BATCH模式和普通循环插入有何本质区别？
A：普通循环每次调用mapper.insert()会立即执行SQL并提交；BATCH模式则将所有INSERT缓存，仅在commit()时一次性发送，但注意，BATCH模式下无法实时获取自增主键（除非使用useGeneratedKeys并手动处理）。

Q3：批量插入时是否需要手动关闭连接？
A：是的，务必在finally块中关闭SqlSession或Connection，否则连接池耗尽会导致应用不可用，建议使用try-with-resources或Spring管理的@Transactional。

Q4：批量插入失败后如何回滚？
A：推荐使用Spring@Transactional管理事务，其rollbackFor默认捕获RuntimeException，若手动JDBC，需在catch块中调用conn.rollback()，并注意executeBatch()抛出的异常可能包含部分成功数据（MySQL的BatchUpdateException）。

Q5：有没有不需要改代码就能提升批量插入性能的方法？
A：有。