如何用Java案例实现数据分片？

wen java案例 2026-06-17 1

如何用Java案例实现数据分片（附完整代码）

📚 文章导读

什么是数据分片？为何需要它？
数据分片的核心策略与Java实现思路
基于哈希取模的简单分片（Sharding-JDBC风格）
基于范围的分片（Range Sharding）
结合Spring Boot + MyBatis实现动态分片
常见问题与问答（Q&A）
SEO优化要点与最佳实践

什么是数据分片？为何需要它？

数据分片（Sharding） 是将一个大型数据库拆分成多个较小的、独立数据库（分片）的技术，每个分片存储部分数据，分片可以部署在不同的服务器上，从而实现水平扩展、提升查询性能、降低单机存储压力。

如何用Java案例实现数据分片？

典型场景：

电商订单表：日订单量千万级，单表查询缓慢
用户表：全球用户数达亿级，需按地域分片
日志表：写入量大，需按时间分片

问答：分片和分区有什么区别？
分区（Partition）是数据库内部机制，分片是应用层或中间件层面将数据分布到不同节点，分片通常还涉及跨节点查询、分布式事务等复杂问题。

数据分片的核心策略与Java实现思路

分片策略	描述	适用场景
哈希取模	根据键（如用户ID）的哈希值取模，分配到不同分片	数据分布均匀，但扩展分片需重分布
范围分片	按时间区间、ID区间划分	适合有序数据，但可能数据倾斜
一致性哈希	减少节点增减时的数据迁移量	分布式缓存、弹性扩展场景

Java实现数据分片通常依赖以下组件：

ShardingSphere：Apache顶级项目，支持分片、读写分离
MyCat：数据库中间件，支持分片路由
自研分片算法：适合学习与轻量场景

本文将重点介绍自研分片算法，用纯Java + MyBatis实现动态分片,让你深入理解分片底层原理。

案例一：基于哈希取模的简单分片（Sharding-JDBC风格）

1 项目依赖（Maven）

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>2.3.0</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
</dependencies>

2 自定义分片算法

public class HashShardingAlgorithm {
    // 分片数量，4 个分片
    private static final int SHARD_COUNT = 4;
    /**
     * 根据用户ID计算目标分片序号
     * userId=100 -> hash=100 -> 100 % 4 = 0 -> 分片0
     */
    public static int calculateShardId(Long userId) {
        return (int) (userId % SHARD_COUNT);
    }
    /**
     * 生成分片表名：user_0, user_1, user_2, user_3
     */
    public static String getShardTableName(Long userId) {
        return "user_" + calculateShardId(userId);
    }
}

3 MyBatis动态分片查询（XML实现）

<mapper namespace="com.example.mapper.UserMapper">
    <!-- 注意：表名使用 ${shardTable} 动态传入 -->
    <select id="selectUserById" resultType="com.example.entity.User">
        SELECT * FROM ${shardTable} WHERE id = #{id}
    </select>
</mapper>

4 Service层调用

@Service
public class UserService {
    @Autowired
    private UserMapper userMapper;
    public User findUser(Long userId) {
        // 动态计算分片表名
        String shardTable = HashShardingAlgorithm.getShardTableName(userId);
        return userMapper.selectUserById(userId, shardTable);
    }
}

✅ 优点：代码可视化，易于理解分片原理
❌ 缺点：硬编码分片数量，扩展时需手动迁移数据

案例二：基于范围的分片（Range Sharding）

1 数据范围定义

假设我们要按用户ID区间分片：

分片0：userId 1~10000
分片1：userId 10001~20000
分片2：userId 20001~30000
...

2 范围映射实现

public class RangeShardingAlgorithm {
    private static final Map<String, Long[]> shardRangeMap = new HashMap<>();
    static {
        shardRangeMap.put("user_0", new Long[]{1L, 10000L});
        shardRangeMap.put("user_1", new Long[]{10001L, 20000L});
        shardRangeMap.put("user_2", new Long[]{20001L, 30000L});
    }
    public static String getShardTableName(Long userId) {
        for (Map.Entry<String, Long[]> entry : shardRangeMap.entrySet()) {
            Long[] range = entry.getValue();
            if (userId >= range[0] && userId <= range[1]) {
                return entry.getKey();
            }
        }
        throw new IllegalArgumentException("userId out of range: " + userId);
    }
}

问答：范围分片和高低水位有什么关联？
范围分片常与预分区结合，类似HBase的Region，如果数据倾斜严重（如某段数据量暴增），需要动态分裂或合并分片，这时需要“高低水位”策略进行自动扩缩容。

案例三：结合Spring Boot + MyBatis实现动态分片

1 分片配置（application.yml）

sharding:
  tables:
    user:
      actualDataNodes: ds0.user_$->{0..3}  # 分片表 user_0 到 user_3
      databaseStrategy:
        standard:
          shardingColumn: id
          preciseAlgorithmClassName: com.example.sharding.HashPreciseAlgorithm

2 精准分片算法实现（ShardingSphere风格）

public class HashPreciseAlgorithm implements PreciseShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, 
                             PreciseShardingValue<Long> shardingValue) {
        Long value = shardingValue.getValue();
        // value=123 -> hash=123 -> 123%4=3 -> user_3
        int shardIndex = (int) (value % availableTargetNames.size());
        for (String target : availableTargetNames) {
            if (target.endsWith(String.valueOf(shardIndex))) {
                return target;
            }
        }
        throw new IllegalArgumentException("No shard found for value: " + value);
    }
}