项目集成sharding-jdbc

1.业务分析

2.数据库构建

3.分库分表策略

项目配置默认数据源

一：导入sharding-jdbc依赖

二：在application文件中编写配置

三：注释掉主配置文件中配置的数据源

注意：这里添加了spring.main.allow-bean-definition-overriding: true

四：测试

项目配置广播表（公共表）

一:application配置

二：测试

项目使用standard标准模式配置分库算法

一.分库算法类

二.application中配置逻辑表对应的数据节点和分库算法

项目使用stardard标准模式配置分表算法

一.分表算法类

二.application配置

分库分表注意事项

项目集成sharding-jdbc

1.业务分析

我1们分析一下股票数据的预期增长情况：

表名	时间周期	累计数量	分库分表策略
股票流水表-stock_rt_info	月	1(钟)x60（时）x4（天）x21(月)x1500（重点股票）约等于：750W+	按年分库，按月分表
股票主营业务表-stock_business		3000+	公共表\|广播表	数据量少数据变化频率低各个数据库都会用到
国内大盘流水表-stock_market_index_info	年	1x60x4x21x12x10约等于：60W+	按年分库不分表	方便数据按年维护
外盘流水表-stock_outer_market_index_info	年	1x60x4x21x12x10约等于：60W+	按年分库不分表	方便数据按年维护
股票板块-stock_block_rt_into	年	1x60x4x21x12x60约等于：360w+	按年分库不分表	方便数据按年维护
系统表 -sys_log、sys_user、sys_role等		数据量少	单库默认数据源

当前我们选择使用cur_time日期字段作为分库分表的片键比较合适，那如果使用主键字段作为分片，会存在哪些问题呢？

数据库扩容时各节点存储均衡问题
- 股票数据的持续流入会导致前期分库的各个节点不堪重负，最终势必要进行节点扩容，而新加入的节点和旧的节点之间数据不平衡，需要重新规划，这会导致数据迁移的成本过高；
股票查询条件问题
- 股票数据多以日期作为条件查询，如果基于主键ID作为分片键，则会导致分库的全节点查询，性能开销加大；

2.数据库构建

对于股票流水表按照月维度和年维护进行库表拆分，也就是说一年会产生一个库用于后期数据归档，而每个库下则按照月份产生12张表，对应一年的数据；
对于板块表和大盘数据表，我们则以年为单位，与股票流水表年份一致即可，也就是按照年分库分表；
对于主营业务表，因为数据量较少，且查询都会用到，作为公共表处理；
对于系统表数据量相对较少，作为默认数据源即可；

3.分库分表策略

经过分析发现大盘、板块、股票相关数据的分库策略是一致的，而分表策略则存在部分差异，所以我们可先定义公共的分库算法类和公共的分表算法类，对于不一致的，则个别定义即可：

表	公共分库算法	公共分表算法	说明
stock_block_rt_inf	是	无
stock_market_index_info	是	无
stock_outer_market_index_info	是	无
stock_rt_info	是	否	根据月份分表
stock_business	否	否	公共表\|广播表
系统管理相关表:sys_user等	否	否	默认数据源

项目配置默认数据源

说明:配置默认数据源之后，如果某个逻辑表没有对应的数据节点，就会去默认数据源下去寻找是否与自己同名的物理表，如果有就去操作默认数据源的那张表，如果没有就会报错（空数据源即没有可操作的数据源）

一：导入sharding-jdbc依赖

 <!--引入shardingjdbc依赖-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        </dependency>

二：在application文件中编写配置

application-shard.properties

# 分表配置
# 数据源名称，多数据源以逗号分隔,一个数据库对应一个数据源
spring.shardingsphere.datasource.names=defdb
#让数据源连接指定的数据库
# 数据库连接池类名称
spring.shardingsphere.datasource.defdb.type=com.alibaba.druid.pool.DruidDataSource
# 数据库驱动类名
spring.shardingsphere.datasource.defdb.driver-class-name=com.mysql.jdbc.Driver
# 数据库 url 连接
spring.shardingsphere.datasource.defdb.url=jdbc:mysql://192.168.200.130:3306/stock_sys_db?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
# 数据库用户名
spring.shardingsphere.datasource.defdb.username=root
# 数据库密码
spring.shardingsphere.datasource.defdb.password=1234

# 配置默认数据源（特点：对于不做分片处理的操作，都会直接访问默认数据源
# 未配置分片规则的表将通过默认数据源定位
spring.shardingsphere.sharding.default-data-source-name=defdb

#开启sql显示到终端
spring.shardingsphere.props.sql.show=true

三：注释掉主配置文件中配置的数据源

# web定义
server:
  port: 8091
spring:
  profiles:
    active: cache,stock,mq,shard #激活其他配置文件
  main:
    allow-bean-definition-overriding: true # 配置允许容器内的bean资源被覆盖，druid的依赖会自动装配数据源，sharding也会装配数据源，
    # 所以要开启覆盖bean资源，让sharding配置的数据源覆盖掉druid的数据源
    # 配置mysql数据源
#  datasource:
#    druid:
#      username: root
#      password: 1234
#      url: jdbc:mysql://192.168.200.130:3306/stock_db?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
#      driver-class-name: com.mysql.jdbc.Driver
#      # 初始化时建立物理连接的个数。初始化发生在显示调用 init 方法，或者第一次 getConnection 时
#      initialSize: 6
#      # 最小连接池数量
#      minIdle: 2
#      # 最大连接池数量
#      maxActive: 20
#      # 获取连接时最大等待时间，单位毫秒。配置了 maxWait 之后，缺省启用公平锁，
#      # 并发效率会有所下降，如果需要可以通过配置 useUnfairLock 属性为 true 使用非公平锁。
#      maxWait: 60000
# 配置mybatis
mybatis:
  type-aliases-package: com.hhh.stock.pojo.entity  #批量给实体类取别名，方便在xml文件中使用别名
  mapper-locations: classpath:mapper/*.xml  #配置加载mapperXml文件资源
  configuration:
    map-underscore-to-camel-case: true # 开启驼峰映射
#    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl #通过mybatis执行的sql以日志文件输出到终端
    cache-enabled: false #禁止二级缓存 caffiencache
    local-cache-scope: statement # 以及缓存默认开启session
# pagehelper配置
pagehelper:
  helper-dialect: mysql #指定分页数据库类型（方言）
  reasonable: true #合理查询超过最大页，则查询最后一页

注意：这里添加了spring.main.allow-bean-definition-overriding: true

如果不添加这个语句，启动项目时就会报错，因为下面两个依赖都会自动装配一个druid数据源，导致springboot不知道要使用哪一个数据源，所以添加spring.main.allow-bean-definition-overriding: true，配置允许容器内的bean资源被覆盖即可，这样就可以去使用sharding-jdbc的数据源了

 <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
        </dependency>

 <!--引入shardingjdbc依赖-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        </dependency>

四：测试

    @Autowired
    private SysUserMapper sysUserMapper;

    /**
     * @Description 测试默认数据源的配置
     */
    @Test
    public void testDefault(){
        SysUser user = sysUserMapper.selectByPrimaryKey(1237361915165020161l);
        System.out.println(user);
    }

可以发现使用了默认数据源defdb

5,23