13518219792
数据分库表扩容-数据不均匀问题 原创
创新互联公司 - 达州托管服务器，四川服务器租用，成都服务器租用，四川网通托管,绵阳服务器托管，德阳服务器托管，遂宁服务器托管，绵阳服务器托管，四川云主机，成都云主机，西南云主机，达州托管服务器，西南服务器托管，四川/成都大带宽，成都机柜租用，四川老牌ＩＤＣ服务商
2021-12-22 22:18:13

这是王姑娘的微博 
码龄10年
关注
假如前期分三个库，一个库两个表，项目火爆，数据量激增，进行扩容
增加了新的数据库表位，会导致旧的库表比新的库表数据量多，且容易出现超载情况

解决方式思想：
不同的库表位分配的概率不一样，性能好的机器和数据量少的机器提高分配几率，类似的中间件应用场景有nginx
类似这种：
Nginx常见的负载均衡策略
节点轮询（默认）
weight 权重配置
简介：weight和访问比率成正比，数字越大，分配得到的流量越高
场景：服务器性能差异大的情况使用
upstream lbs {
server 192.168.159.133:8080 weight=5;
server 192.168.159.133:8081 weight=10;
}
在分库表中的加权解决方式，目前想到的几种方案：
库表位可以使用对象形式，配置权重，避免数据倾斜、数据集中(思考中...)
编写算法，根据不同的，配置权重，不同的库表位配置不同的权重(思考中...)
加权配置，list重复添加出现的高频的库表位(更改速度最快)
例如：dbPrefixList.add("0"); dbPrefixList.add("1"); dbPrefixList.add("a");
这三个库是第一批增加的，已经到了900多万单表量。现在准备进行扩容，那么实现方式如下:
扩容库位b,c,d

/**
* 获取随机的前缀
* @return
*/
public static String getRandomDBPrefix(){
int index = random.nextInt(dbPrefixList.size());
return dbPrefixList.get(index);
}
这样在获取随机库位的时候，0,1,a获取到的概率会低点，相对进入的数据就会少些。更多数据会进入到b ,c,d中进行平衡。
mysql不固定字段使用动态增加数据库表字段。
mysql不固定字段有四种技术：
1.动态增加数据库表字段
2.预留足够的空白字段，运行时作动态映射
3.用xml格式保存在单字段里
4.改列为行，用另外一个表存放定制字段
动态增加字段的方法在实际操作时候几乎是不可能的(sqlserver太慢，oracle索性不支持)。
加入两台mysql，以前的规则是key%2 == 0 进入库1，key%2 == 1 进入库2。在扩容方案中，可以将mysql配置信息修改为：库1的主从作为两台机器，库2同理，这样key%4 == 0 和==2进入库1，key%4 == 1或3进入库2。然后再做数据的清除工作。
每一个表都将会生成以独立的文件方式来进行存储，每一个表都有一个.frm表描述文件，还有一个.ibd文件。
其中这个文件包括了单独一个表的数据内容以及索引内容，默认情况下它的存储位置也是在表的位置之中。
1.添加PRIMARY KEY（主键索引） mysqlALTER TABLE `table_name` ADD PRIMARY KEY ( `column` ) 2.添加UNIQUE(唯一索引) mysqlALTER TABLE `table_name` ADD UNIQUE ( `column` ) 3.添加INDEX(普通索引) mysqlALTER TABLE `table_name` ADD INDEX index_name ( `column` ) 4.添加FULLTEXT(全文索引) mysqlALTER TABLE `table_name` ADD FULLTEXT ( `column`) 5.添加多列索引 mysqlALTER TABLE `table_name` ADD INDEX index_name ( `column1`, `column2`, `column3` )
