一种数据切分的方法及系统的制作方法_4

文档序号:9911128阅读:来源:国知局
数据源对应的不同表进行读写操作。
[0116]说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0117]专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0118]结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(R0M)、电可编程R0M、电可擦除可编程R0M、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0119]以上对本发明所提供的数据切分的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
【主权项】
1.一种数据切分的方法,其特征在于,包括:根据数据的实际情况,选择相应的分区模式进行数据切分; 当需要确保数据库的稳定性并且业务数据属于读多写少的情况,则根据应用发起的数据切分请求,选择读写分离的分区模式对数据进行切分; 当单台数据库的硬件资源足够,但是单张表的数据超过阈值时,则根据应用发起的数据切分请求,选择单库分表的分区模式对数据进行切分; 当单台数据库的硬件资源不足时,则根据应用发起的数据切分请求,选择多库分表的分区模式对数据进行切分。2.如权利要求1所述的方法,其特征在于,读写分离的分区模式对数据进行切分包括: 写操作时,确定配置为wri teable = true对应的数据源,并将所述数据源中的数据插入到写数据库中; 将所述写数据库中的数据复制到读数据库中; 读操作时,确定配置为¥1^631316 = &186对应的读数据库。3.如权利要求2所述的方法,其特征在于,读操作时,确定配置为writeable = false对应的读数据库包括: 读操作时,确定配置为writeable = false对应的读数据库,并利用负载均衡策略算法从所述读数据库中确定需要的读数据库。4.如权利要求1所述的方法,其特征在于,单库分表的分区模式对数据进行切分包括: 根据分区规则,建立分区逻辑表,其中,所述分区逻辑表定义规则实现类,表名以及分区?Il围; 根据所述分区逻辑表,建立所述分区逻辑表与物理表之间的关联关系,确定分片范围,并根据分片规则确定每个分片绑定的数据源; 建立数据连接,对数据库的不同表进行读写操作。5.如权利要求1所述的方法,其特征在于,多库分表的分区模式对数据进行切分包括: 根据分区规则,建立分区逻辑表,其中,所述分区逻辑表定义规则实现类,表名以及分区?Il围; 根据所述分区逻辑表,建立所述分区逻辑表与物理表之间的关联关系,确定分片范围,并根据分片规则确定每个分片绑定的数据源,其中所述数据源为不同数据库的数据源;建立数据连接,对不同数据库的数据源对应的不同表进行读写操作。6.—种数据切分的系统,其特征在于,包括:根据数据的实际情况,选择相应的分区模式进行数据切分; 读写分离模块,用于当需要确保数据库的稳定性并且业务数据属于读多写少的情况,则根据应用发起的数据切分请求,选择读写分离的分区模式对数据进行切分; 单库分表模块,用于当单台数据库的硬件资源足够,但是单张表的数据超过阈值时,则根据应用发起的数据切分请求,选择单库分表的分区模式对数据进行切分; 多库分表模块,用于当单台数据库的硬件资源不足时,则根据应用发起的数据切分请求,选择多库分表的分区模式对数据进行切分。7.如权利要求6所述的系统,其特征在于,所述读写分离模块包括: 写单元,用于进行写操作时,确定配置为wri teable = true对应的数据源,并将所述数据源中的数据插入到写数据库中; 复制单元,用于将所述写数据库中的数据复制到读数据库中; 读单元,用于进行读操作时,确定配置为writeable = false对应的读数据库。8.如权利要求7所述的系统,其特征在于,所述读单元包括: 读操作时,确定配置为writeable = false对应的读数据库,并利用负载均衡策略算法从所述读数据库中确定需要的读数据库。9.如权利要求6所述的系统,其特征在于,所述单库分表模块包括: 单表分区单元,用于根据分区规则,建立分区逻辑表,其中,所述分区逻辑表定义规则实现类,表名以及分区范围; 单表分片单元,用于根据所述分区逻辑表,建立所述分区逻辑表与物理表之间的关联关系,确定分片范围,并根据分片规则确定每个分片绑定的数据源; 单表数据连接单元,用于建立数据连接,对数据库的不同表进行读写操作。10.如权利要求6所述的系统,其特征在于,所述多库分表模块包括: 多表分区单元,用于根据分区规则,建立分区逻辑表,其中,所述分区逻辑表定义规则实现类,表名以及分区范围; 多表分片单元,用于根据所述分区逻辑表,建立所述分区逻辑表与物理表之间的关联关系,确定分片范围,并根据分片规则确定每个分片绑定的数据源,其中所述数据源为不同数据库的数据源; 多表数据连接单元,用于建立数据连接,对不同数据库的数据源对应的不同表进行读写操作。
【专利摘要】本发明公开了一种数据切分的方法,包括:根据数据的实际情况,选择相应的分区模式进行数据切分;当需要确保数据库的稳定性并且业务数据属于读多写少的情况,则根据应用发起的数据切分请求,选择读写分离的分区模式对数据进行切分;当单台数据库的硬件资源足够,但是单张表的数据超过阈值时,则根据应用发起的数据切分请求,选择单库分表的分区模式对数据进行切分;当单台数据库的硬件资源不足时,则根据应用发起的数据切分请求,选择多库分表的分区模式对数据进行切分;该方法能够在数据量很大,数据急速膨胀的情况下,提高数据库的读写性能,提高数据库的效率;本发明还公开了一种数据切分的系统。
【IPC分类】G06F17/30
【公开号】CN105677761
【申请号】CN201511021428
【发明人】李郑, 王胜, 黄高攀, 夏飞, 王亚玲, 王宝令, 杨超, 李春歧, 程华沈, 张明明
【申请人】国网信息通信产业集团有限公司, 江苏省电力公司信息通信分公司, 南京南瑞集团公司, 国家电网公司
【公开日】2016年6月15日
【申请日】2015年12月30日
当前第4页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1