包括以下之一或者任意组合:内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出1资源消耗情况、网络资源消耗情况。
[0074]所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片；
[0075]在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
[0076]其中，本申请装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0077]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上公开的仅为本申请的几个具体实施例，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
【主权项】
1.一种数据合并方法，该方法应用于包括数据平台、数据更新服务器和多个数据存储服务器的系统中，其特征在于，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，所述方法包括以下步骤: 所述数据平台确定当前需要进行数据合并的数据存储服务器，并将所述数据存储服务器的外部读写流量切换到其它数据存储服务器； 在外部读写流量被切换到其它数据存储服务器之后，所述数据平台将所述数据更新服务器内的数据合并到所述数据存储服务器中； 在数据被合并到所述数据存储服务器完成之后，所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器。2.如权利要求1所述的方法，其特征在于，所述方法进一步包括: 在确定当前需要进行数据合并的数据存储服务器的过程中，所述数据平台判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则所述数据平台从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则所述数据平台从数据更新服务器内删除已经合并到数据存储服务器的数据。3.如权利要求1所述的方法，其特征在于，所述数据平台将所述数据存储服务器的外部读写流量切换到其它数据存储服务器，具体包括: 所述数据平台生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为O ;以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量； 所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器，具体包括:所述数据平台生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。4.如权利要求1所述的方法，其特征在于，所述方法进一步包括: 在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则所述数据平台监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则所述数据平台停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则所述数据平台继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。5.如权利要求4所述的方法，其特征在于，所述资源消耗情况具体包括以下之一或者任意组合:内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出1资源消耗情况、网络资源消耗情况。6.如权利要求1-5任一项所述的方法,其特征在于， 所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片； 在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。7.一种数据平台，应用于包括所述数据平台、数据更新服务器和多个数据存储服务器的系统中，其特征在于，在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时，所述数据平台具体包括: 判定模块，用于确定当前需要进行数据合并的数据存储服务器； 切换模块，用于将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；以及，在数据被合并到所述数据存储服务器完成之后，将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器； 合并模块，用于在外部读写流量被切换到其它数据存储服务器之后，将所述数据更新服务器内的数据合并到所述数据存储服务器中。8.如权利要求7所述的数据平台，其特征在于， 所述判定模块，进一步用于在确定当前需要进行数据合并的数据存储服务器的过程中，判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器；如果存在，则从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器；如果不存在，则从数据更新服务器内删除已经合并到数据存储服务器的数据。9.如权利要求7所述的数据平台，其特征在于， 所述切换模块，具体用于在将所述数据存储服务器的外部读写流量切换到其它数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为O ;以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量； 在将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器时，生成流量控制表，在所述流量控制表中，所述数据存储服务器的流量比重为特定比重数值，所述特定比重数值是未对所述数据存储服务器进行数据合并时，所述数据存储服务器对应的流量比重；以使所述客户端从所述数据平台读取所述流量控制表，并在发送外部读写流量时，按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。10.如权利要求7所述的数据平台，其特征在于，还包括: 控制模块，用于在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中，如果有外部读写流量需要由所述数据存储服务器进行处理，则监测所述数据存储服务器的资源消耗情况；如果所述资源消耗情况满足预设策略，则停止将所述数据更新服务器内的数据合并到所述数据存储服务器中；如果所述资源消耗情况不满足预设策略，则继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。11.如权利要求10所述的数据平台，其特征在于，所述资源消耗情况包括以下之一或者任意组合:内存资源消耗情况、线程资源消耗情况、中央处理器CPU资源消耗情况、输入输出1资源消耗情况、网络资源消耗情况。12.如权利要求7-11任一项所述的数据平台，其特征在于， 所述数据更新服务器用于存储增量数据，各数据存储服务器用于存储基准数据，所述基准数据为按照一定的规则划分的不存在交叉的数据分片； 在所述数据更新服务器内写入的增量数据的数据量达到预设阈值时，需要将所述数据更新服务器内的增量数据合并到所述多个数据存储服务器。
【专利摘要】本申请公开了一种数据合并方法和设备，该方法包括：数据平台确定当前需要进行数据合并的数据存储服务器，并将所述数据存储服务器的外部读写流量切换到其它数据存储服务器；在外部读写流量被切换到其它数据存储服务器之后，数据平台将所述数据更新服务器内的数据合并到所述数据存储服务器中；在数据被合并到所述数据存储服务器完成之后，所述数据平台将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器。之后，数据平台确定下一个需要进行数据合并的数据存储服务器，以此类推，后续处理不再赘述。本申请实施例中，可以错峰进行数据合并，能够自主进行流量切换，有效的控制合并操作对资源的消耗情况，有效的避免了对读写服务的影响，提高系统整体稳定性。
【IPC分类】G06F3/06, H04L29/08, G06F17/30
【公开号】CN105446653
【申请号】CN201410429616
【发明人】阳振坤, 孙志东, 徐虎
【申请人】阿里巴巴集团控股有限公司
【公开日】2016年3月30日
【申请日】2014年8月27日
【公告号】US20160065663