一种数据合并方法和设备的制造方法_3

文档序号:9687195阅读:来源:国知局
储服务器对应的流量比重;以使客户端从数据平台读取流量控制表,并在发送外部读写流量时,按照该流量控制表中记录的数据存储服务器的流量比重向该数据存储服务器发送外部读写流量。
[0056]进一步的,在一种具体实现方式中,在数据平台将数据存储服务器的外部读写流量切换到该数据存储服务器的过程中,切换过程是按照先慢后快的原则,逐步将该数据存储服务器的外部读写流量切换到该数据存储服务器。
[0057]例如,数据平台将数据存储服务器I的外部读写流量切换到数据存储服务器2之前,数据存储服务器I的流量比重为50%,数据存储服务器2的流量比重为50%。数据平台当前生成的流量控制表中,数据存储服务器I的流量比重为0%,数据存储服务器2的流量比重为100%,客户端从数据平台读取流量控制表,对于客户端发送的外部读写流量,有O %的外部读写流量发送给数据存储服务器1,有100%的外部读写流量发送给数据存储服务器2。数据平台将数据存储服务器I的外部读写流量恢复到数据存储服务器I的过程中,数据平台第I分钟生成的流量控制表中,数据存储服务器I的流量比重为5%,数据存储服务器2的流量比重为95%,客户端从数据平台读取流量控制表,对于客户端发送的外部读写流量,有5%的外部读写流量发送给数据存储服务器1,有95%的外部读写流量发送给数据存储服务器2。数据平台第2分钟生成的流量控制表中,数据存储服务器I的流量比重为15%,数据存储服务器2的流量比重为85%,客户端从数据平台读取流量控制表,对于客户端发送的外部读写流量,有15%的外部读写流量发送给数据存储服务器1,有85%的外部读写流量发送给数据存储服务器2。数据平台第3分钟生成的流量控制表中,数据存储服务器I的流量比重为50%,数据存储服务器2的流量比重为50%,客户端从数据平台读取流量控制表,对于客户端发送的外部读写流量,有50%的外部读写流量发送给数据存储服务器I,有50 %的外部读写流量发送给数据存储服务器2,基于此,数据平台将数据存储服务器I的已经切换到数据存储服务器2的外部读写流量全部恢复到数据存储服务器I。
[0058]综上所述,本申请实施例至少具有以下优点:在本申请实施例中,针对多个数据存储服务器,通过将一个数据存储服务器的外部读写流量切换到其它数据存储服务器,并在外部读写流量被切换到其它数据存储服务器之后,当前只对该一个数据存储服务器进行数据合并操作,即将数据更新服务器内的数据合并到该数据存储服务器,从而每次只对一个数据存储服务器进行合并操作,并由其它数据存储服务器对外部读写流量进行处理,从而错峰进行数据合并,能够自主进行流量切换,有效的控制合并操作对资源的消耗情况,有效的避免了对读写服务的影响,提高系统的整体稳定性。进一步的,上述方式可以减少运维的复杂度,不需要手工运维操作。上述方式能够自主迁移在线读写流量,将内部合并操作和在线服务进行了彻底的隔离,使合并不影响在线服务。上述方式能够在发生合并时将流量分流到未发生合并的数据存储服务器,完成引流后再开始执行合并操作,并在合并完成后将切走的流量进行自动恢复,整个过程做到对外部服务的透明化。上述方式可以针对不同的应用采用不同的合并策略,可以多次发起数据合并,并可以在存储相同数据量的情况下有效减少存储分级等,从而有效的优化了读性能。
[0059]在一般情况下,在将数据更新服务器内的数据合并到数据存储服务器的过程中,不会有外部读写流量需要由该数据存储服务器进行处理,一直到数据被合并到该数据存储服务器,并将数据存储服务器的外部读写流量切换到该数据存储服务器之后,才会有外部读写流量需要由该数据存储服务器进行处理。但是,在一些特殊情况下,在将数据更新服务器内的数据合并到数据存储服务器的过程中,也会有外部读写流量需要由该数据存储服务器进行处理。基于此,本申请实施例中,在将数据更新服务器内的数据合并到数据存储服务器的过程中,如果有外部读写流量需要由数据存储服务器进行处理,则数据平台监测该数据存储服务器的资源消耗情况;如果资源消耗情况满足预设策略,则数据平台停止将数据更新服务器内的数据合并到数据存储服务器中,即不再向数据存储服务器中合并数据;如果资源消耗情况不满足预设策略,则数据平台继续将数据更新服务器内的数据合并到数据存储服务器中。
[0060]本申请实施例中,在将数据更新服务器内的数据合并到数据存储服务器的过程中,有外部读写流量需要由该数据存储服务器进行处理的应用场景,具体包括但不限于:
(I)如果数据存储服务器的数据合并超时,则数据平台需要将该数据存储服务器的外部读写流量恢复到该数据存储服务器,此时,该数据存储服务器仍然需要进行数据合并,且外部读写流量已经恢复到该数据存储服务器,基于此,在将数据更新服务器内的数据合并到数据存储服务器的过程中,有外部读写流量需要由该数据存储服务器进行处理。(2)如果单个数据存储服务器无法承担全部的外部读写流量,则为了保证在线服务的最大可用性,数据平台需要强制将外部读写流量分流到正在进行数据合并的数据存储服务器,基于此,在将数据更新服务器内的数据合并到数据存储服务器的过程中,有外部读写流量需要由该数据存储服务器进行处理。
[0061]本申请实施例中,资源消耗情况具体包括但不限于以下之一或者任意组合:内存资源消耗情况、线程资源消耗情况、CPU(Central Processing Unit,中央处理器)资源消耗情况、1资源消耗情况、网络资源消耗情况。
[0062]其中,数据平台通过监控数据存储服务器的请求吞吐、读写请求延时、响应延迟、请求排队数据等信息,获得该数据存储服务器的资源消耗情况。
[0063]其中,资源消耗情况满足预设策略表示数据存储服务器的负载过重,如内存资源消耗情况为内存已经使用超过80%,CPU资源消耗情况为CPU已经使用超过70%,1资源消耗情况为1资源已经使用超过70%,网络资源消耗情况为网络资源已经使用超过80%等。资源消耗情况不满足预设策略表示数据存储服务器的负载未过重,如内存资源消耗情况为内存已经使用低于50%,CPU资源消耗情况为CPU已经使用低于50%,1资源消耗情况为1资源已经使用低于50%,网络资源消耗情况为网络资源已经使用低于50%等。
[0064]综上所述,本申请实施例中,通过实时监控数据存储服务器的资源占用情况,对数据存储服务器的负载情况进行控制,调整合并占用线程资源的启动或停止,在负载低时尽快合并,减少合并时间,在负载高时,降低合并的速度,甚至停止合并,通过回收合并线程资源,降低因合并造成的网络、CPU、10等资源消耗。通过这种实时动态监控和反馈的机制,以最高的优先级保证在线服务的可用性,保证系统的Q0S((Quality of Service,服务质量)。
[0065]实施例二
[0066]基于与上述方法同样的申请构思,本申请实施例中还提供了一种数据平台,应用于包括所述数据平台、数据更新服务器和多个数据存储服务器的系统中,在需要将所述数据更新服务器内的数据合并到所述多个数据存储服务器时,如图4所示,所述数据平台具体包括:
[0067]判定模块11,用于确定当前需要进行数据合并的数据存储服务器;
[0068]切换模块12,用于将所述数据存储服务器的外部读写流量切换到其它数据存储服务器;以及,在数据被合并到所述数据存储服务器完成之后,将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器;
[0069]合并模块13,用于在外部读写流量被切换到其它数据存储服务器之后,将所述数据更新服务器内的数据合并到所述数据存储服务器中。
[0070]所述判定模块11,进一步用于在确定当前需要进行数据合并的数据存储服务器的过程中,判断当前是否存在没有合并数据更新服务器内数据的数据存储服务器;如果存在,则从没有合并数据更新服务器内数据的数据存储服务器中选择一个当前需要进行数据合并的数据存储服务器;如果不存在,则从数据更新服务器内删除已经合并到数据存储服务器的数据。
[0071]本申请实施例中,所述切换模块12,具体用于在将所述数据存储服务器的外部读写流量切换到其它数据存储服务器时,生成流量控制表,在所述流量控制表中,所述数据存储服务器的流量比重为O ;以使所述客户端从所述数据平台读取所述流量控制表,并在发送外部读写流量时,按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量;在将所述数据存储服务器的已经切换到其它数据存储服务器的外部读写流量恢复到所述数据存储服务器时,生成流量控制表,在所述流量控制表中,所述数据存储服务器的流量比重为特定比重数值,所述特定比重数值是未对所述数据存储服务器进行数据合并时,所述数据存储服务器对应的流量比重;以使所述客户端从所述数据平台读取所述流量控制表,并在发送外部读写流量时,按照所述流量控制表中记录的数据存储服务器的流量比重向所述数据存储服务器发送外部读写流量。
[0072]所述数据平台还包括:控制模块14,用于在将所述数据更新服务器内的数据合并到所述数据存储服务器的过程中,如果有外部读写流量需要由所述数据存储服务器进行处理,则监测所述数据存储服务器的资源消耗情况;如果所述资源消耗情况满足预设策略,则停止将所述数据更新服务器内的数据合并到所述数据存储服务器中;如果所述资源消耗情况不满足预设策略,则继续将所述数据更新服务器内的数据合并到所述数据存储服务器中。
[0073]本申请实施例中,所述资源消耗情况
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1