一种数据管理方法、数据发送装置、数据接收装置及系统与流程

本发明涉及计算机技术领域，特别涉及一种数据管理方法、数据发送装置、数据接收装置及系统。

背景技术：

随着计算机技术的不断发展，各种应用软件应运而生；同时，各个应用软件对应的业务数据也大量增加。

目前，为了提高数据管理效率，实现对相应应用软件所对应的大量的业务数据进行，通常采用由多个服务器节点组成的服务器集群来管理各个应用软件所对应的大量的业务数据。

但是，当服务器集群中的各个服务器节点发生宕机时，比如，部署服务器集群的指定地点因无法提供工作电源而导致服务器集群中的各个服务器节点发生掉电时，则可能导致外部应用软件无法通过服务器集群来访问相应的业务数据，影响业务数据的可用性。

技术实现要素：

本发明实施例提供了一种数据管理方法、数据发送装置、数据接收装置及系统，可提高业务数据的可用性。

第一方面，本发明提供了一种数据发送装置，所述数据发送装置安装于设置在第一指定地点的第一服务器集群的一个第一主服务器节点中，所述第一服务器集群的每一个非主服务器节点均与所述主服务器节点相连，包括：时钟模块、数据采集模块和数据发送模块；其中，

所述时钟模块，用于确定至少一个触发时间点，在每一个所述出发时间点均向所述数据采集模块发送触发指令；

所述数据采集模块，用于在接收到所述时钟模块发送的触发指令时，采集所述第一服务器集群的每一个服务器节点中存储的业务数据；

所述数据发送模块，用于将所述数据采集模块采集的所述业务数据发送至数据接收装置，以使所述数据接收装置将所述业务数据同步到设置在第二指定地点的第二服务器集群中。

优选地，

还包括：第一设置模块，用于在所述第一服务器集群的第一主服务器节点中设置存储文件；

所述数据采集模块，进一步用于将采集的所述业务数据写入所述存储文件；

所述数据发送模块，用于读取所述存储文件中存储的业务数据，并发送至数据接收装置。

第二方面，本发明实施例提供了一种数据接收装置，所述数据接收装置安装于设置在第二指定地点的第二服务器集群的一个第二主服务器节点中，所述第二服务器集群的每一个非主服务器节点均与所述第二主服务器节点相连，包括：数据接收模块和数据同步模块；其中，

所述数据接收模块，用于接收数据发送装置发送的业务数据；

所述数据同步模块，用于将所述业务数据同步到所述第二服务器集群的各个服务器节点中。

优选地，

还包括：第二设置模块，用于在所述第二服务器节点的第二主服务器节点中设置缓存文件；

所述数据接收模块，进一步用于将接收的所述业务数据写入所述缓存文件；

所述数据同步模块，用于根据所述缓存文件中存储的所述业务数据，对所述第二服务器集群的各个服务器节点中存储的业务数据进行相应的业务处理。

第三方面，本发明实施例提供了一种利用第一方面中任一所述的数据发送装置管理数据的方法，包括：

将所述数据发送装置安装于设置在第一指定地点的第一服务器集群的一个第一主服务器节点中，所述第一服务器集群的每一个非主服务器节点均与所述主服务器节点相连；

利用时钟模块确定至少一个触发时间点，在每一个所述出发时间点均向所述数据采集模块发送触发指令；

利用所述数据采集模块在接收到所述时钟模块发送的触发指令时，采集所述第一服务器集群的每一个服务器节点中存储的业务数据；

利用所述数据发送模块将所述数据采集模块采集的所述业务数据发送至数据接收装置，以使所述数据接收装置将所述业务数据同步到设置在第二指定地点的第二服务器集群中。

优选地，

还包括：预先在所述第一服务器集群的第一主服务器节点中设置存储文件；

则，所述利用所述数据采集模块在接收到所述时钟模块发送的触发指令时，采集所述第一服务器集群的每一个服务器节点中存储的业务数据，进一步包括：利用所述数据采集模块将采集的所述业务数据写入所述存储文件；

所述利用数据发送模块将所述数据采集模块采集的所述业务数据发送至数据接收装置，包括：利用数据发送模块读取所述存储文件中存储的业务数据，并发送至数据接收装置。

第四方面，本发明实施例提供了一种利用第二方面中任一所述的数据接收装置管理数据的方法，包括：

将所述数据接收装置安装于设置在第二指定地点的第二服务器集群的一个第二主服务器节点中，所述第二服务器集群的每一个非主服务器节点均与所述第二主服务器节点相连；

利用数据接收模块接收数据发送装置发送的业务数据；

利用数据同步模块将所述业务数据同步到所述第二服务器集群的各个服务器节点中。

优选地，

还包括：预先在所述第二服务器节点的第二主服务器节点中设置缓存文件；

则，所述利用数据接收模块接收数据发送装置发送的业务数据，进一步包括：利用数据接收模块将接收的所述业务数据写入所述缓存文件；

所述利用数据同步模块将所述业务数据同步到所述第二服务器集群的各个服务器节点中，包括：利用数据同步模块根据所述缓存文件中存储的所述业务数据，对所述第二服务器集群的各个服务器节点中存储的业务数据进行相应的业务处理。

第五方面，本发明实施例提供了一种数据管理系统，包括：第一服务器集群、第二服务器集群、数据发送装置和数据接收装置；其中，

所述第一服务器集群设置在第一指定地点，包括一个第一主服务器节点和至少一个非主服务器节点；

所述第二服务器集群设置在第二指定地点，包括一个第二主服务器节点和至少一个非主服务器节点；

所述数据发送装置设置在所述第一主服务器节点中；

所述数据接收装置设置在所述第二主服务器节点中。

本发明实施例提供了一种数据管理方法、数据发送装置、数据接收装置及系统，该数据发送装置安装在设置于第一指定地点的第一服务器集群的主服务器节点中，可在各个触发时间点下采集并发送第一服务器集群中存储的业务数据至数据接收装置，使得数据接收装置将业务数据同步到设置在第二指定地点的第二服务器集群中。如此，则实现将第一服务器集群和第二服务器集群之间的数据互通，当设置在第一指定地点的第一服务器集群的各个服务器节点发送宕机时，相应的应用软件则可通过设置在第二指定地点的第二服务器集群来访问相应的业务数据，可提高业务数据的可用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种数据发送装置的结构示意图；

图2是本发明一实施例提供的另一种数据发送装置的结构示意图；

图3是本发明一实施例提供的一种应用于数据发送装置的数据管理方法的流程图；

图4是本发明一实施例提供的一种数据接收装置的结构示意图；

图5是本发明一实施例提供的另一种数据接收装置的结构示意图；

图6是本发明一实施例提供的一种应用于数据接收装置的数据管理方法的流程图；

图7是本发明一实施例提供的一种数据管理系统的结构示意图；

图8是本发明实施例提供的一种应用于数据管理系统的数据管理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据发送装置，所述数据发送装置安装于设置在第一指定地点的第一服务器集群的一个第一主服务器节点中，所述第一服务器集群的每一个非主服务器节点均与所述主服务器节点相连，包括：时钟模块101、数据采集模块102和数据发送模块103；其中，

所述时钟模块101，用于确定至少一个触发时间点，在每一个所述出发时间点均向所述数据采集模块102发送触发指令；

所述数据采集模块102，用于在接收到所述时钟模块101发送的触发指令时，采集所述第一服务器集群的每一个服务器节点中存储的业务数据；

所述数据发送模块103，用于将所述数据采集模块102采集的所述业务数据发送至数据接收装置，以使所述数据接收装置将所述业务数据同步到设置在第二指定地点的第二服务器集群中。

本发明上述实施例中，该数据发送装置安装在设置于第一指定地点的第一服务器集群的主服务器节点中，可在各个触发时间点下采集并发送第一服务器集群中存储的业务数据至数据接收装置，使得数据接收装置将业务数据同步到设置在第二指定地点的第二服务器集群中。如此，则实现将第一服务器集群和第二服务器集群之间的数据互通，当设置在第一指定地点的第一服务器集群的各个服务器节点发送宕机时，相应的应用软件则可通过设置在第二指定地点的第二服务器集群来访问相应的业务数据，可提高业务数据的可用性。

进一步的，为了确保数据接收装置接收到的业务数据具备完整性，如图2所示，本发明一个实施例中，还包括：第一设置模块201，用于在所述第一服务器集群的第一主服务器节点中设置存储文件；

所述数据采集模块102，进一步用于将采集的所述业务数据写入所述存储文件；

所述数据发送模块103，用于读取所述存储文件中存储的业务数据，并发送至数据接收装置。

本发明上述实施例中，由于第一服务器集群可能包括多个服务器节点，数据采集模块采集各个服务器节点下存储的业务数据时，可能需要经过一定的时长才能实现完全采集第一服务器集群中存储的业务数据，通过在第一服务器集群的第一主服务器节点中设置存储文件，则可利用存储文件来缓存业务数据，在数据采集模块实现对第一服务器集群的各个服务器节点中存储的业务数据实现完全采集之后，再由数据发送模块将存储文件中存储的业务数据发送至数据接收装置，可确保数据接收装置接收的业务数据具备完整性。

需要说明的是，在实现将第一服务器集群中的业务数据同步至第二服务器集群时，具体还可以通过如下方法对两个服务器集群中的第一主服务器节点和第二主服务器节点进行相应的环境配置：在第一主服务器集群的第一主服务器节点中安装python2.7.3，且把python2.7设置为环境变量；安装thrift使得thrift支持hbase框架的第一主服务器集群；把gen-py目录复制到python相关目录中，然后启动thrift服务；然后则可在第一主服务器节点和第二主服务器节点中分别安装python语言编写的数据发送装置和数据接收装置。

如图3所示，本发明实施例提供了一种利用本发明任意一个实施例中提供的数据发送装置管理数据的方法，包括：

步骤301，将所述数据发送装置安装于设置在第一指定地点的第一服务器集群的一个第一主服务器节点中，所述第一服务器集群的每一个非主服务器节点均与所述主服务器节点相连；

步骤302，利用时钟模块确定至少一个触发时间点，在每一个所述出发时间点均向所述数据采集模块发送触发指令；

步骤303，利用所述数据采集模块在接收到所述时钟模块发送的触发指令时，采集所述第一服务器集群的每一个服务器节点中存储的业务数据；

步骤304，利用所述数据发送模块将所述数据采集模块采集的所述业务数据发送至数据接收装置，以使所述数据接收装置将所述业务数据同步到设置在第二指定地点的第二服务器集群中。

本发明上述实施例中，通过将该数据发送装置安装在设置于第一指定地点的第一服务器集群的主服务器节点中，则可利用该数据发送装置在各个触发时间点下采集并发送第一服务器集群中存储的业务数据至数据接收装置，使得数据接收装置将业务数据同步到设置在第二指定地点的第二服务器集群中。如此，则实现将第一服务器集群和第二服务器集群之间的数据互通，当设置在第一指定地点的第一服务器集群的各个服务器节点发送宕机时，相应的应用软件则可通过设置在第二指定地点的第二服务器集群来访问相应的业务数据，可提高业务数据的可用性。

本发明一个实施例中，还包括：预先在所述第一服务器集群的第一主服务器节点中设置存储文件；

则，所述利用所述数据采集模块在接收到所述时钟模块发送的触发指令时，采集所述第一服务器集群的每一个服务器节点中存储的业务数据，进一步包括：利用所述数据采集模块将采集的所述业务数据写入所述存储文件；

所述利用数据发送模块将所述数据采集模块采集的所述业务数据发送至数据接收装置，包括：利用数据发送模块读取所述存储文件中存储的业务数据，并发送至数据接收装置。

如图4所示，本发明实施例提供了一种数据接收装置，所述数据接收装置安装于设置在第二指定地点的第二服务器集群的一个第二主服务器节点中，所述第二服务器集群的每一个非主服务器节点均与所述第二主服务器节点相连，包括：数据接收模块401和数据同步模块402；其中，

所述数据接收模块401，用于接收数据发送装置发送的业务数据；

所述数据同步模块402，用于将所述业务数据同步到所述第二服务器集群的各个服务器节点中。

本发明上述实施例中，通过数据接收装置接收数据发送装置发送的设置在第一指定地点的第一服务器集群中存储的业务数据，并同步至设置在第二指定地点的第二服务器集群的各个服务器节点中，当设置在第一指定地点的第一服务器集群的各个服务器节点发生宕机时，相应的应用软件则可通过设置在第二指定地点的第二服务器集群来访问相应的业务数据，可提高业务数据的可用性。

进一步的，为了提高数据同步效率，如图5所示，本发明一个优选实施例中，还包括：第二设置模块501，用于在所述第二服务器节点的第二主服务器节点中设置缓存文件；

所述数据接收模块401，进一步用于将接收的所述业务数据写入所述缓存文件；

所述数据同步模块402，用于根据所述缓存文件中存储的所述业务数据，对所述第二服务器集群的各个服务器节点中存储的业务数据进行相应的业务处理。

本发明上述实施例中，由于数据发送装置在各个设定的触发时间点均会采集并发送第一服务器集群中存储的业务数据，数据接收装置在第一次接收到数据发送装置发送的业务数据时，可直接将接收的业务数据写入第二服务器集群的各个服务器节点中，当数据接收装置第n(n为不小于2的整数)次接收到业务数据时，第二服务器集群中可能已经存储了一部分与第一服务器集群中相同或相似的业务数据，此时，仅需要根据缓存文件中存储的业务数据对第二服务器集群中已经存储的业务数据进行相应的业务数据即可，比如，对第二服务器集群中已经存储的部分业务数据进行删除或修改处理，不再将接收的业务数据直接写入第二服务器集群，可快速实现将第一服务器集群的业务数据同步到第二服务器中，提高数据同步效率。

如图6所示，本发明实施例提供了一种利用本发明任意一个实施例中提供的数据接收装置管理数据的方法，包括：

步骤601，将所述数据接收装置安装于设置在第二指定地点的第二服务器集群的一个第二主服务器节点中，所述第二服务器集群的每一个非主服务器节点均与所述第二主服务器节点相连；

步骤602，利用数据接收模块接收数据发送装置发送的业务数据；

步骤603，利用数据同步模块将所述业务数据同步到所述第二服务器集群的各个服务器节点中。

本发明上述实施例中，通过数据接收装置接收数据发送装置发送的设置在第一指定地点的第一服务器集群中存储的业务数据，并同步至设置在第二指定地点的第二服务器集群的各个服务器节点中，当设置在第一指定地点的第一服务器集群的各个服务器节点发生宕机时，相应的应用软件则可通过设置在第二指定地点的第二服务器集群来访问相应的业务数据，可提高业务数据的可用性。

本发明一个优选实施例中，还包括：预先在所述第二服务器节点的第二主服务器节点中设置缓存文件；

则，所述利用数据接收模块接收数据发送装置发送的业务数据，进一步包括：利用数据接收模块将接收的所述业务数据写入所述缓存文件；

所述利用数据同步模块将所述业务数据同步到所述第二服务器集群的各个服务器节点中，包括：利用数据同步模块根据所述缓存文件中存储的所述业务数据，对所述第二服务器集群的各个服务器节点中存储的业务数据进行相应的业务处理。

如图7所示，本发明实施例提供了一种数据管理系统，包括：第一服务器集群701、第二服务器集群702，以及本发明任意一个实施例中提供的数据发送装置703和数据接收装置704；其中，

所述第一服务器集群701设置在第一指定地点，包括一个第一主服务器7011节点和至少一个非主服务器节点7012；

所述第二服务器集群702设置在第二指定地点，包括一个第二主服务器节点7021和至少一个非主服务器节点7022；

所述数据发送装置703设置在所述第一主服务器节点7011中；

所述数据接收装置704设置在所述第二主服务器节点7021中。

为了更加清楚的说明本发明的技术方案，下面结合本发明实施例提供的数据管理系统，具体以该数据管理系统的第一服务器集群包括第一主服务器节点A和非主服务器节点A1、A2，第二服务器集群包括第二主服务器节点B和非主服务器节点B1、B2为例，实现对业务对相应业务软件对应的业务数据进行管理时，如图8所示，具体可以包括如下各个步骤：

步骤801，在第一指定点设置第一服务器集群，在第二指定地点设置第二服务器集群；以及在第一服务器集群的第一主服务器节点A中安装数据发送装置，在第二服务器集群的第二主服务器节点B中安装数据接收装置。

这里，第一服务器集群的非主服务器节点A1和A2均与A相连，第二服务器集群的非主服务器集节点B1和B2均与B相连。

步骤802，在A中设置存储文件，以及在B中设置缓存文件。

本发明实施例中，A和B可分别设置独立的缓存硬盘，在A的缓存硬盘上构建存储文件，在B的缓存硬盘上构建缓存文件。

步骤803，数据发送装置确定至少一个触发时间点。

具体地，可通过数据发送装置的时钟模块确定至少一个触发时间点，且在每一个触发时间点均向数据采集装置的数据采集模块发送触发指令。

本发明实施例的下述各个步骤中，仅以数据发送装置在一个触发时间点下对应采集的业务数据同步至第二服务器集群为例。

步骤804，针对于一个触发时间点，数据发送装置在当前触发时间点下采集A、A1、A2中存储的业务数据。

举例来说，数据发送装置可通过时钟模块确定多个触发时间点，相邻两个触发时间点之间的时间间隔可以为24小时，时钟模块可在每一个触发时间点下均向数据采集模块发送触发指令，以使数据采集装置在各个触发时间点下均采集当前时间点下A、A1、A2中存储的全部业务数据。

步骤805，数据采集装置将当前触发时间点下采集的业务数据写入设置在A中的存储文件内。

步骤806，数据发送装置在完整采集A、A1、A2中存储的业务数据之后，则可读取存储文件中存储的业务数据，并发送至数据接收装置。

具体地，这里可以由数据发送装置的数据采集模块采集A、A1、A2中存储的业务数据，并写入存储文件，数据采集模块在完整采集A、A1、A2中存储的业务数据之后，则可有数据发送装置的数据发送模块读取并发送存储文件中存储的业务数据至数据接收装置。

本发明实施例中，通过在第一服务器集群的第一主服务器节点中设置存储文件，则可利用存储文件来缓存业务数据，在数据采集模块实现对第一服务器集群的各个服务器节点中存储的业务数据实现完全采集之后，再由数据发送模块将存储文件中存储的业务数据发送至数据接收装置，可确保数据接收装置接收的业务数据具备完整性。

步骤807，数据接收装置接收数据采集装置发送的业务数据，并存储至B中的缓存文件下。

步骤808，数据接收装置在完整接收数据发送装置发送的对应当前触发时间点的全部业务数据之后，判断接收到业务数据的次数是否大于1，如果是，则执行步骤809；否则，执行步骤810。

步骤809，根据缓存文件中存储的业务数据，对B、B1和B2中已经存储的业务数据进行相应的业务数据。

具体地，则仅需要根据缓存文件中存储的业务数据对B、B1和B2中存储的相应业务数据进行删除或修改即可。

步骤810，将缓存文件中存储的业务数据存储至B、B1或B2中。

本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行本发明任意一个实施例中提供的数据管理方法。

上述步骤807至步骤810中，由于数据发送装置在各个设定的触发时间点均会采集并发送第一服务器集群中存储的业务数据，数据接收装置在第一次接收到数据发送装置发送的业务数据时，可直接将接收的业务数据写入第二服务器集群的各个服务器节点中，当数据接收装置第n(n为不小于2的整数)次接收到业务数据时，第二服务器集群中可能已经存储了一部分与第一服务器集群中相同或相似的业务数据，此时，仅需要根据缓存文件中存储的业务数据对第二服务器集群中已经存储的业务数据进行相应的业务数据即可，比如，对第二服务器集群中已经存储的部分业务数据进行删除或修改处理，不再将接收的业务数据直接写入第二服务器集群，可快速实现将第一服务器集群的业务数据同步到第二服务器中，提高数据同步效率。

本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；

所述处理器和所述存储器通过所述总线连接；

所述存储器，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行本发明任意一个实施例中提供的数据管理方法。

综上所述，本发明各个实施例至少具有如下有益效果：

1、本发明一实施例中，数据发送装置安装在设置于第一指定地点的第一服务器集群的主服务器节点中，可在各个触发时间点下采集并发送第一服务器集群中存储的业务数据至数据接收装置，使得数据接收装置将业务数据同步到设置在第二指定地点的第二服务器集群中。如此，则实现将第一服务器集群和第二服务器集群之间的数据互通，当设置在第一指定地点的第一服务器集群的各个服务器节点发送宕机时，相应的应用软件则可通过设置在第二指定地点的第二服务器集群来访问相应的业务数据，可提高业务数据的可用性。

2、本发明一实施例中，通过在第一服务器集群的第一主服务器节点中设置存储文件，则可利用存储文件来缓存业务数据，在数据采集模块实现对第一服务器集群的各个服务器节点中存储的业务数据实现完全采集之后，再由数据发送模块将存储文件中存储的业务数据发送至数据接收装置，可确保数据接收装置接收的业务数据具备完整性。

3、本发明一实施例中，当数据接收装置第n(n为不小于2的整数)次接收到业务数据时，第二服务器集群中可能已经存储了一部分与第一服务器集群中相同或相似的业务数据，此时，仅需要根据缓存文件中存储的业务数据对第二服务器集群中已经存储的业务数据进行相应的业务数据即可，比如，对第二服务器集群中已经存储的部分业务数据进行删除或修改处理，不再将接收的业务数据直接写入第二服务器集群，可快速实现将第一服务器集群的业务数据同步到第二服务器中，提高数据同步效率。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃·····”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。