分布式数据系统的数据采集方法及分布式数据系统的制作方法
【专利摘要】本发明公开了一种数据采集方法和分布式数据系统，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，该数据采集方法包括：管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行；当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。本发明提高了数据中心执行数据采集任务的稳定性，进而保证了采集的目标数据的采集过程顺畅，保证了采集的目标数据的完整性。
【专利说明】
分布式数据系统的数据采集方法及分布式数据系统
技术领域
[0001]本发明涉及分布式系统技术领域，尤其涉及一种分布式数据系统的数据采集方法及分布式数据系统。
【背景技术】
[0002]现实中，每时每刻都产生大量的数据，有些需要分析，有些需要存储，所有的这些需要处理的数据数量是庞大，具有相似性的，所以需要对这些大数据进行分析处理，采集需要的数据。
[0003]在现有技术中，一般是数据中心基于数据采集机对远程终端生成的目标数据(例如性能数据、告警数据、流量数据、业务数据等)进行采集，数据采集机的可靠性是采集完整的目标数据、减少人工检查目标数据完备性工作量的重要前提和保证;但是，由于目前的数据采集机本身是不可靠的，当数据采集机发生故障时，将会造成数据采集过程缓慢或中断，容易引起采集的目标数据出现严重不完整的技术问题。
【发明内容】
[0004]本发明的主要目的在于提供一种分布式数据系统的数据采集方法及分布式数据系统，旨在解决现有技术容易出现采集的目标数据出现严重不完整的技术问题的技术问题。
[0005]为实现上述目的，本发明提供的一种分布式数据系统的数据采集方法，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，
[0006]该分布式数据系统的数据采集方法包括:
[0007]管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；
[0008]当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；
[0009]新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提不O
[0010]优选地，所述新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示的步骤包括:
[0011]新的管理数据中心使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；
[0012]若未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则复位重启所述发生故障的数据中心；
[0013]若检测到复位重启后的发生故障的数据中心发送的响应消息，则判定所述发生故障的数据中心发生软件失效，输出第一事件提示；
[0014]若未检测到复位重启后的发生故障的数据中心发送的响应消息，则判定所述发生故障的数据中心发生硬件失效，输出第二事件提示。
[0015]优选地，所述管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行的步骤包括:
[0016]管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行；
[0017]管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；
[0018]管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务。
[0019]优选地，所述管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务的步骤包括:
[0020]管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；
[0021]管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值；
[0022]若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。
[0023]优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，
[0024]所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括:
[0025]管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；
[0026]管理数据中心将所述待分配任务再分配给极小辅助数据中心。
[0027]本发明还提供一种分布式数据系统，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心，
[0028]所述管理数据中心包括:
[0029]动态分配模块，用于将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；
[0030]替换模块，用于当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；
[0031]修复模块，用于在成为新的管理数据中心时，对发生故障的数据中心进行修复，并向预设维护端输出事件提示；
[0032]所述辅助数据中心接收并执行管理数据中心分配的数据采集任务。
[0033]优选地，所述修复模块模块包括:
[0034]数据修复单元，用于在成为新的管理数据中心时，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；
[0035]硬件修复单元，用于在未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息时，复位重启所述发生故障的数据中心；
[0036]第一提示单元，用于在检测到复位重启后的发生故障的数据中心发送的响应消息时，判定所述发生故障的数据中心发生软件失效，输出第一事件提示；
[0037]第二提示单元，用于在未检测到复位重启后的发生故障的数据中心发送的响应消息时，判定所述发生故障的数据中心发生硬件失效，输出第二事件提示。
[0038]优选地，所述动态分配模块包括:
[0039]平均分配单元，用于将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行；
[0040]负荷获取单元，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷，其中辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷；
[0041]动态调节单元，用于根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务。
[0042]优选地，所述动态调节单元包括:
[0043]筛选子单元，用于根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；
[0044]差值计算子单元，用于计算所述极大硬件负荷与极小硬件负荷的负荷差值；
[0045]回收分配子单元，用于在所述负荷差值大于负荷阈值时，则从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。
[0046]优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，
[0047]所述回收分配子单元还用于:
[0048]从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；
[0049]将所述待分配任务再分配给极小辅助数据中心。
[0050]本发明通过管理数据中心将数据采集任务动态分配给各个辅助数据中心执行处理，当管理数据中心发生故障时，根据预存的替换者信息，将该替换者信息对应的辅助数据中心作为新的数据中心，然后新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示，从而避免因管理数据中心发生故障，出现两台管理数据中心或无管理数据中心的情形而影响数据采集任务的执行和分配，进而数据采集任务能够顺利执行，提高了数据中心执行数据采集任务的稳定性，进而保证了采集的目标数据的采集过程顺畅，保证了采集的目标数据的完整性。
【附图说明】
[0051]图1为本发明分布式数据系统的数据采集方法第一实施例的流程示意图；
[0052]图2为本发明分布式数据系统的数据采集方法第二实施例中当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心的步骤的细化流程示意图；
[0053]图3为本发明分布式数据系统的数据采集方法第三实施例中管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行的步骤的细化流程示意图；
[0054]图4为本发明分布式数据系统的数据采集方法第四实施例中管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务的步骤的细化流程示意图；
[0055]图5为本发明分布式数据系统的数据采集方法第五实施例中若负荷差值大于负荷阈值，则管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤的细化流程示意图；
[0056]图6为本发明分布式数据系统第一实施例的系统框架示意图；
[0057]图7为本发明分布式数据系统第二实施例中管理数据中心修复模块模块的细化功能丰旲块不意图；
[0058]图8为本发明分布式数据系统第三实施例中管理数据中心的动态分配模块的细化功能t旲块不意图；
[0059]图9为本发明分布式数据系统第四实施例中管理数据中心的动态调节单元的细化功能t旲块不意图。
[0060]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0061]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0062]本发明提供一种分布式数据系统的数据采集方法(以下简称数据采集方法)，在本发明数据采集方法的第一实施例中，参照图1和图6，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心100和辅助数据中心100，可将最早启动数据采集进程的数据中心作为管理数据中心100，分布式数据系统中其它数据中心作为辅助数据中心110，
[0063]该数据采集方法包括:
[0064]步骤S10，管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；
[0065]分布式数据系统中的各个数据中心之间的通讯结构可为星型、网型等，优选地，各个数据中心与一网络互联设备200(如交换机、集线器等)连接，下属各个远程终端300也与网络互联设备200连接，本发明引进数据采集进程用以管理数据中心100进行数据采集的过程，每个数据中心上都运行一个数据采集进程，某一数据中心的管理进程启动时，若发现其它数据中心没有数据采集进程在运行，则该数据采集进程作为主数据采集进程，从而主数据采集进程对应的数据中心作为管理数据中心100，其它数据中心则作为辅助数据中心110，辅助数据中心110上运行的数据采集进程作为从数据采集进程;此处管理数据中心100和辅助数据中心110只是进程的主辅关系，每个数据中心上处理的数据采集任务没有主辅之分。
[0066]管理数据中心100对应一个远程终端300—个数据采集任务，将采集各远程终端300上传数据的数据采集任务动态分配给各个辅助数据中心110执行，此处的动态分配可以理解为:为每个辅助数据中心110分配平均数个数据采集任务，其中平均数为数据采集任务总数除以数据中心总数；当然，平均分配也可以是其它方式，只要大致实现将数据采集任务均为到各个辅助数据中心110即可，例如逐个将数据采集任务随机分配到各个辅助数据中心 IlOo
[0067]步骤S20，当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；
[0068]在数据中心被作为管理数据中心100时，该管理数据中心100中保存有替换者信息(即替换数据中心的信息)，当管理数据中心100发生故障时，直接提取当前管理数据中心100中的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100，避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配。此外，需说明的是，发生故障的管理数据中心100在被取消作为管理数据中心100时会释放自己处理的数据采集任务，新的管理数据中心100回收上一届管理数据中心100释放的数据采集任务以再次分配给辅助数据中心110。
[0069]步骤S30，新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。
[0070]新的管理数据中心100对发生故障的数据中心(即前一届的管理数据中心)进行修复，该修复包括软件修复和/或硬件修复，并向预设的维护端输出事件提示，以告知系统维护人员故障情况。
[0071]在本实施例中，通过管理数据中心100将数据采集任务动态分配给各个辅助数据中心执行处理，当管理数据中心100发生故障时，根据预存的替换者信息，将该替换者信息对应的辅助数据中心110作为新的数据中心，然后新的管理数据中心100对发生故障的数据中心进行修复，并向预设维护端输出事件提示，从而避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配，进而数据采集任务能够顺利执行，提高了数据中心执行数据采集任务的稳定性，进而保证了采集的目标数据的采集过程顺畅，保证了采集的目标数据的完整性。
[0072]进一步地，在本发明数据采集方法第一实施例的基础上，提出数据采集方法第二实施例，参照图2，在第二实施例中，步骤S30包括:
[0073]步骤S31，新的管理数据中心使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；
[0074]步骤S32，若未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则复位重启发生故障的数据中心；
[0075]步骤S33，若检测到复位重启后的发生故障的数据中心发送的响应消息，则判定发生故障的数据中心发生软件失效，输出第一事件提示；
[0076]步骤S34，若未检测到复位重启后的发生故障的数据中心发送的响应消息，则判定发生故障的数据中心发生硬件失效，输出第二事件提示。
[0077]数据中心的程序内容一般是固定不变的，在确定管理数据中心发生故障之后，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复，若发生故障的数据中心在基于正确程序内容进行数据修复后，能够向当前的管理数据中心发送响应消息，即管理数据中心检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则判定发生故障的数据中心发生软件失效，向维护终端输出第一事件提示，该第一事件提示用于向维护终端报告发生故障的数据中心是程序软件失效，提示维护人员注意对发生故障的数据中心进行软件方面的维护，从而为维护人员提供较为准确的故障检测结果，以及自动解决发生故障的数据中心软件方面的失效问题。
[0078]在对发生故障的数据中心进行软件数据修复之后，若还是未检测到未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，此时可推测发生故障的数据中心出现硬件上问题，则复位并重启失效数据节点；若检测到复位重启后的发生故障的数据中心发送的响应消息，表明发生故障的数据中心内部软件程序在运行上出了问题，则判定发生故障的数据中心发生软件失效，输出第一事件提示;若还是未检测到复位重启后的发生故障的数据中心发送的响应消息，即对发生故障的数据中心进行数据修复和复位重启之后，发生故障的数据中心还是不能正常发送响应消息，则判定发生故障的数据中心发生硬件失效，输出第二事件提示，该第二事件提示用于向维护终端报告发生故障的数据中心是存储设备硬件失效，提示维护人员注意对发生故障的数据中心进行硬件方面的维护，从而为维护人员提供较为准确的故障检测结果，以便维护人员及时准备数据中心硬件维护所需的工具和耗材。
[0079]进一步地，在本发明数据采集方法第二实施例的基础上，提出数据采集方法第三实施例，参照图3，在第三实施例中，步骤SlO包括:
[0080]步骤Sll，管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行；
[0081]步骤S12，管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷；
[0082]步骤S13，管理数据中心根据参考硬件负荷，动态调整各个辅助数据中心执行的数据米集任务。
[0083]数据中心在执行对数据采集任务之前，是无法知晓哪个数据采集任务比较费时、哪个数据采集任务比较简单的，并各个数据中心的硬件处理能力也不尽相同，所以各数据中心(包括管理数据中心和辅助管理中心)因处理数据采集任务所产生的硬件负荷不可能持续保持均衡，所以需进一步动态调整。
[0084]硬件负荷可包括CPU负荷、内存负荷等中一项或多项，优先选择CPU负荷作为硬件负荷，数据中心对数据采集任务的处理时间越长，则硬件负荷越高，管理数据中心每间隔预设时长(例如3分钟)获取一次各辅助数据中心的硬件负荷(即参考硬件负荷)，然后管理数据中心根据各个辅助数据中心的参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，其中硬件负荷高的辅助数据中心的数据采集任务向硬件负荷低的辅助数据中心转移。
[0085]在本实施例中，通过确定管理数据中心，并且管理数据中心先将数据采集任务平均分配到辅助数据中心，然后获取各个辅助数据中心的参考硬件负荷，最后根据参考硬件负荷，动态调整各个辅助数据中心的数据采集任务，以实现各个辅助数据中心的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。
[0086]进一步地，在本发明数据采集方法第三实施例的基础上，提出数据采集方法第四实施例，参照图4，在第四实施例中，步骤SI3包括:
[0087]步骤S131，管理数据中心根据参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；
[0088]步骤S132，管理数据中心计算极大硬件负荷与极小硬件负荷的负荷差值；
[0089]步骤S133，若负荷差值大于负荷阈值，则管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。
[0090]管理数据中心比对各个辅助数据中心的硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最小的极小辅助数据中心，管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，回收的数据采集任务数目根据最高硬件负荷和最小硬件负荷决定。管理数据中心计算极大硬件负荷与极小硬件负荷的负荷差值，即负荷差值=极大硬件负荷-极小硬件负荷，预设负荷阈值，比较负荷差值与负荷阈值，若负荷差值大于负荷阈值，表明极大辅助数据中心的硬件负荷与极小辅助数据中心的硬件负荷相差较大，硬件负荷不均现象较为严重，所以管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心以缓和硬件负荷分布不均的问题;若负荷差值小于负荷阈值，表明极大辅助数据中心的硬件负荷与极小辅助数据中心的硬件负荷相差较小，硬件负荷分布较为均衡，无需进行硬件负荷调整，从而只在硬件负荷分布不均较为严重时，才进行对应的数据采集任务的调整，提高了数据采集任务调整的准确性和及时性，避免极大辅助数据中心硬件负荷过高而导致处理速度过慢、甚至死机，同时避免极小辅助数据中心硬件负荷过小而导致硬件资源的浪费。
[0091]进一步地，在本发明数据采集方法第三实施例的基础上，提出数据采集方法第四实施例，参照图5，在第四实施例中，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，
[0092]步骤S133包括:
[0093]步骤S1331，若负荷差值大于负荷阈值，管理数据中心从极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；
[0094]步骤S1332，管理数据中心将待分配任务再分配给极小辅助数据中心。
[0095]在管理数据中心赋予每一个数据采集任务一个调整次数统计值，在对数据采集任务进行一次回收和再分配时，对该数据采集任务的调整次数加一，即一个数据采集任务被回收和再分配一次其调整次数自加一。
[0096]在本实施例中，在管理数据中心回收数据采集任务时，仅回收调整次数小于次数阈值的数据采集任务(即待分配任务)，然后将待分配任务再次分配到极小辅助数据中心，即在某一数据采集任务的调整次数大于次数阈值时，则该数据采集任务不会再被回收再分配，直到对应辅助数据中心执行完该数据采集任务，从而避免一个数据采集任务多次在辅助数据中心之间回收和再分配，而无法及时得到执行。
[0097]本发明还提供一种分布式数据系统，在分布式数据系统第一实施例中，参照图6，分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心100和辅助数据中心100，可将最早启动数据采集进程的数据中心作为管理数据中心100，分布式数据系统中其它数据中心作为辅助数据中心110，
[0098]管理数据中心100包括:
[0099]动态分配模块10，用于将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务；
[0100]分布式数据系统中的各个数据中心之间的通讯结构可为星型、网型等，优选地，各个数据中心与一网络互联设备200(如交换机、集线器等)连接，下属各个远程终端300也与网络互联设备200连接，本发明引进数据采集进程用以管理数据中心100进行数据采集的过程，每个数据中心上都运行一个数据采集进程，某一数据中心的管理进程启动时，若发现其它数据中心没有数据采集进程在运行，则该数据采集进程作为主数据采集进程，从而主数据采集进程对应的数据中心作为管理数据中心100，其它数据中心则作为辅助数据中心110，辅助数据中心110上运行的数据采集进程作为从数据采集进程;此处管理数据中心100和辅助数据中心110只是进程的主辅关系，每个数据中心上处理的数据采集任务没有主辅之分。
[0101]管理数据中心100对应一个远程终端300—个数据采集任务，动态分配模块10将采集各远程终端300上传数据的数据采集任务动态分配给各个辅助数据中心110执行，此处的动态分配可以理解为:为每个辅助数据中心110分配平均数个数据采集任务，其中平均数为数据采集任务总数除以数据中心总数；当然，平均分配也可以是其它方式，只要大致实现将数据采集任务均为到各个辅助数据中心110即可，例如逐个将数据采集任务随机分配到各个辅助数据中心110。
[0102]替换模块20，用于当管理数据中心发生故障，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心；
[0103]在数据中心被作为管理数据中心100时，该管理数据中心100中保存有替换者信息(即替换数据中心的信息)，当管理数据中心100发生故障时，替换模块20直接提取当前管理数据中心100中的替换者信息，并将替换者信息对应的辅助数据中心110作为新的管理数据中心100，避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配。此外，需说明的是，发生故障的管理数据中心100在被取消作为管理数据中心100时会释放自己处理的数据采集任务，新的管理数据中心100回收上一届管理数据中心100释放的数据采集任务以再次分配给辅助数据中心110。
[0104]修复模块30，用于在成为新的管理数据中心时，对发生故障的数据中心进行修复，并向预设维护端输出事件提示；
[0105]辅助数据中心110接收并执行管理数据中心分配的数据采集任务。
[0106]新的管理数据中心100的修复模块30对发生故障的数据中心(即前一届的管理数据中心)进行修复，该修复包括软件修复和/或硬件修复，并向预设的维护端输出事件提示，以告知系统维护人员故障情况。
[0107]在本实施例中，通过动态分配模块10将数据采集任务动态分配给各个辅助数据中心执行处理，当管理数据中心100发生故障时，替换模块20根据预存的替换者信息，将该替换者信息对应的辅助数据中心110作为新的数据中心，然后新的管理数据中心100修复模块30对发生故障的数据中心进行修复，并向预设维护端输出事件提示，从而避免因管理数据中心100发生故障，出现两台管理数据中心100或无管理数据中心100的情形而影响数据采集任务的执行和分配，进而数据采集任务能够顺利执行，提高了数据中心执行数据采集任务的稳定性，进而保证了采集的目标数据的采集过程顺畅，保证了采集的目标数据的完整性。
[0108]进一步地，在本发明分布式数据系统第一实施例的基础上，提出分布式数据系统第二实施例，参照图7，在第二实施例中，修复模块模块30包括:
[0109]数据修复单元31，用于在成为新的管理数据中心时，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复；
[0110]硬件修复单元32，用于在未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息时，复位重启发生故障的数据中心；
[0111]第一提示单元33，用于在检测到复位重启后的发生故障的数据中心发送的响应消息时，判定发生故障的数据中心发生软件失效，输出第一事件提示；
[0112]第二提示单元34，用于在未检测到复位重启后的发生故障的数据中心发送的响应消息时，判定发生故障的数据中心发生硬件失效，输出第二事件提示。
[0113]数据中心的程序内容一般是固定不变的，在确定管理数据中心发生故障之后，数据修复单元31使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复，若发生故障的数据中心在基于正确程序内容进行数据修复后，能够向当前的管理数据中心发送响应消息，即管理数据中心检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则第一提示单元33判定发生故障的数据中心发生软件失效，向维护终端输出第一事件提示，该第一事件提示用于向维护终端报告发生故障的数据中心是程序软件失效，提示维护人员注意对发生故障的数据中心进行软件方面的维护，从而为维护人员提供较为准确的故障检测结果，以及自动解决发生故障的数据中心软件方面的失效问题。
[0114]在对发生故障的数据中心进行软件数据修复之后，若还是未检测到未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，此时可推测发生故障的数据中心出现硬件上问题，则硬件修复单元32复位并重启失效数据节点；若检测到复位重启后的发生故障的数据中心发送的响应消息，表明发生故障的数据中心内部软件程序在运行上出了问题，则第一提示单元33判定发生故障的数据中心发生软件失效，输出第一事件提示；若还是未检测到复位重启后的发生故障的数据中心发送的响应消息，即对发生故障的数据中心进行数据修复和复位重启之后，发生故障的数据中心还是不能正常发送响应消息，则第二提示单元34判定发生故障的数据中心发生硬件失效，输出第二事件提示，该第二事件提示用于向维护终端报告发生故障的数据中心是存储设备硬件失效，提示维护人员注意对发生故障的数据中心进行硬件方面的维护，从而为维护人员提供较为准确的故障检测结果，以便维护人员及时准备数据中心硬件维护所需的工具和耗材。
[0115]进一步地，在本发明分布式数据系统第二实施例的基础上，提出分布式数据系统第三实施例，参照图8，在第三实施例中，
[0116]动态分配模块10包括:
[0117]平均分配单元11，用于将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行；
[0118]负荷获取单元12，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷，其中辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷；
[0119]动态调节单元13，用于根据参考硬件负荷，动态调整各个辅助数据中心执行的数据米集任务。
[0120]数据中心在执行对数据采集任务之前，是无法知晓哪个数据采集任务比较费时、哪个数据采集任务比较简单的，并各个数据中心的硬件处理能力也不尽相同，所以各数据中心(包括管理数据中心和辅助管理中心)因处理数据采集任务所产生的硬件负荷不可能持续保持均衡，所以需动态分配模块10进一步动态调整。
[0121]硬件负荷可包括CPU负荷、内存负荷等中一项或多项，优先选择CPU负荷作为硬件负荷，数据中心对数据采集任务的处理时间越长，则硬件负荷越高，负荷获取单元12每间隔预设时长(例如3分钟)获取一次各辅助数据中心的硬件负荷(即参考硬件负荷)，然后动态调节单元13根据各个辅助数据中心的参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务，其中硬件负荷高的辅助数据中心的数据采集任务向硬件负荷低的辅助数据中心转移。
[0122]在本实施例中，通过确定管理数据中心，并且平均分配单元11先将数据采集任务平均分配到辅助数据中心，然后负荷获取单元12获取各个辅助数据中心的参考硬件负荷，最后动态调节单元13根据参考硬件负荷，动态调整各个辅助数据中心的数据采集任务，以实现各个辅助数据中心的负载动态均衡，从而充分利用多个数据中心的硬件资源和网络带宽，并行地处理多个远程终端的数据采集任务，从而加快了数据采集任务的处理速度，数据中心能够及时采集所需的目标数据，避免因目标数据采集不及时所导致的目标数据采集不完整的问题。
[0123]进一步地，在本发明分布式数据系统第三实施例的基础上，提出分布式数据系统第四实施例，动态调节单元13包括:
[0124]筛选子单元131，用于根据参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷；
[0125]差值计算子单元132，用于计算极大硬件负荷与极小硬件负荷的负荷差值；
[0126]回收分配子单元133，用于在负荷差值大于负荷阈值时，则从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。
[0127]筛选子单元131比对各个辅助数据中心的硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最小的极小辅助数据中心，管理数据中心从极大辅助数据中心回收一个或多个数据采集任务，回收的数据采集任务数目根据最高硬件负荷和最小硬件负荷决定。差值计算子单元132计算极大硬件负荷与极小硬件负荷的负荷差值，S卩负荷差值=极大硬件负荷-极小硬件负荷，预设负荷阈值，比较负荷差值与负荷阈值，若负荷差值大于负荷阈值，表明极大辅助数据中心的硬件负荷与极小辅助数据中心的硬件负荷相差较大，硬件负荷不均现象较为严重，所以回收分配子单元133从极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心以缓和硬件负荷分布不均的问题;若负荷差值小于负荷阈值，表明极大辅助数据中心的硬件负荷与极小辅助数据中心的硬件负荷相差较小，硬件负荷分布较为均衡，无需进行硬件负荷调整，从而只在硬件负荷分布不均较为严重时，才进行对应的数据采集任务的调整，提高了数据采集任务调整的准确性和及时性，避免极大辅助数据中心硬件负荷过高而导致处理速度过慢、甚至死机，同时避免极小辅助数据中心硬件负荷过小而导致硬件资源的浪费。
[0128]优选地，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数，
[0129]回收分配子单元133还用于:
[0130]若负荷差值大于负荷阈值，从极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务；
[0131 ]将待分配任务再分配给极小辅助数据中心。
[0132]在管理数据中心赋予每一个数据采集任务一个调整次数统计值，在对数据采集任务进行一次回收和再分配时，对该数据采集任务的调整次数加一，即一个数据采集任务被回收和再分配一次其调整次数自加一。
[0133]在本实施例中，在管理数据中心回收数据采集任务时，回收分配子单元133仅回收调整次数小于次数阈值的数据采集任务(即待分配任务)，然后将待分配任务再次分配到极小辅助数据中心，即在某一数据采集任务的调整次数大于次数阈值时，则该数据采集任务不会再被回收再分配，直到对应辅助数据中心执行完该数据采集任务，从而避免一个数据采集任务多次在辅助数据中心之间回收和再分配，而无法及时得到执行。
[0134]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，月艮务器，空调器，或者网络设备等)执行本发明各个实施例的方法。
[0135]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种分布式数据系统的数据采集方法，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心， 该分布式数据系统的数据采集方法包括: 管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务； 当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心； 新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示。2.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，所述新的管理数据中心对发生故障的数据中心进行修复，并向预设维护端输出事件提示的步骤包括: 新的管理数据中心使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复； 若未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息，则复位重启所述发生故障的数据中心； 若检测到复位重启后的发生故障的数据中心发送的响应消息，则判定所述发生故障的数据中心发生软件失效，输出第一事件提示； 若未检测到复位重启后的发生故障的数据中心发送的响应消息，则判定所述发生故障的数据中心发生硬件失效，输出第二事件提示。3.如权利要求1或2所述的分布式数据系统的数据采集方法，其特征在于，所述管理数据中心将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行的步骤包括: 管理数据中心将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行； 管理数据中心每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷； 管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务。4.如权利要求1所述的分布式数据系统的数据采集方法，其特征在于，所述管理数据中心根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据采集任务的步骤包括: 管理数据中心根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷； 管理数据中心计算所述极大硬件负荷与极小硬件负荷的负荷差值； 若所述负荷差值大于负荷阈值，则管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。5.如权利要求4所述的分布式数据系统的数据采集方法，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数， 所述管理数据中心从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心的步骤包括: 管理数据中心从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务； 管理数据中心将所述待分配任务再分配给极小辅助数据中心。6.—种分布式数据系统，其特征在于，所述分布式数据系统包括多个相互通信连接的数据中心和各个数据中心下属的远程终端，数据中心包括管理数据中心和辅助数据中心， 所述管理数据中心包括: 动态分配模块，用于将采集各个远程终端上传数据的数据采集任务动态分配给各个辅助数据中心执行，其中一个远程终端对应一个数据采集任务； 替换模块，用于当管理数据中心发生故障时，提取当前管理数据中心运行中生成的替换者信息，并将替换者信息对应的辅助数据中心作为新的管理数据中心； 修复模块，用于在成为新的管理数据中心时，对发生故障的数据中心进行修复，并向预设维护端输出事件提示； 所述辅助数据中心接收并执行管理数据中心分配的数据采集任务。7.如权利要求6所述的分布式数据系统，其特征在于，所述修复模块模块包括: 数据修复单元，用于在成为新的管理数据中心时，使用预存的正确程序内容对发生故障的数据中心的程序内容进行数据修复； 硬件修复单元，用于在未检测到发生故障的数据中心基于进行数据修复后的程序发送的响应消息时，复位重启所述发生故障的数据中心； 第一提示单元，用于在检测到复位重启后的发生故障的数据中心发送的响应消息时，判定所述发生故障的数据中心发生软件失效，输出第一事件提示； 第二提示单元，用于在未检测到复位重启后的发生故障的数据中心发送的响应消息时，判定所述发生故障的数据中心发生硬件失效，输出第二事件提示。8.如权利要求6或7所述的分布式数据系统，其特征在于，所述动态分配模块包括: 平均分配单元，用于将采集各个远程终端上传数据的数据采集任务平均分配给各个辅助数据中心执行； 负荷获取单元，用于每间隔预设时长获取一次各个辅助数据中心处理数据采集任务的硬件负荷，将该硬件负荷作为参考硬件负荷，其中辅助数据中心每间隔预设时长向当前的管理数据中心发送当前处理数据采集任务的硬件负荷； 动态调节单元，用于根据所述参考硬件负荷，动态调整各个辅助数据中心执行的数据米集任务。9.如权利要求8所述的分布式数据系统，其特征在于，所述动态调节单元包括: 筛选子单元，用于根据所述参考硬件负荷，选出硬件负荷最高的极大辅助数据中心和硬件负荷最低的极小辅助数据中心，其中将极大辅助数据中心的硬件负荷作为极大硬件负荷，将极小辅助数据中心的硬件负荷作为极小硬件负荷； 差值计算子单元，用于计算所述极大硬件负荷与极小硬件负荷的负荷差值； 回收分配子单元，用于在所述负荷差值大于负荷阈值时，则从所述极大辅助数据中心回收一个或多个数据采集任务，并将回收的数据采集任务再分配给极小辅助数据中心。10.如权利要求9所述的分布式数据系统，其特征在于，管理数据中心统计每个数据采集任务经历回收和再分配的调整次数， 所述回收分配子单元还用于: 从所述极大辅助数据中心回收一个或多个调整次数小于次数阈值的数据采集任务，将该数据采集任务作为待分配任务； 将所述待分配任务再分配给极小辅助数据中心。
【文档编号】H04L12/24GK106027298SQ201610340902
【公开日】2016年10月12日
【申请日】2016年5月20日
【发明人】张锐
【申请人】深圳市永兴元科技有限公司