大数据集群的检测方法及装置、电子设备及存储介质与流程

本申请涉及电子信息领域，尤其涉及一种大数据集群的检测方法及装置、电子设备及存储介质。

背景技术：

随着大数据技术的发展，越来越多的大数据集群(例如，greenplum。以及hadoop等大数据集群)用于处理企业的业务。但是，目前对大数据集群的进行检测，无法检测大数据集群出现运行停止的情况，只有在用户办理业务无法使用大数据集群的情况下，才能发现大数据集群停止运行，这极大的影响了企业业务处理的效率。

技术实现要素：

发明人经研究发现，大数据集群停止运行的情况下，常常无法访问该大数据集群，或者访问进入后，大数据集群无法完成正常业务数据处理的检测任务，基于此，本申请提供了一种大数据集群的检测方法及装置、电子设备及存储介质，目的在于解决如何及时发现大数据集群停止运行的问题。

一种大数据集群的检测方法，包括：

获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；

依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；

若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。

上述的方法，可选的，发出所述预警通知，包括：

在无法访问所述大数据集群、所述第一时长内无法访问所述大数据集群、所述大数据集群的所述业务数据处理的时长大于所述第二时长，或者，所述大数据集群无法进行所述业务数据处理的情况下，生成预设的用于表征所述大数据集群停止运行的检测结果信息；

将所述检测结果信息输出至检测日志文件；

触发预设的预警工具读取所述检测日志文件，并将所述检测结果信息预对应的预警信息发送至预设的用户通信号，以提示所述大数据集群停止运行。

上述的方法，可选的，所述获取大数据集群的检测文件，包括：

按照预设的检测配置文件中指定的检测时间点，获取所述检测时间点预设对应的大数据集群的检测文件，其中，检测配置文件中包括，所述检测时间点与所述大数据集群的对应关系，所述检测时间点与所述大数据集群对应为，在所述检测时间点，检测所述大数据集群。

上述的方法，可选的，还包括，若业务数据处理的时长小于所述第二时长，则确定所述大数据集群处于运行状态。

上述的方法，可选的，所述访问信息至少包括：

所述大数据集群的ip地址、所述大数据集群的标识、以及所述大数据集群的访问密码；

所述访问所述大数据集群，包括：基于所述访问信息，访问所述大数据集群的主机节点。

上述的方法，可选的，所述检测文件还包括第三检测文件，所述第三检测文件包括检测所述大数据集群中各个节点的运行状态的执行语句，所述第三检测文件用于检测所述大数据集群中所有节点的运行状态。

上述的方法，可选的，还包括，响应于用户输入的新增检测文件的指令，获取新增的检测文件，以及所述新增的检测文件携带的标识，依据所述标识，确定所述新增的检测文件对应的所述大数据集群，所述检测文件与所述大数据集群对应，为采用所述检测文件对所述大数据集群进行检测。

一种大数据集群的检测装置，包括：

获取单元，用于获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；

访问单元，用于依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；

处理单元，用于若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。

一种电子设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的大数据集群的检测的方法。

一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求上述的大数据集群的检测的方法。

本申请所述的方法及装置，获取大数据集群的检测文件，检测文件至少第一检测文件和第二检测文件；第一检测文件包括访问大数据集群的访问信息；第二检测文件包括基于大数据集群进行业务数据处理的执行语句；依据第一检测文件访问大数据集群，若无法访问大数据集群或在第一时长内无法访问大数据集群，则说明大数据集群停止运行，则发出预警通知，从而可以使及时发现大数据集群停止运行的问题；若在第一时长范围内访问至大数据集群，但依据第二检测文件，对大数据集群进行业务数据处理；业务数据处理的时长大于第二时长，或无法进行业务数据处理，则说明大数据集群停止运行，则发出预警通知，从而可以及时的发现大数据集群停止运行的问题，综上，本申请提供的方法，可以及时的发现大数据集群停止运行的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据集群的检测方法的流程图；

图2为本申请实施例提供的大数据集群检测平台的架构图；

图3为本申请实施例提供的一种数据集群的检测装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

目前，越来越多的企业应用大数据集群进行业务数据的处理，但是目前无法检测大数据集群出现运行停止的情况，只有在用户办理业务无法使用大数据集群的情况下，才能发现大数据集群停止运行，这极大的影响了企业业务处理的效率。

发明人经研究发现，大数据集群停止运行的情况下，常常无法访问该大数据集群，或者访问进入后，大数据集群无法完成正常业务数据处理的检测任务，基于此，本申请提供一种大数据集群的检测方法，目的在于，通过访问大数据集群，以及对大数据集群进行业务数据处理的检测任务，以判断大数据集群是否处于运行状态，并在判断出大数据集群处于停止运行状态的情况下，发出预警通知，使能够及时的发现大数据集群的异常。

需要说明的是，本申请中，大数据集群处于运行状态，指的是大数据集群具有正常的处理业务数据的能力，大数据集群处于停止运行状态，指的是大数据集群中业务数据处理进程处于停止的状态，无法对外进行数据处理服务。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种大数据集群的检测方法，可以包括以下步骤：

s101、获取大数据集群的检测文件。

本实施例中，检测文件至少包括第一检测文件和第二检测文件；第一检测文件包括访问大数据集群的访问信息；第二检测文件包括基于大数据集群进行业务数据处理的执行语句。

其中，访问信息包括：大数据集群的ip地址、大数据集群的标识、以及大数据集群的访问密码。大数据集群的标识可以是集群用户名。

本步骤的具体实施方式可以是：按照预设的检测配置文件中指定的检测时间点，定时的获取检测时间点预设对应的大数据集群的检测文件。

其中，检测配置文件中包括，检测时间点与大数据集群的对应关系，检测时间点与大数据集群对应为，在检测时间点检测该大数据集群。

s102、依据第一检测文件，访问大数据集群。

具体为，采用大数据集群的ip地址、大数据集群的标识、以及大数据集群的访问密码，访问大数据集群的主机节点。

s103、判断在第一时长内是否访问至大数据集群，或者是否无法访问大数据集群。若在第一时长内访问至大数据集群，则执行s104。如果在第一时长内无法访问至大数据集群，或无法访问所述大数据集群，则执行s107。

本实施例中，若在第一时长内无法访问至大数据集群，或无法访问大数据集群，例如，访问大数据集群时，直接反馈无法访问的访问结果，则说明大数据集群属于停止运行状态。其中，第一时长可以依据正常访问大数据集群的时长的设定。

s104、依据第二检测文件，对大数据集群进行业务数据处理。

若在第一时长内可以访问进入大数据集群，只能说明大数据集群可能属于可运行状态。所以为了进一步的确定大数据集群是否属于可运行状态，本步骤中，依据第二检测文件，对大数据集群进行业务数据处理的检测任务。

本实施例中，对大数据集群进行业务数据处理的检测任务中，包括多个测试点，检测任务为按照预设的顺序依次执行多个测试点。第二检测文件包括基于大数据集群进行业务数据处理的执行语句，具体为：第二检测文件中包括对大数据集群进行测试的各个测试点对应的执行语句。

本实施例中，对大数据集群进行业务数据处理的检测任务可以是，建立模式(即大数据集群的schame)，在模式中建立数据表，将数据写入数据表，最后删除数据表。其中的每一个测试环节作为一个测试点。

s105、判断业务数据处理的时长是否大于第二时长，或者是否无法进行业务数据处理。若业务数据处理的时长小于第二时长，至执行s106。若业务数据处理的时长是否大于第二时长，或无法业务数据处理，则执行s107。

本实施例中，第二时长依据大数据集群在可运行状态下完成检测任务的所需的时长设定。大数据集群无法进行业务数据处理，具体为，大数据集群在按照第二检测文件执行检测任务时，存在无法执行的测试环节。本实施例中，可通过反馈无法执行的执行结果，获知大数据集群无法进行业务数据处理。

s106、确定大数据集群处于运行状态。

若在第一时长内可以访问大数据集集群，且在第二时长内完成业务数据处理的检测任务，则确定大数据集群处于运行状态。

s107、发出预警通知。

本实施例中，在无法访问大数据集群、在第一时长内无法访问大数据集群、大数据集群的业务数据处理的时长大于第二时长，或者，大数据集群无法进行业务数据处理的情况下，生成预设的用于表征大数据集群停止运行的检测结果信息；并将检测结果信息输出至检测日志文件，使预设的预警工具读取检测日志文件，确定检测结果信息预设对应的预警信息，并将预警信息发送至预设的用户通信号，以提示大数据集群停止运行。

本实例提供的方法，获取大数据集群的检测文件，检测文件至少第一检测文件和第二检测文件；第一检测文件包括访问大数据集群的访问信息；第二检测文件包括基于大数据集群进行业务数据处理的执行语句；依据第一检测文件访问大数据集群，若无法访问大数据集群或在第一时长内无法访问大数据集群，则说明大数据集群停止运行，则发出预警通知，从而可以使及时发现大数据集群停止运行的问题；若在第一时长范围内访问至大数据集群，但依据第二检测文件，对大数据集群进行业务数据处理；业务数据处理的时长大于第二时长，或无法进行业务数据处理，则说明大数据集群停止运行，则发出预警通知，从而可以及时的发现大数据集群停止运行的问题，综上，本申请提供的方法，可以及时的发现大数据集群停止运行的问题。

考虑到大数据集群在运作状态下，很有可能仅仅是集群中的部分节点运行，部分节点处于宕机的状态，为此，上述实施例所述的检测文件还可以包括第三检测文件，第三检测文件包括检测大数据集群中各个节点的运行状态的执行语句，第三检测文件用于检测大数据集群中所有节点的运行状态。可以在确定大数据集群属于运作状态后，采用第三检测文件，检测大数据集群中各个节点的运行的状态，以确定是否存在宕机的节点。

进一步的，需要说明的是，本申请实施例中，随着检测需求的增加，可以增加与检测需求对应的检测文件，具体的实施方式为：响应于用户输入的新增检测文件的指令，获取新增的检测文件，以及新增的检测文件携带的标识，依据标识确定新增的检测文件的对应的大数据集群。

新增的检测文件携带的标识，是用于标识检测文件对应的数据集群，检测文件与大数据集群对应，为采用检测文件对所述检测集群进行检测。检测文件对应的数据集群可以是多个，也可以单个。随着大数据集群的功能不断，需要进行的检测也随之增多，所以对应的增加检测文件，具有良好的实用性和拓展性。

进一步的，需要说明的是，本申请提供的大数集群的检测方法可以适用于不同类型的大数据集群，例如，可以是greenplum大数据集群和hadoop大数据集群，只要访问至大数据集群，并执行图1所示的大数据集群的检测方法，即可对大数据集群进行检测。进一步的，还可以并行的对多个大数据集群进行检测，只要各个大数据集群预设的检测时间点相同，则可以依据大数据集群的检测文件进行检修，同理，也可以采用串行轮询的方式，依次对预设的大数据集群进行检测。

本申请提供的方案，只需依据大数据集群的检测文件即可对大数据集群进行检测，与大数据集群的产品类型无关，可以实现对不同类型的大数据集群进行检测，具有较强的适配性，以及可动态扩展性。

与上述的实例相对应，图2为本申请实例提供的一种大数据集群检测平台的架构图，如图2所示，包括：采集模块、规则配置模块、调度模块、接收模块、加工模块、以及预警模块。其中，采集模块运行于各个大数据集群的主节点中。大数据集群包括greenplum集群和hadoop集群。

规则配置模块用于，获取大数据集群的检测文件，存储用户配置的检测时间点，以及在检测时间点检测的大数据集群。

调度模块，用于按照调度模块中的检测时间点，以及在检测时间点对应检测的大数据集群，调度检测文件发送至采集模块，触发预先安装于各个大数据集群的主节点的采集模块采集大数据集群的运行状态信息。

采集模块，根据检测文件，对大数据集群进行检测，并将检测结果返回接收模块。其中，采集模块具体的检测方式可以参考上述实施例的大数据集群的检测方法。采集模块可以是，数据采集代理工具，具有查询采集结果，并自动反馈采集得到的结果。

接收模块，用于接收采集模块反馈的检测结果。

加工模块，用于对采集模块反馈的检测结果进行加工处理，使检测结果符合预警模块的数据格式要求，并将加工后的检测结果信息输出至检测日志文件。

预警模块，用于读取检测日志文件，根据预先设定的预警规则，确定检测结果信息预设对应的预警信息，在确定对应的预警信息符合预先设定的告警级别阈值后，通过短信或者邮件告警接口将故障信息发送出去，从而及时的提醒运维人员。

需要说明的是，图2中大数据集群检测平台的各个功能模块的连接关系仅仅是一种示例，任何的通过本申请提供的功能模块实现本大数据集群检测平台的技术效果的检测平台，都属于本申请的保护范围之内。

本实施例提供的大数据集群检测平台，可以及时的发现大数据集群停止运行的问题，且只需依据大数据集群的检测文件即可对大数据集群进行检测，与大数据集群的产品类型无关，可以实现对不同类型的大数据集群进行检测，具有较强的适配性，以及可动态扩展性。

进一步的，检测的过程中不需要人工干预，解决了大量集群的情况下人力检测导致的人力浪费，可以规避由于人为的主观性，人工检测带来检测不准确的问题。

图3为本申请实施例提供的一种大数据集群的检测装置300的结构示意图，包括：

获取单元301，用于获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句。

访问单元302，用于依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知。

处理单元303，用于若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。

可选的，访问单元302和处理单元303发出预警通知的具体实施方式为：

在无法访问所述大数据集群、在所述第一时长内无法访问所述大数据集群、所述大数据集群的所述业务数据处理的时长大于所述第二时长，或者，所述大数据集群无法进行所述业务数据处理的情况下，生成预设的用于表征所述大数据集群停止运行的检测结果信息；

将所述检测结果信息输出至检测日志文件；

触发预设的预警工具读取所述检测日志文件，并将所述检测结果信息预对应的预警信息发送至预设的用户通信号，以提示所述大数据集群停止运行。

可选的，获取单元301，获取大数据集群的检测文件的具体实现方式为：按照预设的检测配置文件中指定的检测时间点，获取所述检测时间点预设对应的大数据集群的检测文件，其中，检测配置文件中包括，所述检测时间点与所述大数据集群的对应关系，所述检测时间点与所述大数据集群对应为，在所述检测时间点，检测所述大数据集群。

可选的，访问单元302，以及处理单元303，还用于，若业务数据处理的时长小于所述第二时长，则确定所述大数据集群处于运行状态。

可选的，所述访问信息至少包括：

所述大数据集群的ip地址、所述大数据集群的标识、以及所述大数据集群的访问密码；

访问单元302访问所述大数据集群的具体实现方为：基于所述访问信息，访问所述大数据集群的主机节点。

可选的，所述检测文件还包括第三检测文件，所述第三检测文件包括检测所述大数据集群中各个节点的运行状态的执行语句，所述第三检测文件用于检测所述大数据集群中所有节点的运行状态。

可选的，获取单元301，还用于，响应于用户输入的新增检测文件的指令，获取新增的检测文件，以及所述新增的检测文件携带的标识，依据所述标识，确定所述新增的检测文件对应的所述大数据集群，所述检测文件与所述大数据集群对应，为采用所述检测文件对所述大数据集群进行检测。

本申请实施例提供的装置，获取大数据集群的检测文件，检测文件至少第一检测文件和第二检测文件；第一检测文件包括访问大数据集群的访问信息；第二检测文件包括基于大数据集群进行业务数据处理的执行语句；依据第一检测文件访问大数据集群，若无法访问大数据集群或在第一时长内无法访问大数据集群，则说明大数据集群停止运行，则发出预警通知，从而可以使及时发现大数据集群停止运行的问题；若在第一时长范围内访问至大数据集群，但依据第二检测文件，对大数据集群进行业务数据处理；业务数据处理的时长大于第二时长，或无法进行业务数据处理，则说明大数据集群停止运行，则发出预警通知，从而可以及时的发现大数据集群停止运行的问题，综上，本申请提供的方法，可以及时的发现大数据集群停止运行的问题。

本申请还提供了一种电子设备400，其结构示意图如图4所示，包括：处理器401和存储器402，存储器402用于存储应用程序，处理器401用于执行应用程序，以实现本申请的大数据集群检测的方法，即执行以下步骤：

获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；

依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；

若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执本申请的大数据集群检测的方法，即执行以下步骤：

获取大数据集群的检测文件，所述检测文件至少包括第一检测文件和第二检测文件；所述第一检测文件包括访问所述大数据集群的访问信息；所述第二检测文件包括基于所述大数据集群进行业务数据处理的执行语句；

依据所述第一检测文件，访问所述大数据集群，若无法访问所述大数据集群或在第一时长内无法访问所述大数据集群，则发出预警通知；

若在所述第一时长范围内访问至所述大数据集群，则依据所述第二检测文件，对所述大数据集群进行所述业务数据处理；若所述业务数据处理的时长大于第二时长，或无法进行所述业务数据处理，则发出所述预警通知。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。