数据处理方法及数据处理装置与流程

本发明涉及数据处理领域，特别是涉及一种数据处理方法及数据处理装置。

背景技术

在互联网及信息行业中，随着数据的迅速膨胀并变大，已经名副其实的进入了大数据时代，越来越多的人意识到数据的价值，因此数据的检测处理以及数据异常时的报警处理越来越重要。

现有的数据异常报警处理流程需要对所有相关数据进行下载以及保存操作，然后对保存后的数据进行报警分析处理，从而得到相关数据是否异常的结果。由于需要对数据进行存储操作后才进行计算分析，因此提取以及分析计算的数据量较大，容易导致数据异常报警不及时。

技术实现要素：

本发明实施例提供一种提取和分析计算的数据量较小，从而可实现数据异常的及时报警的数据处理方法及数据处理装置；以解决现有的数据处理方法及数据处理的提取以及分析计算的数据量较大，容易导致数据异常报警不及时的技术问题。

本发明实施例提供一种数据处理方法，其包括：

根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中所述数据统计项与所述预设报警规则一一对应；

根据所述数据统计项的数据采集类型，采集并存储对应的分析检测数据；以及

根据所述预设报警规则，对存储的所述分析检测数据进行异常分析处理。

本发明实施例还提供一种数据处理装置，其包括：

数据统计项生成模块，用于根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中所述数据统计项与所述预设报警规则一一对应；

分析检测数据采集存储模块，用于根据所述数据统计项的数据采集类型，采集并存储对应的分析检测数据；以及

数据处理模块，用于根据所述预设报警规则，对存储的所述分析检测数据进行异常分析处理。

相较于现有技术，本发明的数据处理方法及数据处理装置通过设置数据统计项来采集并存储分析检测数据，因此可较好的减少提取以及分析计算的分析检测数据的数据量，提升异常数据处理的及时性；解决了现有的数据处理方法及数据处理的提取以及分析计算的数据量较大，容易导致数据异常报警不及时的技术问题。

附图说明

图1为本发明的数据处理方法的第一优选实施例的流程图；

图2为本发明的数据处理方法的第二优选实施例的流程图；

图3为本发明的数据处理方法的第三优选实施例的流程图；

图4为本发明的数据处理装置的第一优选实施例的结构示意图；

图5为本发明的数据处理装置的第二优选实施例的结构示意图；

图6为本发明的数据处理装置的第二优选实施例的分析检测数据采集存储模块的结构示意图；

图7为本发明的数据处理装置的第二优选实施例的数据处理模块的结构示意图；

图8为本发明的数据处理装置的第三优选实施例的结构示意图；

图9为本发明的数据处理装置的第三优选实施例的数据处理模块的结构示意图；

图10为本发明的数据处理方法及数据处理装置的具体实施例的流程图；

图11为本发明的数据处理装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的数据处理方法及数据处理装置可设置在各种对网络大数据进行数据分析以及数据异常处理的电子设备中，该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备优选为进行网络大数据采集以及分析处理的数据分析服务器。本发明的电子设备通过设置数据统计项来采集并存储分析检测数据，可较好的减少提取以及分析计算的分析检测数据的数据量，提升了异常数据处理的及时性，避免了数据异常报警不及时的现象发生。

请参照图1，图1为本发明的数据处理方法的第一优选实施例的流程图。本优选实施例的数据处理方法可使用上述的电子设备进行实施，本优选实施例的数据处理方法包括：

步骤s101，根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中数据统计项与预设报警规则一一对应；

步骤s102，根据数据统计项的数据采集类型，采集并存储对应的分析检测数据；

步骤s103，根据预设报警规则，对存储的分析检测数据进行异常分析处理。

下面详细说明本优选实施例的数据处理方法的各步骤的具体流程。

在步骤s101中，数据处理装置获取预设报警规则，该预设报警规则是指用户设定的数据异常规则，即如获取的数据信息满足预设报警规则，则认为当前的数据信息为异常数据信息。

该预设报警规则并不需要包括数据的所有内容，如cpu利用率的数据包括数据的来源ip、数据业务以及数据上报接口等数据类型。预设报警规则a可设置为数据上报接口a上报的数据业务b即为异常数据信息，与数据的来源ip完全无关。

因此随后数据处理装置根据获取的预设报警规则生成具有至少一个数据采集类型的数据统计项。这里的数据统计项与预设报警规则一一对应，数据统计项即为预设报警规则对应的需要统计的数据内容，数据统计项的数据采集类型即为预设报警规则对应的数据类型，如上述预设报警规则a只需要统计数据业务以及数据上报接口的数据，则对应的数据统计项只需要统计数据业务以及数据上报接口的数据采集类型的数据。随后转到步骤s102。

在步骤s102中，数据处理装置根据步骤s101获取的数据统计项的数据采集类型，从各个数据节点上采集并存储对应的分析检测数据。由于数据统计项对应的数据仅仅为某些特定数据采集类型的数据内容，因此这里存储的分析检测数据的数据量较少，但是存储的分析检测数据与相应的预设报警规则均有对应关系，因此可用于及时产生数据异常报警。随后转到步骤s103。

在步骤s103中，数据处理装置根据步骤s101设定的预设报警规则，对步骤s102中存储的分析检测数据进行异常分析处理，如存储的分析检测数据满足某个预设报警规则，如检测到数据上报接口a上报的数据业务b，则数据处理装置直接进行数据异常报警操作。

这样即完成了本优选实施例的数据处理方法的数据处理过程。

本优选实施例的数据处理方法通过设置数据统计项来采集并存储分析检测数据，因此可较好的减少提取以及分析计算的分析检测数据的数据量，提升异常数据处理的及时性。

请参照图2，图2为本发明的数据处理方法的第二优选实施例的流程图。本优选实施例的数据处理方法可使用上述的电子设备进行实施，本优选实施例的数据处理方法包括：

步骤s201，根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中数据统计项与预设报警规则一一对应；

步骤s202，获取具有全部数据采集类型的检测数据；

步骤s203，根据数据统计项的数据采集类型，从检测数据中采集与数据统计项对应的分析检测数据；

步骤s204，对数据统计项对应的分析检测数据进行存储操作；

步骤s205，根据预设报警规则，从存储的分析检测数据中读取与预设报警规则对应的分析检测数据；

步骤s206，根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理；

步骤s207，接收用户数据查询指令，并根据用户数据查询指令对存储的分析检测数据进行统计操作。

下面详细说明本优选实施例的数据处理方法的各步骤的具体流程。

在步骤s201中，数据处理装置获取预设报警规则，该预设报警规则是指用户设定的数据异常规则，即如获取的数据信息满足预设报警规则，则认为当前的数据信息为异常数据信息。

随后数据处理装置根据获取的预设报警规则生成具有至少一个数据采集类型的数据统计项。这里的数据统计项与预设报警规则一一对应，数据统计项即为预设报警规则对应的需要统计的数据内容，数据统计项的数据采集类型即为预设报警规则对应的数据类型。随后转到步骤s202。

在步骤s202中，数据处理装置从各个数据节点上获取具有全部数据采集类型的检测数据，以便对检测数据进行数据采集。随后转到步骤s203。

在步骤s203中，数据处理装置根据步骤s201获取的数据统计项的数据采集类型，从步骤s202中获取的检测数据采集用户数据统计项对应的分析检测数据，从而有效的减少检测数据的存储量。随后转到步骤s204。

在步骤s204中，数据处理装置对步骤s203获取的数据统计项对应的分析检测数据进行存储操作。这里存储的分析检测数据的数据量较少，但是存储的分析检测数据与相应的预设报警规则均有对应关系，因此可用于及时产生数据异常报警。随后转到步骤s205。

在步骤s205中，数据处理装置进行数据异常检测时，会根据步骤s201获取的预设报警规则，从步骤s204中存储的分析检测数据中读取与预设报警规则对应的分析检测数据，随后转到步骤s206。

在步骤s206中，数据处理装置根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理；如存储的分析检测数据满足某个预设报警规则，如检测到数据上报接口a上报的数据业务b，则数据处理装置直接进行数据异常报警操作。随后转到步骤s207。

在步骤s207中，数据处理装置接收用户数据查询指令，该用户数据查询指令是指用户对存储的分析检测数据进行查询的指令。随后数据处理装置可根据该用户数据查询指令对步骤s204存储的分析检测数据进行统计操作，从而人工对数据进行查询以及进行异常数据的分析。

这样即完成了本优选实施例的数据处理方法的数据处理过程。

在第一优选实施例的基础上，本优选实施例的数据处理方法通过数据统计项可较好的减少分析检测数据的存储量，同时通过预设报警规则实现了对预设异常数据的及时报警。最后用户还可通过用户数据查询指令对分析检测数据进行人工分析统计操作。因此进一步提高了该数据处理方法的数据处理效率。

请参照图3，图3为本发明的数据处理方法的第三优选实施例的流程图。本优选实施例的数据处理方法可使用上述的电子设备进行实施，本优选实施例的数据处理方法包括：

步骤s301，根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中数据统计项与预设报警规则一一对应；

步骤s302，获取具有全部数据采集类型的检测数据；

步骤s303，根据数据统计项的数据采集类型，从检测数据中采集与数据统计项的数据采集类型对应的分析类型数据；

步骤s304，根据数据统计项的数据采集范围，从分析类型数据中采集与数据统计项的数据采集范围对应的分析检测数据；

步骤s305，对数据统计项对应的分析检测数据进行存储操作；

步骤s306，根据预设报警规则，从存储的分析检测数据中读取与预设报警规则对应的分析检测数据；

步骤s307，根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理；

步骤s308，接收用户数据查询指令，并根据用户数据查询指令对存储的分析检测数据进行统计操作。

下面详细说明本优选实施例的数据处理方法的各步骤的具体流程。

在步骤s301中，数据处理装置获取预设报警规则，随后数据处理装置根据获取的预设报警规则生成具有至少一个数据采集类型的数据统计项。这里的数据统计项与预设报警规则一一对应。随后转到步骤s302。

在步骤s302中，数据处理装置从各个数据节点上获取具有全部数据采集类型的检测数据，以便对检测数据进行数据采集。随后转到步骤s303。

在步骤s303中，数据处理装置根据步骤s301获取的数据统计项的数据采集类型，从步骤s302中获取的检测数据采集与数据统计项对应的分析类型数据。这里的分析类型数据是指特定数据采集类型的所有检测数据。如数据统计项的数据采集类型包括数据业务以及数据上报接口，则数据处理装置会获取检测数据中的所有数据业务数据以及数据上报接口数据作为分析类型数据。随后转到步骤s304。

在步骤s304中，数据处理装置根据步骤s301获取的数据统计项的数据采集范围，从步骤s303中获取的分析类型数据中采集与数据统计项对应的分析检测数据。这里的分析检测数据是指特定数据采集类型的特定数据采集范围的检测数据。如用户只需要分析0点至12点的分析类型数据，则数据处理装置可根据上述0点至12点的数据采集范围，对分析检测数据进行筛选，如获取检测数据中0点至12点的所有数据业务数据以及数据上报接口数据作为分析检测数据。随后转到步骤s305。

在步骤s305中，数据处理装置将步骤s304获取的数据统计项对应的分析检测数据进行存储操作。这里存储的分析检测数据的数据量较少，但是存储的分析检测数据与相应的预设报警规则均有对应关系，因此可用于及时产生数据异常报警。随后转到步骤s306。

在步骤s306中，数据处理装置进行数据异常检测时，会根据步骤s301获取的预设报警规则，从步骤s305中存储的分析检测数据中读取与预设报警规则对应的分析检测数据，随后转到步骤s307。

在步骤s307中，数据处理装置根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理。随后转到步骤s308。

在步骤s308中，数据处理装置接收用户数据查询指令，该用户数据查询指令是指用户对存储的分析检测数据进行查询的指令。随后数据处理装置可根据该用户数据查询指令对步骤s305存储的分析检测数据进行统计操作，从而人工对数据进行查询以及进行异常数据的分析。

这样即完成了本优选实施例的数据处理方法的数据处理过程。

在第二优选实施例的基础上，本优选实施例的数据处理方法通过设置数据统计项的数据采集范围进一步的较少了检测数据的存储量，从而进一步提高了该数据处理方法的数据处理效率。

本发明还提供一种数据处理装置，请参照图4，图4为本发明的数据处理装置的第一优选实施例的结构示意图。本优选实施例的数据处理装置可使用上述的数据处理方法的第一优选实施例进行实施，本优选实施例的数据处理装置40包括数据统计项生成模块41、分析检测数据采集存储模块42以及数据处理模块43。

数据统计项生成模块41用于根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中数据统计项与预设报警规则一一对应；分析检测数据采集存储模块42用于根据数据统计项的数据采集类型，采集并存储对应的分析检测数据；数据处理模块43用于根据预设报警规则，对存储的分析检测数据进行异常分析处理。

本优选实施例的数据处理装置40使用时，首先数据统计项生成模块41获取预设报警规则，该预设报警规则是指用户设定的数据异常规则，即如获取的数据信息满足预设报警规则，则认为当前的数据信息为异常数据信息。

该预设报警规则并不需要包括数据的所有内容，如cpu利用率的数据包括数据的来源ip、数据业务以及数据上报接口等数据类型。预设报警规则a可设置为数据上报接口a上报的数据业务b即为异常数据信息，与数据的来源ip完全无关。

因此随后数据统计项生成模块41根据获取的预设报警规则生成具有至少一个数据采集类型的数据统计项。这里的数据统计项与预设报警规则一一对应，数据统计项即为预设报警规则对应的需要统计的数据内容，数据统计项的数据采集类型即为预设报警规则对应的数据类型，如上述预设报警规则a只需要统计数据业务以及数据上报接口的数据，则对应的数据统计项只需要统计数据业务以及数据上报接口的数据采集类型的数据。

随后分析检测数据采集存储模块42根据数据统计项生成模块41获取的数据统计项的数据采集类型，从各个数据节点上采集并存储对应的分析检测数据。由于数据统计项对应的数据仅仅为某些特定数据采集类型的数据内容，因此这里存储的分析检测数据的数据量较少，但是存储的分析检测数据与相应的预设报警规则均有对应关系，因此可用于及时产生数据异常报警。

然后数据处理模块43根据数据统计项生成模块41设定的预设报警规则，对分析检测数据采集存储模块42存储的分析检测数据进行异常分析处理，如存储的分析检测数据满足某个预设报警规则，如检测到数据上报接口a上报的数据业务b，则数据处理装置直接进行数据异常报警操作。

这样即完成了本优选实施例的数据处理装置40的数据处理过程。

本优选实施例的数据处理装置通过设置数据统计项来采集并存储分析检测数据，因此可较好的减少提取以及分析计算的分析检测数据的数据量，提升异常数据处理的及时性。

请参照图5，图5为本发明的数据处理装置的第二优选实施例的结构示意图。本优选实施例的数据处理装置可使用上述的数据处理方法的第二优选实施例进行实施，本优选实施例的数据处理装置50包括数据统计项生成模块51、分析检测数据采集存储模块52、数据处理模块53以及统计操作模块54。

数据统计项生成模块51用于根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中数据统计项与预设报警规则一一对应；分析检测数据采集存储模块52用于根据数据统计项的数据采集类型，采集并存储对应的分析检测数据；数据处理模块53用于根据预设报警规则，对存储的分析检测数据进行异常分析处理；统计操作模块54用于接收用户数据查询指令，并根据用户数据查询指令对存储的分析检测数据进行统计操作。

请参照图6，图6为本发明的数据处理装置的第二优选实施例的分析检测数据采集存储模块的结构示意图。该分析检测数据采集存储模块52包括检测数据获取单元61、分析检测数据采集单元62以及分析检测数据存储单元63。

检测数据获取单元61用于获取具有全部数据采集类型的检测数据；分析检测数据采集单元62用于根据数据统计项的数据采集类型，从检测数据中采集与数据统计项对应的分析检测数据；分析检测数据存储单元63用于对数据统计项对应的分析检测数据进行存储操作。

请参照图7，图7为本发明的数据处理装置的第二优选实施例的数据处理模块的结构示意图。数据处理模块53包括分析检测数据读取单元71以及数据处理单元72。

分析检测数据读取单元71用于根据预设报警规则，从存储的分析检测数据中读取与预设报警规则对应的分析检测数据；数据处理单元72用于根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理。

本优选实施例的数据处理装置使用时，首先数据统计项生成模块51获取预设报警规则，该预设报警规则是指用户设定的数据异常规则，即如获取的数据信息满足预设报警规则，则认为当前的数据信息为异常数据信息。

随后数据统计项生成模块51根据获取的预设报警规则生成具有至少一个数据采集类型的数据统计项。这里的数据统计项与预设报警规则一一对应，数据统计项即为预设报警规则对应的需要统计的数据内容，数据统计项的数据采集类型即为预设报警规则对应的数据类型。

然后分析检测数据采集存储模块52的检测数据获取单元61从各个数据节点上获取具有全部数据采集类型的检测数据，以便对检测数据进行数据采集。

随后分析检测数据采集存储模块52的分析检测数据采集单元62根据数据统计项生成模块51获取的数据统计项的数据采集类型，从检测数据获取单元61获取的检测数据采集用户数据统计项对应的分析检测数据，从而有效的减少检测数据的存储量。

然后分析检测数据采集存储模块52的分析检测数据存储单元63对分析检测数据采集单元获62取的数据统计项对应的分析检测数据进行存储操作。这里存储的分析检测数据的数据量较少，但是存储的分析检测数据与相应的预设报警规则均有对应关系，因此可用于及时产生数据异常报警。

随后数据处理模块53的分析检测数据读取单元71进行数据异常检测时，会根据数据统计项生成模块51获取的预设报警规则，从分析检测数据存储单元63存储的分析检测数据中读取与预设报警规则对应的分析检测数据，

然后数据处理模块53的数据处理单元72根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理；如存储的分析检测数据满足某个预设报警规则，如检测到数据上报接口a上报的数据业务b，则数据处理装置直接进行数据异常报警操作。

最后统计操作模块54接收用户数据查询指令，该用户数据查询指令是指用户对存储的分析检测数据进行查询的指令。随后统计操作模块54可根据该用户数据查询指令对分析检测数据存储单元存储的分析检测数据进行统计操作，从而人工对数据进行查询以及进行异常数据的分析。

这样即完成了本优选实施例的数据处理装置50的数据处理过程。

在第一优选实施例的基础上，本优选实施例的数据处理装置通过数据统计项可较好的减少分析检测数据的存储量，同时通过预设报警规则实现了对预设异常数据的及时报警。最后用户还可通过用户数据查询指令对分析检测数据进行人工分析统计操作。因此进一步提高了该数据处理方法的数据处理效率。

请参照图8，图8为本发明的数据处理装置的第三优选实施例的结构示意图。本优选实施例的数据处理装置可使用上述的数据处理方法的第三优选实施例进行实施，本优选实施例的数据处理装置80包括数据统计项生成模块81、分析检测数据采集存储模块82、数据处理模块83以及统计操作模块84。

数据统计项生成模块81用于根据预设报警规则，生成具有至少一个数据采集类型的数据统计项，其中数据统计项与预设报警规则一一对应；分析检测数据采集存储模块82用于根据所述数据统计项的数据采集类型以及数据采集范围，采集并存储对应的分析检测数据；数据处理模块83用于根据预设报警规则，对存储的分析检测数据进行异常分析处理；统计操作模块84用于接收用户数据查询指令，并根据用户数据查询指令对存储的分析检测数据进行统计操作。

请参照图9，图9为本发明的数据处理装置的第三优选实施例的数据处理模块的结构示意图。本优选实施例的分析检测数据采集存储模块82包括检测数据获取单元91、分析类型数据采集单元92、分析检测数据采集单元93以及分析检测数据存储单元94。

检测数据获取单元91用于获取具有全部数据采集类型的检测数据；分析类型数据采集单元用于根据数据统计项的数据采集类型，从检测数据中采集与数据统计项的数据采集类型对应的分析类型数据；分析检测数据采集单元92用于根据数据统计项的数据采集范围，从分析类型数据中采集与数据统计项的数据采集范围对应的分析检测数据；分析检测数据存储单元93用于对数据统计项对应的分析检测数据进行存储操作。

本优选实施例的数据处理装置80使用时，数据统计项生成模块81获取预设报警规则，随后数据统计项生成模块82根据获取的预设报警规则生成具有至少一个数据采集类型的数据统计项。这里的数据统计项与预设报警规则一一对应。

随后分析检测数据采集存储模块82的检测数据获取单元91从各个数据节点上获取具有全部数据采集类型的检测数据，以便对检测数据进行数据采集。

然后分析检测数据采集存储模块82的分析类型数据采集单元92根据数据统计项生成模块81获取的数据统计项的数据采集类型，从检测数据获取单元91获取的检测数据采集与数据统计项对应的分析类型数据。这里的分析类型数据是指特定数据采集类型的所有检测数据。如数据统计项的数据采集类型包括数据业务以及数据上报接口，则分析类型数据采集单元92会获取检测数据中的所有数据业务数据以及数据上报接口数据作为分析类型数据。

随后分析检测数据采集存储模块82的分析检测数据采集单元93根据数据统计项生成模块81获取的数据统计项的数据采集范围，从分析类型数据采集单元92获取的分析类型数据中采集与数据统计项对应的分析检测数据。

这里的分析检测数据是指特定数据采集类型的特定数据采集范围的检测数据。如用户只需要分析0点至12点的分析类型数据，则分析检测数据采集单元93可根据上述0点至12点的数据采集范围，对分析检测数据进行筛选，如获取检测数据中0点至12点的所有数据业务数据以及数据上报接口数据作为分析检测数据。

然后分析检测数据采集存储模块82的分析检测数据存储单元94将分析检测数据采集单元93获取的数据统计项对应的分析检测数据进行存储操作。这里存储的分析检测数据的数据量较少，但是存储的分析检测数据与相应的预设报警规则均有对应关系，因此可用于及时产生数据异常报警。

然后数据处理模块83进行数据异常检测时，会根据数据统计项生成模块81获取的预设报警规则，从分析检测数据存储单元94存储的分析检测数据中读取与预设报警规则对应的分析检测数据。

随后数据处理模块83根据预设报警规则中的报警条件，对预设报警规则对应的分析检测数据进行异常分析处理。

然后统计操作模块84接收用户数据查询指令，该用户数据查询指令是指用户对存储的分析检测数据进行查询的指令。随后统计操作模块84可根据该用户数据查询指令对分析检测数据存储单元94存储的分析检测数据进行统计操作，从而人工对数据进行查询以及进行异常数据的分析。

这样即完成了本优选实施例的数据处理装置80的数据处理过程。

在第二优选实施例的基础上，本优选实施例的数据处理装置通过设置数据统计项的数据采集范围进一步的较少了检测数据的存储量，从而进一步提高了该数据处理方法的数据处理效率。

下面通过一具体实施例说明本发明的数据处理方法及数据处理装置的具体工作原理。本具体实施例的数据处理方法以及数据处理装置可通过数据分析服务器进行实施，请参照图10，图10为本发明的数据处理方法及数据处理装置的具体实施例的流程图。该数据处理过程包括：

步骤s1001，数据分析服务器根据预设报警规则，生成对应的具有至少一个数据采集类型的数据统计项，如数据统计项只需要采集ip来源以及cpu利用率两个数据采集类型的数据。数据分析服务器只会统计上述两个数据采集类型组合的分析检测数据结果。

步骤s1002，数据分析服务器从数据仓库tdbank实施拉取数据，拉取的数据为包括所有数据采集类型的检测数据。

随后数据分析服务器根据步骤s1001获取的数据统计项，对获取的检测数据进行重新组装以及存储操作。具体的拉取的检测数据可为：

intfid＝1&ip＝10.208.14.151&clister＝gdt&cpu＝0.55；

intfid＝1&ip＝10.208.14.150&clister＝gdt&cpu＝0.9；

该检测数据包括ip来源、集群编号以及cpu利用率三个数据采集类型的数据。

数据分析服务器按数据统计项对上述两个检测数据进行重新组装操作，重新组装的格式可为：

intfid编号#数据采集类型#数据采集类型对应的值#时间戳。

因此按步骤s1001获取的数据统计项进行组装操作后，得到的分析检测数据可为：

k＝1#ip#cpu#10.208.14.151#201612051712，v＝0.55；

k＝1#ip#cpu#10.208.14.150#201612051712，v＝0.9。

随后数据分析服务器对上述分析检测数据进行存储操作，这样可有效的减少冗余的提取以及分析计算量，同时避免数据存储量过大。

步骤s1003，根据步骤s1001获取的预设报警规则的报警条件，对步骤s1002存储的分析检测数据进行异常数据分析处理，以产生相应的数据异常报警。如对于来自10.208.14网段的ip的cpu利用率的数据大于0.6则产生数据异常报警，则上述的分析检测数据k＝1#ip#cpu#10.208.14.150#201612051712，v＝0.9则会产生相应的数据异常报警。

这样即完成了本具体实施例的数据处理方法及数据处理装置的数据处理过程。

本发明的数据处理方法及数据处理装置通过设置数据统计项来采集并存储分析检测数据，因此可较好的减少提取以及分析计算的分析检测数据的数据量，提升异常数据处理的及时性；解决了现有的数据处理方法及数据处理的提取以及分析计算的数据量较大，容易导致数据异常报警不及时的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

图11和随后的讨论提供了对实现本发明所述的数据处理装置所在的电子设备的工作环境的简短、概括的描述。图11的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1112包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(api)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图11图示了包括本发明的数据处理装置中的一个或多个实施例的电子设备1112的实例。在一种配置中，电子设备1112包括至少一个处理单元1116和存储器1118。根据电子设备的确切配置和类型，存储器1318可以是易失性的(比如ram)、非易失性的(比如rom、闪存等)或二者的某种组合。该配置在图11中由虚线1114图示。

在其他实施例中，电子设备1112可以包括附加特征和/或功能。例如，设备1112还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图11中由存储装置1120图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1120中。存储装置1120还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1118中由例如处理单元1116执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1118和存储装置1120是计算机存储介质的实例。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1112访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1112的一部分。

电子设备1112还可以包括允许电子设备1112与其他设备通信的通信连接1126。通信连接1126可以包括但不限于调制解调器、网络接口卡(nic)、集成网络接口、射频发射器/接收器、红外端口、usb连接或用于将电子设备1112连接到其他电子设备的其他接口。通信连接1126可以包括有线连接或无线连接。通信连接1126可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1112可以包括输入设备1124，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1112中也可以包括输出设备1122，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1124和输出设备1122可以经由有线连接、无线连接或其任意组合连接到电子设备1112。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1112的输入设备1124或输出设备1122。

电子设备1112的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(pci)(比如快速pci)、通用串行总线(usb)、火线(ieee1394)、光学总线结构等等。在另一个实施例中，电子设备1112的组件可以通过网络互连。例如，存储器1118可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1128访问的电子设备1130可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1112可以访问电子设备1130并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1112可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1112处执行并且一些指令可以在电子设备1130处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。