一种数据监控管理方法、数据监控方法及系统与流程

本申请涉及通信领域的数据处理技术，尤其涉及一种数据监控管理方法、数据监控方法及系统。

背景技术：

数据仓库(英文为datawarehouse，简称dw或dwh)提供用户用于决策支持的当前和历史数据。数据仓库技术是为了有效地将操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称。基于数据仓库，用户可更快更方便地查询所需要的信息，提供决策支持。

数据仓库中的数据是在对原有分散的数据库数据进行抽取、清理的基础上经过系统加工、汇总和整理得到的。为了更好地提供决策支持，基于给定的指标，对数据仓库中的数据进行检查显得尤为重要。基于给定的指标可对数据仓库中的数据进行合法性、正确性、有效性等各方面的检查。

目前，为了监控数据产出的正确性和有效性，可针对关键性的数据表配置监控规则。在数据表的数据产出后，可根据配置的监控规则检查数据的正确性和有效性。

比如，可将有效数据的取值范围作为一个监控指标，为一个字段配置监控规则，如果该字段的监控指标有变更(比如有效数值的取值范围有变化)，或者需要增加一个监控指标(比如需要对该字段的数据格式进行监控)，则需要对涉及使用这些监控指标的所有数据表重新配置监控规则，操作繁琐，并且容易遗漏。

申请内容

本申请实施例提供了一种数据监控管理方法及系统。

本申请实施例提供的数据监控管理方法，包括：

获取数据库中待配置监控规则的字段；

根据所述字段使用的监控指标，从通用规则库中为所述字段选择对应的监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求；

将选择的监控规则与所述字段进行关联。

优选地，根据所述字段使用的监控指标，从通用规则库中为所述字段选择对应的监控规则，包括：

根据所述字段使用的监控指标，从通用规则库中为所述字段选择所述监控指标对应的全部或部分监控规则。

优选地，将选择的监控规则与所述字段进行关联，包括：将所述字段与所选择的监控规则在所述通用规则库中的索引信息进行关联。

可选地，还包括：根据所述字段使用的监控指标，为所述字段配置所述字段专用的监控规则。

可选地，还包括：更新所述通用规则库中的监控规则。

优选地，所述通用规则库中的监控规则根据以下维度中的一种或多种进行设置：数据类型、取值范围、数据格式以及是否允许为空。

优选地，一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。

优选地，所述通用规则库中包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。

本申请实施例提供的数据监控管理系统，包括：

获取模块，用于获取数据库中待配置监控规则的字段；

选择模块，用于根据所述字段使用的监控指标，从通用规则库中为所述字 段选择对应的监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求；

配置模块，用于将选择的监控规则与所述字段进行关联。

优选地，所述选择模块具体用于：根据所述字段使用的监控指标，从通用规则库中为所述字段选择所述监控指标对应的全部或部分监控规则。

优选地，所述配置模块具体用于：将所述字段与所选择的监控规则在所述通用规则库中的索引信息进行关联。

优选地，所述配置模块还用于：根据所述字段使用的监控指标，为所述字段配置所述字段专用的监控规则。

可选地，还包括：更新模块，用于更新所述通用规则库中的监控规则。

优选地，所述通用规则库中的监控规则根据以下维度中的一种或多种进行设置：数据类型、取值范围、数据格式以及是否允许为空。

优选地，一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。

优选地，所述通用规则库中包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。

本申请的上述实施例中，在为一个字段配置监控规则时，根据该字段使用的监控指标，从通用规则库中为该字段选择一个或多个对应的监控规则，并将选择的监控规则与该字段进行关联，从而实现了对数据进行监控规则的配置过程。由于通用规则库中包含预先设置的监控规则，在为一个字段配置监控规则时，只要为该字段选择合适的监控规则，并将监控规则与该字段进行关联即可，当需要调整监控规则时，只需对通用规则库进行更新，而无需重新对数据表或字段进行监控规则配置，与现有技术相比，简化了监控规则配置的复杂度，并提高了系统灵活性。

本申请实施例还提供了一种数据监控方法和系统。

本申请实施例提供的数据监控方法，包括：

获取数据库中关联有监控规则的字段；

从通用规则库中获取所述字段所关联的监控规则；

根据获取到的监控规则对所述字段的数据进行检查。

优选地，从通用规则库中获取所述字段所关联的监控规则，包括：根据所述字段所关联的监控规则的索引信息，从所述通用规则库中获取与所述索引信息对应的监控规则。

可选地，还包括：获取为所述字段配置的所述字段专用的监控规则，根据所述字段专用的监控规则对所述字段的数据进行检查。

可选地，还包括：更新所述通用规则库中的监控规则。

优选地，与所述字段关联的监控规则为所述字段使用的监控指标对应的全部或部分监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求。

优选地，所述通用规则库中包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。

优选地，一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。

本申请实施例提供的数据监控系统，包括：

第一获取模块，用于获取数据库中关联有监控规则的字段；

第二获取模块，用于从通用规则库中获取所述字段所关联的监控规则；

监控执行模块，用于根据获取到的监控规则对所述字段的数据进行检查。

优选地，所述第二获取模块具体用于：根据所述字段所关联的监控规则的索引信息，从所述通用规则库中获取与所述索引信息对应的监控规则。

可选地，所述第一获取模块还用于：获取为所述字段配置的所述字段专用的监控规则；所述监控执行模块还用于：根据所述字段专用的监控规则对所述 字段的数据进行检查。

可选地，还包括：更新模块，用于更新所述通用规则库中的监控规则。

优选地，与所述字段关联的监控规则为所述字段使用的监控指标对应的全部或部分监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求。

优选地，所述通用规则库中包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。

优选地，一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。

本申请的上述实施例中，在进行数据监控时，获取数据库中关联有监控规则的字段，从通用规则库中获取所述字段所关联的监控规则，从通用规则库中获取所述字段所关联的监控规则。由于采用将字段与通用规则库中的监控规则进行关联的方式为字段配置监控规则，通用规则库中包含预先设置的监控规则，在为一个字段配置监控规则时，只要为该字段选择合适的监控规则，并将监控规则与该字段进行关联即可，当需要调整监控规则时，只需对通用规则库进行更新，而无需重新对数据表或字段进行监控规则配置，与现有技术相比，简化了监控规则配置的复杂度，并提高了系统灵活性。

附图说明

图1为本申请实施例提供的数据监控管理流程示意图；

图2为本申请实施例提供的数据监控流程示意图；

图3为本申请实施例提供的数据监控管理系统结构示意图；

图4为本申请实施例提供的数据监控系统结构示意图。

具体实施方式

本申请的上述实施例中，预先设置通用规则库，通用规则库中包含预先设置的监控规则，在为一个字段配置监控规则时，只要为该字段选择合适的监控规则，并将监控规则与该字段进行关联即可，当需要调整监控规则时，只需对通用规则库中的监控规则进行更新，而无需重新配置数据表或字段的监控规则，与现有技术相比，简化了监控规则配置的复杂度，并提高了系统灵活性。

本申请实施例可适用于数据库系统或者数据仓库系统。

在描述本申请实施例之前，首先对本申请实施例中涉及到的一些术语进行说明。

(1)字段以及字段属性

在数据库或数据仓库技术中，用于标记数据实体(即一条数据记录)属性的命名单位称为字段或数据项。它是可以命名的最小信息单位，又称为数据元素或初等项。对于关系型数据库，一个数据表中的一列称为一个“字段”，比如，在“通讯录”数据库中，“联系人姓名”、“联系电话”这些都是表中所有行共有的属性，所以将这些列称为“联系人姓名”字段和“联系电话”字段。

字段属性可包括数据类型、长度、是否允许为空等一种或多种属性。根据数据库系统的不同，字段属性的种类也可能存在差别。不失一般性地，数据类型可包括：数值型、字符型以及其他类型，比如枚举型、日期型等，其中，数值型可进一步分为整数型、实数型等。

(2)监控指标

监控指标用来规定数据在各维度上需要满足的要求，数据监控系统可根据监控指标检测数据的合法性、正确性、有效性等。一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。比如，“日期”的监控指标可以从数据类型、数据格式的维度进行定义，规定数据类型应为“日期型”、数据格式为“yy-mm-dd”；再例如，“身份证号码”的监控指标可从数据类型、长度以及取值范围的维度进行定义。

(3)监控规则

一个监控指标可对应一个或多个监控规则，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求。

通用规则库中的监控规则可根据以下维度中的一种或多种进行设置：数据类型、取值范围、数据格式以及是否允许为空。以上述“日期”的监控指标为例，对应的监控规则至少有两个，分别是数据类型的监控规则和数据格式的监控规则。

本申请实施例中，可预先配置通用规则库。通用规则库中包含监控规则。监控规则可根据监控指标来设置。

在具体实施中，可预先根据数据库(通常指业务数据库)中数据的性质或者是数据表的内容，配置监控指标，比如，数据库中包含“身份证号码”字段，则需要设置上述“身份证号码”的监控指标；然后，根据监控指标在通用规则库中配置对应的监控规则，以上述“身份证号码”的监控指标为例，可在通用规则库中分别从数据类型、长度以及取值范围的维度来配置监控规则，以用来对“身份证号码”字段的取值从数据类型、长度以及取值范围的维度进行检查，判断是否符合“身份证号码”监控指标的要求。

再例如，如果数据库中还包含“护照号码”字段，则需要设置“护照号码”的监控指标；然后，根据监控指标在通用规则库中配置对应的监控规则，比如，可在通用规则库中分别从数据类型、长度以及取值范围的维度来配置监控规则，以用来对“护照号码”字段的取值从数据类型、长度以及取值范围的维度进行检查，判断是否符合“护照号码”监控指标的要求。其中，“护照号码”的监控规则中的数据长度监控规则和取值范围监控规则，与上述“身份证号码”的监控规则中的数据长度监控规则和取值范围监控规则不同(因为两种证件的号码位数以及取值范围不同)。

在通用规则库中，每个监控规则基于其在该通用规则库中的索引信息进行区分或标识。一个监控规则在通用规则库中的索引信息可以是该监控规则在该通用规则库中的唯一标识，也可以由该监控规则对应的监控指标的标识以及该 监控规则的标识构成。对于后者，不同监控规则的标识可以重用，只要一个监控指标对应的所有监控规则中，每个监控规则的标识唯一即可。

表1示例性地示出了一种通用规则库的示例。

表1

表1中，“监控规则内容”一项可填写需要检测的字段属性信息，也可以用于实现对字段属性进行监控的程序代码。比如，身份证号码的监控指标中的“数据类型监控规则”具体可以是“int”，表示需要检测数据类型是否为整数型；也可以是一段程序代码，通过执行该程序代码可实现：判断数据类型是否为整数型，如果是整数型，则基于该监控规则检测通过，否则基于该监控规则检测失败。

表1中，一个监控规则可用该监控规则的id与该监控规则对应的监控指标id进行索引。

表1也可拆分为两个表，其中一个表用于存储“监控指标id”与“监控规则id”的对应关系，另一个表用于存储每个监控规则的内容(可以以监控规则的唯一标识作为主键)。

上述通用规则库可根据需要进行更新。以上述表1为例，比如，当需要增 加一个新的监控指标时(监控指标id＝300)，则在上述通用规则库中增加该监控指标对应的一个或多个监控规则；当需要对原有的某个监控规则(监控指标id＝100，监控规则id＝3)进行调整时(比如调整取值范围)，则只要将监控规则的内容进行调整即可；如果需要针对某个监控指标(监控指标id＝300)，增加一个监控规则时，只要在表1中id＝300的监控指标中增加相应的监控规则即可。

基于上述通用规则库，本申请实施例提供的数据监控管理流程可如图1所示。

参见图1，为本申请实施例提供的数据监控管理流程示意图。该流程可由数据监控管理系统实现。如图所示，该流程可包括：

步骤101：获取数据库中待配置监控规则的字段。

步骤102：根据该字段使用的监控指标，从通用规则库中为该字段选择对应的监控规则。

以前述通用规则库的数据结构为例，可根据待配置监控规则的字段使用的监控指标，从通用规则库中为该字段选择该监控指标对应的监控规则。比如，当前待配置监控规则的字段为“身份证号码”，该字段使用的监控指标为“身份证号码”的监控指标，其对应的监控指标id＝100，则可根据监控指标id＝100在通用规则库中查询到对应有3个监控规则，则将这3个监控规则选择为该字段的监控规则。

进一步地，在为一个字段选择监控规则时，可将该字段使用的监控指标对应的全部监控规则选择为该字段的监控规则，也可以根据需要将其中部分监控规则选择为该字段的监控规则。

步骤103：将选择的监控规则与该待配置监控规则的字段进行关联。

具体地，该步骤中，可将该字段与步骤102中所选择的监控规则在通用规则库中的索引信息进行关联。

进一步地，如果步骤102中为该字段选择监控指标对应的全部监控规则， 则在步骤103中，可将该监控指标的标识作为所选择的监控规则的索引信息与该字段进行关联；如果步骤102中为该字段选择监控指标对应的部分监控规则，则在步骤103中，可将该监控指标的标识加上所选择的监控规则的标识一起作为索引信息与该字段进行关联。

监控规则的索引信息与字段的关联方式可以有多种。作为一个例子，可创建一个映射表，用于存储字段与监控规则的索引信息之间的关联关系；作为另一个例子，可以针对数据表的字段创建指针，指向通用规则库中为该字段选择的监控规则；作为另一个例子，可采用数据引用方式，将为某个字段选择的监控规则与该字段进行关联。

通过以上描述可以看出，在为一个字段配置监控规则时，根据该字段使用的监控指标，从通用规则库中为该字段选择一个或多个对应的监控规则，并将选择的监控规则与该字段进行关联，从而实现了对数据进行监控规则的配置过程。由于通用规则库中包含预先设置的监控规则，在为一个字段配置监控规则时，只要为该字段选择合适的监控规则，并将监控规则与该字段进行关联即可，当需要调整监控规则时，只需对通用规则库进行更新，而无需重新对数据表或字段进行监控规则配置，与现有技术相比，简化了监控规则配置的复杂度，并提高了系统灵活性。

可选地，在上述实施例的基础上，在另外一些实施例中，可为字段配置该字段专用的监控规则。考虑到对于某些字段，由于其特殊性，通用规则库中配置的监控规则无法满足对该字段的某些方面的监控需求，这种情况下，通过为该字段配置该字段专用的监控规则，可以较全面地对该字段进行监控。举例来说，比如关于交易金额字段，通用的监控规则是检测交易金额的取值是否是一个大于0的整数，单位为分。但是在具体业务中，比如基金业务，有些基金要求是100元起申购，并且要求是100的整数倍，因此可针对基金业务中的“交易金额”字段增加一个专有的监控规则，用来检测该字段的取值是否大于10000(单位为分)，并且是10000的整数倍。

在具体实施时，可针对每个待进行监控规则配置的字段，按照上述方法进行监控规则的配置。

参见图2，为本发明实施例提供的数据监控流程示意图，该流程可由数据监控系统实现。如图所示，该流程可包括如下步骤：

步骤201：获取数据库中关联有监控规则的字段。

其中，字段与监控规则的关联方法可如图1所示，在此不再重复。当然，本申请实施例也不排除采用其他方式实现监控规则与字段的关联。

以采用前述实施例的方式对字段和监控规则进行关联为例，与该字段关联的监控规则为该字段使用的监控指标对应的全部或部分监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求。

所述通用规则库中可包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。其中，一个监控指标包含的监控维度可包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。具体可如前述实施例所述，在此不再重复。

步骤202：从通用规则库中获取该字段所关联的监控规则。

以采用前述实施例的方法对字段和监控规则进行关联为例，本步骤中，数据监控系统可根据步骤201中获取到的字段所关联的监控规则的索引信息，从通用规则库中获取与该索引信息对应的监控规则。

步骤203：根据获取到的监控规则对该字段的数据进行检查。

其中，如果步骤202中获取到多个监控规则，则步骤203中针对每个监控规则对该字段进行检查。例如，以“身份证号码”字段为例，获取到的与该字段关联的监控规则包括：数据类型监控规则(用于检测数据类型是否是整数型)、长度监控规则(用于检测数据的位数是否是18位)以及取值范围监控规则(用于检测取值范围是否在身份证号码有效取值范围之内)，则根据数据类型监控规则检测该“身份证号码”字段的取值是否是整数型数据、是否是18 位数据、取值范围是否在有效身份证号码取值范围之内。具体实施时，可针对一个或多个数据表中的所有(或部分)行的“身份证号码”字段的数据，根据该字段关联的监控规则进行检查，并输出检查结果。

进一步地，在步骤201中，如果该字段还配置有该字段所专有的监控规则，则获取为该字段配置的专有的监控规则，并根据该专有的监控规则对该字段的数据进行检查，以检查该字段的数据是否符合相应的要求或规定，比如是否有效、是否合法等。

通过以上描述可以看出，在进行数据监控时，获取数据库中关联有监控规则的字段，从通用规则库中获取所述字段所关联的监控规则，从通用规则库中获取所述字段所关联的监控规则。由于采用将字段与通用规则库中的监控规则进行关联的方式为字段配置监控规则，通用规则库中包含预先设置的监控规则，在为一个字段配置监控规则时，只要为该字段选择合适的监控规则，并将监控规则与该字段进行关联即可，当需要调整监控规则时，只需对通用规则库进行更新，而无需重新对数据表或字段进行监控规则配置，与现有技术相比，简化了监控规则配置的复杂度，并提高了系统灵活性。

基于相同的技术构思，本申请实施例还提供了一种数据监控管理系统，可实现如前述图1所示的流程。

参见图3，为本申请实施例提供的数据监控管理系统的结构示意图。该系统可包括：获取模块301、选择模块302、配置模块303，其中：

获取模块301，用于获取数据库中待配置监控规则的字段；

选择模块302，用于根据所述字段使用的监控指标，从通用规则库中为所述字段选择对应的监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求；

配置模块303，用于将选择的监控规则与所述字段进行关联。

优选地，选择模块302可具体用于：根据所述字段使用的监控指标，从通用规则库中为所述字段选择所述监控指标对应的全部或部分监控规则。

优选地，配置模块303可具体用于：将所述字段与所选择的监控规则在所述通用规则库中的索引信息进行关联。

优选地，配置模块303还可用于：根据所述字段使用的监控指标，为所述字段配置所述字段专用的监控规则。

可选地，该系统还可包括更新模块304(如图中虚线框所示)，用于更新所述通用规则库中的监控规则。

优选地，所述通用规则库中的监控规则根据以下维度中的一种或多种进行设置：数据类型、取值范围、数据格式以及是否允许为空。

优选地，一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。

优选地，所述通用规则库中包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。

基于相同的技术构思，本申请实施例还提供了一种数据监控系统，该系统可实现前述图2所示的流程。

参见图4，为本申请实施例提供的数据监控系统的结构示意图，如图所示，该系统可包括：第一获取模块401、第二获取模块402、监控执行模块403，其中：

第一获取模块401，用于获取数据库中关联有监控规则的字段；

第二获取模块402，用于从通用规则库中获取所述字段所关联的监控规则；

监控执行模块403，用于根据获取到的监控规则对所述字段的数据进行检查。

优选地，第二获取模块402可具体用于：根据所述字段所关联的监控规则的索引信息，从所述通用规则库中获取与所述索引信息对应的监控规则。

优选地，第一获取模块401还可用于获取为所述字段配置的所述字段专用的监控规则。相应地，监控执行模块403还可用于：根据所述字段专用的监控 规则对所述字段的数据进行检查。

可选地，该系统还可包括：更新模块404(如图中的虚线框所示)，用于更新所述通用规则库中的监控规则。

优选地，与所述字段关联的监控规则为所述字段使用的监控指标对应的全部或部分监控规则；其中，一个监控指标所对应的监控规则用来检测数据是否符合该监控指标的要求。

优选地，所述通用规则库中包括：监控指标的标识、监控规则的标识；或者，所述通用规则库中包括：监控指标的标识、监控规则的标识，以及监控规则的内容。

优选地，一个监控指标包含的监控维度包括以下维度中的一种或多种：数据类型、取值范围、数据格式，以及是否允许为空。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。