一种数据违规监控方法及装置与流程

本发明涉及数据监控技术领域，尤其涉及一种数据违规监控方法及装置。

背景技术：

随着信息技术的发展和信息化的深入，数据逐步成为企业宝贵的战略性资产。主数据管理正是从企业杂乱的数据中捕捉那些具有高业务价值的、被企业内各个业务部门重复使用的关键数据进行管理，构建单一、准确、权威的数据来源，从而提高企业的整体数据质量，提升数据资产价值，推动业务创新，全面增强企业竞争力。

随着信息化的不断发展，数据情况越来越复杂，对日常储存的数据监控提出了更高的要求。以往数据维护都是很难解决的现实问题，需要安排特定人员完成监测工作，由于人工监控的方式非常容易将出现的异常情况忽视，因此，迫切需要对数据违规监控功能进行针对性的开发和研究。

现有数据违规监控过程中，针对每一项元数据设置相应的校验规则，需为每个数据对象的校验规则编写专门的代码。当需求发生变化时，需不断进行代码开发，增加了开发成本，造成了不必要的浪费，进而导致数据监控效率降低。因此，这种模式无法满足在企业发展过程中，数据对象不断增加、业务对象不断转化而引起的数据违规监测出现变化的需求。

技术实现要素：

鉴于上述的分析，本发明旨在提供一种数据违规监控方法及装置，用以解决现有违规监测过程中根据元数据编写对应的校验规则造成的监控效率较低的问题。

本发明的目的主要是通过以下技术方案实现的：

一种数据违规监控方法，步骤如下：

获取数据对象以及包括元数据、表间关系和映射关系在内的数据对象的数据信息；

根据所述数据对象的元数据，通过配置条件判断模板，生成n种判断条件，用于对所述数据对象进行条件资源分类；通过配置校验规则模板，使得每一种判断条件对应一种校验规则；以此建立校验规则库；

从所述校验规则库中，筛选出所述数据对象的每个元数据对应的一种或多种校验规则，得到针对当前数据对象的校验规则包；

录入所述数据对象主体数据；根据所述校验规则包中每个元数据对应的每一校验规则的判断条件，按顺序对所述数据对象的元数据进行判断，当所述数据对象主数据中所有的元数据均校验合格时，将经过校验后的主体数据录入到数据库。

本发明有益效果如下：通过设置条件判断模板及校验规则模板生成校验规则库，利用校验规则库生成的校验规则包对数据对象主体数据进行监控，无需针对每个元数据编写专门的代码，降低了开发成本；同时，本发明中设置的针对数据对象的数据包，能够一次性完成数据对象中所有元数据、元数据对应的所有校验规则的检验，有效提高数据违规监控的准确度和监控效率。

在上述方案的基础上，本发明还做了如下改进：

进一步，校验规则库的建立方法，包括：

步骤s201、筛选数据对象的数据信息中的元数据信息；

步骤s202、对设定的条件判断模板进行参数设置，生成n种判断条件对元数据的分类进行判断；

步骤s203、对设定的校验规则模板进行参数设置，使得每一种判断条件对应一种校验规则；

步骤s204、将元数据信息、n种判断条件及于判断条件对应的校验规则进行汇总、保存，形成针对于数据对象元数据的校验规则库。

采用上述进一步方案的有益效果是：通过给出建立校验规则库的具体方式，能够建立起元数据、条件判断模板、规则校验模板之间的关联关系，通过规则配置即可满足各种校验规则，而无需编写专门的代码，降低开发成本；

进一步，所述条件判断模板，用于，

获取条件判断的主体对象；

提供函数运算关系式；

提供全面的运算关系符；

提供包括数值、字符、日期、引用关系在内的判断常量值；

通过对条件判断模板进行设置，选取模板中提供的判断常量值和运算关系符建立条件判断的运算关系式，用于对条件判断的主体对象进行分类。

进一步，所述校验规则模板至少包括：

6)完整性校验：字段值非空；

7)唯一性校验：字段重复检查；

8)权威性校验：字段值是否符合格式、长度要求；

9)合法性校验：字段值在对应引用关系要求；

10)一致性校验：字段值等于某项目值。

进一步，所述校验规则模板还包括自定义式模板，所述自定义式模板通过设置表达式的方式实现，所述表达式通过以下控件任意组合得到：

并且、或者、如果、就、否则、包含、不包含、非、为空、非空。

采用上述进一步方案的有益效果是：当普通的规则模板无法满足应用需求时，可通过自定义模板，实现规则校验，满足不同场景、不同业务下对元数据的规则校验需求。

进一步，对数据对象进行规则校验的方法包括：

步骤s401、对数据对象主体数据进行录入；

步骤s402、顺序获取录入数据对象主体的元数据；

步骤s403、根据校验规则包，判断所述元数据是否满足相应的一条或多条校验规则，若满足，所述数据对象主体数据校验合格，将经过校验后的主体数据录入数据库。

采用上述进一步方案的有益效果是：利用本发明中设置的针对数据对象的数据包，能够一次性完成数据对象中所有元数据、元数据对应的所有校验规则的校验，有效提高数据违规监控的准确度和监控效率。

进一步，当所述数据对象主体数据校验不合格时，将入库失败的主体数据进行缓存，并根据校验失败的元数据对应的校验规则，并对校验失败的主体数据中的元数据进行违规提示。

进一步，根据所述违规提示修改违规主体数据元数据，重新录入所述数据对象主体数据，对其进行校验。

一种数据违规监控装置，包括数据对象获取模块、校验规则库生成模块、校验规则包生成模块和数据对象监控模块；

所述数据对象获取模块，用于获取数据对象以及包括元数据、表间关系和映射关系在内的数据对象的数据信息；

所述校验规则库生成模块与所述数据对象获取模块连接，根据所述数据对象的元数据，通过配置条件判断模板，生成n种判断条件，用于对所述数据对象进行条件资源分类；通过配置校验规则模板，使得每一种判断条件对应一种校验规则；以此建立校验规则库；

所述校验规则包生成模块与所述校验规则库生成模块连接，用于从所述校验规则库中，筛选出所述数据对象的每个元数据对应的一种或多种校验规则，得到针对当前数据对象的校验规则包；

数据对象监控模块与所述数据对象获取模块和所述所述校验规则包生成模块连接，用于录入所述数据对象主体数据；根据所述校验规则包中每个元数据对应的每一校验规则的判断条件，按顺序对所述数据对象的元数据进行判断，当所述数据对象主数据中所有的元数据均校验合格时，将经过校验后的主体数据录入到数据库。

进一步，所述校验规则库生成模块包括：数据信息获取模块、条件判断模板、条件设置模块、校验规则模板，

所述数据信息获取模块，用户获取数据对象的数据信息中的元数据信息；

所述条件判断模板，为预先设定的，内部包含生成条件判断式的所有要素；

所述条件设置模块，用于设置条件判断模板，生成n种判断条件对元数据的分类进行判断；

所述校验规则模板，为预先设定的，内部包含生成校验规则的所有要素；

所述校验规则设置模块，用于设置所述校验规则模板，使得每一种判断条件对应一种校验规则；

所述汇总存储模块，用于将元数据信息、n种判断条件及于判断条件对应的校验规则进行汇总、保存，形成针对于数据对象元数据的校验规则库。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中的数据违规监控方法流程图；

图2为本发明实施例中的校验规则库的建立方法流程图；

图3为本发明实施例中的数据违规监控装置组成连接示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种数据违规监控方法，如图1所示，步骤如下：

步骤s1：获取数据对象以及包括元数据、表间关系和映射关系在内的数据对象的数据信息；

步骤s2：根据所述数据对象的元数据，通过配置条件判断模板，生成n种判断条件，用于对所述数据对象进行条件资源分类；通过配置校验规则模板，使得每一种判断条件对应一种校验规则；以此建立校验规则库；

步骤s3：从所述校验规则库中，筛选出所述数据对象的每个元数据对应的一种或多种校验规则，得到针对当前数据对象的校验规则包；

步骤s4：录入所述数据对象主体数据；根据所述校验规则包中每个元数据对应的每一校验规则的判断条件，按顺序对所述数据对象的元数据进行判断，当所述数据对象主数据中所有的元数据均校验合格时，将经过校验后的主体数据录入到数据库。

与现有技术相比，本实施例提供的一种数据违规监控方法，通过设置条件判断模板及校验规则模板生成校验规则库，利用校验规则库生成的校验规则包对数据对象主体数据进行监控，无需针对每个元数据编写专门的代码，降低了开发成本；同时，本发明中设置的针对数据对象的数据包，能够一次性完成数据对象中所有元数据、元数据对应的所有校验规则的检验，有效提高数据违规监控的准确度和监控效率。

优选地，如图2所示，校验规则库的建立方法，包括：

步骤s201、筛选数据对象的数据信息中的元数据信息；

步骤s202、对设定的条件判断模板进行参数设置，生成n种判断条件对元数据的分类进行判断；

具体的，所述条件判断模板，用于，

获取条件判断的主体对象；

提供函数运算关系式；

提供全面的运算关系符；

提供包括数值、字符、日期、引用关系在内的判断常量值；

通过对条件判断模板进行设置，选取模板中提供的判断常量值和运算关系符建立条件判断的运算关系式，用于对条件判断的主体对象进行分类。

步骤s203、对设定的校验规则模板进行参数设置，使得每一种判断条件对应一种校验规则；

具体地，所述校验规则模板可以包括以下形式：

1)完整性校验：字段值非空；

2)唯一性校验：字段重复检查；

3)权威性校验：字段值是否符合格式、长度要求；

4)合法性校验：字段值在对应引用关系要求；

5)一致性校验：字段值等于某项目值。

还可以根据数据对象的要求设计其他校验规则模板。

步骤s204、将元数据信息、n种判断条件及于判断条件对应的校验规则进行汇总、保存，形成针对于数据对象元数据的校验规则库。

在某一种判断条件下，通过对校验规则模板中的参数进行设置，形成与判断条件对应的校验格式，具体的参数设定根据使用者的要求任意设定，不是本发明的保护要点。

为扩展本发明中方法的适用范围，满足不同场景不同业务下对数据的控制。所述校验规则模板还可以包括自定义式模板，所述自定义式模板通过设置表达式的方式实现，所述表达式通过以下控件任意组合得到：并且、或者、如果、就、否则、包含、不包含、非、为空、非空。这9个控件可以自由组合设置多种规则。例如要设置当人员属于a单位时，他的所属部门不能为空，那我们可以设置表达式【如果组织类型＝a单位就所属部门非空】来实现。

优选地，对数据对象进行规则校验的方法包括：

步骤s401、对数据对象主体数据进行录入；

步骤s402、顺序获取录入数据对象主体的元数据；

步骤s403、根据校验规则包，判断所述元数据是否满足相应的一条或多条校验规则，若满足，所述数据对象主体数据校验合格，将经过校验后的主体数据录入数据库。

优选地，当所述数据对象主体数据校验不合格时，将入库失败的主体数据进行缓存，并根据校验失败的元数据对应的校验规则，并对校验失败的主体数据中的元数据进行违规提示。

优选地，根据所述违规提示修改违规主体数据元数据，重新录入所述数据对象主体数据，对其进行校验。

当连续入库失败的主体数据超过一定数量时，停止接收待入库的主体数据，根据所述违规提示，分析所述主体数据入库失败的原因，待对后续数据进行修改后，继续接收待入库的主体数据。

在本发明的另一实施例中，提供了一种数据违规监控装置，如图3所示，包括数据对象获取模块、校验规则库生成模块、校验规则包生成模块和数据对象监控模块；

所述数据对象获取模块，用于获取数据对象以及包括元数据、表间关系和映射关系在内的数据对象的数据信息；

所述校验规则库生成模块与所述数据对象获取模块连接，根据所述数据对象的元数据，通过配置条件判断模板，生成n种判断条件，用于对所述数据对象进行条件资源分类；通过配置校验规则模板，使得每一种判断条件对应一种校验规则；以此建立校验规则库；

所述校验规则包生成模块与所述校验规则库生成模块连接，用于从所述校验规则库中，筛选出所述数据对象的每个元数据对应的一种或多种校验规则，得到针对当前数据对象的校验规则包；

数据对象监控模块与所述数据对象获取模块和所述所述校验规则包生成模块连接，用于录入所述数据对象主体数据；根据所述校验规则包中每个元数据对应的每一校验规则的判断条件，按顺序对所述数据对象的元数据进行判断，当所述数据对象主数据中所有的元数据均校验合格时，将经过校验后的主体数据录入到数据库。

优选地，所述校验规则库生成模块包括：数据信息获取模块、条件判断模板、条件设置模块、校验规则模板，

所述数据信息获取模块，用户获取数据对象的数据信息中的元数据信息；

所述条件判断模板，为预先设定的，内部包含生成条件判断式的所有要素；

所述条件设置模块，用于设置条件判断模板，生成n种判断条件对元数据的分类进行判断；

所述校验规则模板，为预先设定的，内部包含生成校验规则的所有要素；

所述校验规则设置模块，用于设置所述校验规则模板，使得每一种判断条件对应一种校验规则；

所述汇总存储模块，用于将元数据信息、n种判断条件及于判断条件对应的校验规则进行汇总、保存，形成针对于数据对象元数据的校验规则库。

上述方法实施例和装置实施例，基于相同的原理，其相关之处可相互借鉴，且能达到相同的技术效果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。