数据质量监控方法、系统及存储介质与流程

本申请涉及数据信息相关技术领域，具体涉及一种数据质量监控方法、系统及存储介质。

背景技术：

随着科学技术的发展，数据的传递和采集越来越方便。目前很多的企业都会基于大量数据进行决策。如此数据质量较差时，会对企业造成大量的损失。其中数据质量差包括：数据不全，数据存在错误，数据存在未定义枚举值等问题。

目前的监控数据质量的方法主要是监控数据的流通传输过程避免数据被更改。

但是，这种方式只可以保证数据在传输过程中不会出错，无法监控数据的本身质量。

技术实现要素：

本申请提供一种数据质量监控方法、系统及存储介质，以解决目前没有监控数据的本身质量手段的问题。

本申请提供一种数据质量监控方法、系统及存储介质，包括：

监控元数据是否存在被修改的情况，若存在修改则告警；

监控元数据是否完整，若不完整则告警；

对已存储的数据进行监控，若发现已存储的数据存在异常，分析异常原因，并告警；

基于所述监控的结果生成数据质量分析报告。

可选的，监控元数据是否存在被修改,包括：

检测元数据是否被物理删除。

可选的，所述监控元数据是否完整，包括：

检测元数据是否有新增未定义的枚举值，若存在则元数据不完整；

检测枚举值是否有备注，若没有备注则元数据不完整；

检测枚举值是否有索引，若没有索引则元数据不完整。

可选的，所述对已存储的数据进行监控，包括：

对已存储的数据数据如总数据量环比差异监控，字段重复值监控，字段异常值监控，指标运算环比异常监控。

可选的，基于所述监控的结果生成数据质量分析报告，包括：

汇总所述检测的结果以生成数据质量分析报告。

可选的，所述告警的方式包括：

向预留的号码发送短信以告警。

可选的，所述告警的方式包括：

向预留的邮箱发送邮箱以告警。

可选的，所述告警的方式包括：

发出提示音或点亮指示灯以告警。

可选的，包括：处理器和存储器；

所述处理器与存储器通信连接：

其中，所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储程序，所述程序至少用于执行权利要求1～8任一项所述的螺纹维修方法的各个步骤。

本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现本申请所述的数据质量监控方法的各个步骤。

本申请的提供的数据质量监控方法中，可以监控元数据是否存在被修改的情况，若存在修改则告警；监控元数据是否完整，若不完整则告警；对已存储的数据进行监控，若发现已存储的数据存在异常，分析异常原因，并告警；基于监控的结果生成数据质量分析报告。如此完成对于数据质量的监控，当数据质量差时(例如元数据不完整，元数据被修改，已存储的数据存在异常等情况)及时告警，提醒数据的拥有者该数据质量情况，避免数据的拥有者依照该数据做出不合适的决策。如此完成对于数据质量的监控。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例一提供一种数据质量监控方法的流程示意图；

图2为本申请实施例二提供一种数据质量监控系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

随着科学技术的发展，数据的传递和采集越来越方便。目前很多的企业都会基于大量数据进行决策。如此数据质量较差时，会对企业造成大量的损失。其中数据质量差包括：数据不全，数据存在错误，数据存在未定义枚举值等问题。

目前的监控数据质量的方法主要是监控数据的流通传输过程避免数据被更改。

但是，这种方式只可以保证数据在传输过程中不会出错，无法监控数据的本身质量。为了解决上述问题，本申请提供了一种数据质量监控方法、系统及存储介质。

实施例一

图1为本申请实施例一提供一种数据质量监控方法的流程示意图。参照图1，本申请提供的数据质量监控方法包括：

s101，监控元数据是否存在被修改的情况，若存在修改则告警；

其中，监控元数据是否存在被修改包括：检测元数据是否被物理删除；

需要了解的是，删除数据的方式有两种，一种是“逻辑删除”，另一种叫“物理删除”。

逻辑删除顾名思义，文件没有被真正的删除，只不过是文件名的第一个字节被改成操作系统无法识别的字符，通常这种删除操作是可逆的，就是说用适当的工具或软件可以把删除的文件恢复出来。物理删除是指文件存储所用到的磁存储区域被真正的擦除或清零，这样删除的文件是不可以恢复的。这两种删除方式均可以通过相关程序进行检测。

s102，监控元数据是否完整，若不完整则告警；

进一步的，查看数据是否完整包括：

检测元数据是否有新增未定义的枚举值，若存在则元数据不完整；

检测枚举值是否有备注，若没有备注则元数据不完整；

检测枚举值是否有索引，若没有索引则元数据不完整。

实际应用中数据的完整性包含很多条件，本申请中以元数据没有新增未定义的枚举值，每一项枚举值都具有备注和索引作为判断数据完整的必要条件。

枚举是一种固定的类型，并且一个枚举对应着几个定义好的值，就称为枚举值。例如:定义了week这个枚举，既然是week(星期),它的值会有七个，星期一到星期天，而这七个每个都是称为枚举值。

s103，对已存储的数据进行监控，若发现已存储的数据存在异常，分析异常原因，并告警；

其中，告警的方式有多种，具体的告警方式可以为以下几种：向预留的号码发送短信以告警；向预留的邮箱发送邮箱以告警；发出提示音或点亮指示灯以告警。

s104，基于监控的结果生成数据质量分析报告。

本申请的提供的数据质量监控方法中，可以监控元数据是否存在被修改，若存在修改则告警；监控元数据是否完整，若不完整则告警；对已存储的数据进行监控，若发现已存储的数据存在异常，分析异常原因，并告警；基于监控的结果生成数据质量分析报告。如此完成对于数据质量的监控，当数据质量差时(例如元数据不完整，元数据被修改，已存储的数据存在异常等情况)及时告警，提醒数据的拥有者该数据质量情况，避免数据的拥有者依照该数据做出不合适的决策。如此完成对于数据质量的监控。

实际应用中，本申请从数据的生成、传输、存储等各个过程进行数据监控。

在数据生成的过程中：

本申请提供的方法中，监控元数据是否存在被修改(主要是检测元数据是否被物理删除)可以有效的放置数据被修改；进一步的，检测元数据是否有新增未定义的枚举值，若存在则元数据不完整；检测枚举值是否有备注，若没有备注则元数据不完整；检测枚举值是否有索引，若没有索引则元数据不完整。如此保证了数据生成时的完整性，同时若数据不达要求则进行告警，以便于相关人员及时多数据进行补充，此处告警的方式可以为发出提示音告警，提示音告警可以及时的通知相关人员，并且数据生成录入时，一般会有相关人员位于电脑等录入设备之前，所以通过录入设备发出提示音可以尽快的提示相关人员。

在数据存储过程中：

本申请提供的方法中，对已存储的数据进行监控，若发现已存储的数据存在异常，分析异常原因，并告警；

其中，对已存储的数据进行监控主要方式为：对已存储的数据进行总数据量环比差异监控，字段重复值监控，字段异常值监控，指标运算环比异常监控。通过总数据量环比差异监控，字段重复值监控，字段异常值监控，指标运算环比异常监控不仅仅可以监控数据的变化，还可以生成数据报告。此时告警的方式可以选择向预留的号码发送短信以告警或向预留的号码拨打电话告警。发送短信和拨打电话进行告警不仅快速还可以脱离距离限制。无论需要告知的人员是否在存储设备或办公区域附近都可以及时的向需要告知的人员告警。

需要了解的是，总数据量环比差异监控可以监控数据总量环比变化，当变化较大时获变化出现异常时(例如数据总量忽然变多或变少)及时告警，以便于相关人员及时对数据的流转过程进行排查，检测到数据总量变化的原因。同样的字段重复值监控，字段异常值监控，指标运算环比异常监控均可以在检测结果超出预设范围时进行告警，以便于相关人员及时对数据的流转过程进行排查。

进一步的，本申请还可以汇总检测的结果以生成数据质量分析报告。

检测报告主要有以下两个目的：一是，监控数据生成存储各个环节中出错的步骤，以便于进行后续的改正；二是，合理的利用质量分析报告，分析一些数据所可以表达的对公司或企业有帮助的信息，合理的利用数据。

检测报告生成后，可以向预定的邮箱发送邮件。为了更好的提醒相关人员进行接收，还可以同时向预留的电话号码发送短信或拨打电话，以便于相关人员尽快的接收邮件。

实施例二

图2为本申请实施例二提供一种数据质量监控系统的结构示意图。参照图2，本申请提供的数据质量监控系统包括：处理器202和存储器201；

处理器202与存储器201通信连接：

其中，处理器202，用于调用并执行存储器201中存储的程序；

存储器201，用于存储程序，程序至少用于实施例一提供的数据质量监控方法的各个步骤。

如此设置，本申请的提供的数据质量监控系统，可以监控元数据是否存在被修改，若存在修改则告警；监控元数据是否完整，若不完整则告警；对已存储的数据进行监控，若发现已存储的数据存在异常，分析异常原因，并告警；基于监控的结果生成数据质量分析报告。如此完成对于数据质量的监控，当数据质量差时(例如元数据不完整，元数据被修改，已存储的数据存在异常等情况)及时告警，提醒数据的拥有者该数据质量情况，避免数据的拥有者依照该数据做出不合适的决策。如此完成对于数据质量的监控。

实施例三

本申请还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如权利要求实施例一提供的数据质量监控方法的各个步骤。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。