一种数据质量的检验方法及装置的制造方法
【技术领域】
[0001]本发明涉及数据处理技术领域，特别涉及一种数据质量的检验方法及装置。
【背景技术】
[0002]随着大数据技术在各个行业的逐步应用发展，来自各行业底层业务系统的源数据质量问题也逐步暴露，如何对源数据的质量进行检测，维持数据的稳定性，成为首要面对的问题。
[0003]现有技术中在对数据质量进行检验时，通常是利用比对历史数据的方式，即将数据仓库中的历史数据与源系统中的当前数据进行一一比对，得到检验结果。
[0004]但是这种方案中，需要比对不同环境下的数据，而从源系统到数据仓库的过程中历史数据经理了一定程度的转换，因此，在进行比对时，必须基于一致的转换规则，造成需要重复执行源系统到数据仓库的处理逻辑与多维度循环比较的操作，由此造成这种数据检验的方式效率低下。
【发明内容】
[0005]有鉴于此，本发明的目的在于提供了一种数据质量的检验方法及装置，用以解决现有技术中数据检验效率低下的技术问题。
[0006]本发明提供了一种数据质量的检验方法，包括:
[0007]接收检验请求；
[0008]响应于所述检验请求，获得检验队列，所述检验队列中具有待检验数据；
[0009]在数据仓库中获得第t-Ι日的第一存量数据及第t+Ι日的第二存量数据，所述第一存量数据与所述第二存量数据的属性不同，t为大于或等于2的正整数；
[0010]在所述检验队列中查找是否存在与所述第t-Ι日的第一存量数据属性相对应的第t日数据，得到第一检验结果；
[0011]在所述检验队列中查找是否存在与所述第t+i日的第二存量数据属性相对应的第t日数据，得到第二检验结果；
[0012]基于所述第一检验结果和所述第二检验结果，生成所述待检验数据的检验结果。
[0013]上述方法，优选的，获得当前的检验队列，包括:
[0014]响应于所述检验请求，判断在预设的预处理区域是否存在待检验数据，如果存在，将所述预处理区域的待检验数据发送到预设的检验队列;若不存在，利用预处理加工流获取待检验数据，并置于所述检验队列中。
[0015]上述方法，优选的，在数据仓库中获得第t-Ι日的第一存量数据及第t+Ι日的第二存量数据，包括:
[0016]在数据仓库中获得第t-Ι日的数据记录作为第一存量数据，所述数据记录具有唯一标示且对应数据库实体表中的行记录；
[0017]在数据仓库中获得第t+Ι日的数据记录的维度数据作为第二存量数据，所述维度数据对应所述实体表中数据记录的列维度值。
[0018]上述方法，优选的，在生成所述待检验数据的检验结果之后，所述方法还包括:
[0019]在所述检验结果表征所述待检验数据存在第t日的数据缺失时，对所述待检验数据进行修复；
[0020]将修复后的待检验数据置入所述数据仓库中。
[0021]上述方法，优选的，在生成所述待检验数据的检验结果之后，所述方法还包括:
[0022]将所述检验结果进行传输。
[0023]本发明还提供了一种数据质量的检验装置，包括:
[0024]请求接收单元，用于接收检验请求；
[0025]队列获得单元，用于响应于所述检验请求，获得检验队列，所述检验队列中具有待检验数据；
[0026]存量获取单元，用于在数据仓库中获得第t-Ι日的第一存量数据及第t+Ι日的第二存量数据，所述第一存量数据与所述第二存量数据的属性不同，t为大于或等于2的正整数；
[0027]第一检验单元，用于在所述检验队列中查找是否存在与所述第t-Ι日的第一存量数据属性相对应的第t日数据，得到第一检验结果；
[0028]第二检验单元，用于在所述检验队列中查找是否存在与所述第t+Ι日的第二存量数据属性相对应的第t日数据，得到第二检验结果；
[0029]结果生成单元，用于基于所述第一检验结果和所述第二检验结果，生成所述待检验数据的检验结果。
[0030]上述装置，优选的，所述队列获得单元包括:
[0031]数据判定子单元，用于响应于所述检验请求，判断在预设的预处理区域是否存在待检验数据，如果存在，触发数据发送子单元，若不存在，触发数据获取子单元；
[0032]数据发送子单元，用于将所述预处理区域的待检验数据发送到预设的检验队列；
[0033]数据获取子单元，用于利用预处理加工流获取待检验数据，并置于所述检验队列中。
[0034]上述装置，优选的，所述存量获取单元包括:
[0035]记录获取子单元，用于在数据仓库中获得第t-Ι日的数据记录作为第一存量数据，所述数据记录具有唯一标示且对应数据库实体表中的行记录；
[0036]维度获取子单元，用于在数据仓库中获得第t+日的维度数据作为第二存量数据，所述维度数据对应所述实体表中数据记录的列维度值。
[0037]上述装置，优选的，还包括:
[0038]数据修复单元，用于在所述检验结果表征所述待检验数据存在第t日的数据缺失时，对所述待检验数据进行修复；
[0039]数据置入单元，用于将修复后的待检验数据置入所述数据仓库中。
[0040]上述装置，优选的，还包括:
[0041 ]结果传输单元，用于将所述检验结果进行传输。
[0042]由上述方案可知，本发明提供的一种数据质量的检验方法及装置，通过对待检验数据中在不同属性的角度上对前后两日的存量数据进行数据比对，从而判断出是否发生数据缺失，实现数据稳定性的检验。本发明中仅利用前后两日的存量数据进行数据比对，因此，在大数据量条件下具有占用空间小、处理速度快的特点，从而提高数据质量的检验效率，也不会影响用户的其他查询效率。
【附图说明】
[0043]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0044]图1为本发明实施例一提供的一种数据质量的检验方法的流程图；
[0045]图2为本发明实施例二提供的一种数据质量的检验方法的部分流程图；
[0046]图3为本发明实施例三提供的一种数据质量的检验方法的部分流程图；
[0047]图4为本发明实施例四提供的一种数据质量的检验方法的流程图；
[0048]图5为本发明实施例五提供的一种数据质量的检验方法的流程图；
[0049]图6为本发明实施例六提供的一种数据质量的检验装置的结构示意图；
[0050]图7为本发明实施例七提供的一种数据质量的检验装置的部分结构示意图；
[0051 ]图8为本发明实施例八提供的一种数据质量的检验装置的部分结构示意图；
[0052]图9为本发明实施例九提供的一种数据质量的检验装置的结构示意图；
[0053]图10为本发明实施例十提供的一种数据质量的检验装置的结构示意图。
【具体实施方式】
[0054]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实