本发明数据仓库,尤其是涉及一种数据仓库的数据质量校验系统及校验方法。
背景技术:
1、面对开发人员不足的情况下,数据仓库的数据质量能够有效提高开发人员数据处理的效率。现有技术中,开发人员针对数据仓库的数据质量的校验往往存在定位数据不一致的情形,影响开发人员数据处理的效率。
技术实现思路
1、本发明提供了一种数据仓库的数据质量校验系统及校验方法的处理方法,以解决现有技术中数据仓库的数据质量的校验存在定位数据不一致的技术问题。
2、本发明的一个方面在于提供一种数据仓库的数据质量校验系统,所述数据质量校验系统包括:
3、odbc配置模块,用于对不同的数据仓库配置不同的odbc数据驱动,连接不同的数据仓库;
4、校验表生成模块,用于配置数据仓库的库表,生成校验表;预警表生成模块,用于配置数据仓库的库表,生成预警表;
5、数据校验引擎,用于调用所述校验表,并生成数据质量监控表;
6、元数据单元,用于存储所述校验表、所述预警表,以及所述数据质量监控表;
7、数据预警引擎,用于调用所述预警表和所述数据质量监控表,并关联预警表中待校验的库表和所述数据质量监控表中待校验的库表,对待校验的库表进行校验。
8、在一个优选的实施例中,所述校验表在excel的第一工作页中生成,其中,所述校验表中以行排列多个库表;
9、所述预警表在excel的第二工作页中生成,其中,所述预警表中以行排列多个库表;
10、所述数据质量监控表在excel的第二工作页中生成,其中,所述数据质量监控表中以行排列多个库表。
11、在一个优选的实施例中,所述校验表中的每个库表至少包括第一校验id;所述预警表中的每个库表至少包括第二校验id;所述数据质量监控表的每个库表至少包括第三校验id。
12、在一个优选的实施例中,数据预警引擎,根据预警表中的第二校验id和所述数据质量监控表的第三校验id,关联预警表中待校验的库表和数据质量监控表中待校验的库表。
13、在一个优选的实施例中,当所述数据质量监控表中待校验的库表的属性,与所述预警表中待校验的库表的属性不一致时,则进行预警。
14、本发明的另一个方面在于提供一种数据仓库的数据质量校验方法,所述校验方法包括如下方法步骤:
15、配置数据仓库的库表,生成校验表;校验表写入元数据单元;
16、数据校验引擎调用校验表,生成数据质量监控表;数据质量监控表写入元数据单元
17、配置数据仓库的数据表,生成预警表;预警表写入元数据单元;
18、数据预警引擎调用预警表和数据质量监控表,并关联预警表中待校验的库表和所述数据质量监控表中待校验的库表,对待校验的库表进行校验。
19、在一个优选的实施例中,数据仓库的库表,在excel的第一工作页中生成校验表,其中,所述校验表中以行排列多个库表;
20、数据仓库的数据表,在excel的第二工作页中生成预警表,其中,所述预警表中以行排列多个库表;
21、数据校验引擎调用校验表,在excel的第三工作页中生成数据质量监控表,其中,所述数据质量监控表中以行排列多个库表。
22、在一个优选的实施例中,所述校验表中的库表至少包括第一校验id;所述预警表中的每个库表至少包括第二校验id;所述数据质量监控表中的每个库表至少包括第三校验id。
23、在一个优选的实施例中,根据预警表中的第二校验id和所述数据质量监控表的第三校验id,关联预警表中待校验的库表和数据质量监控表中待校验的库表。
24、在一个优选的实施例中,当所述数据质量监控表中待校验的库表的属性,与所述预警表中待校验的库表的属性不一致时,则进行预警。
25、与现有技术相比,本发明具有以下有益效果:
26、本发明提供的一种数据仓库的数据质量校验系统及校验方法的处理方法,在excel中生成校验表、预警表,通过vba数据校验引擎,调用校验表,在excel中生成数据质量监控表,由vba数据预警引擎,调用预警表和数据质量监控表,并关联预警表中待校验的库表和数据质量监控表中待校验的库表,对待校验的库表进行校验,当数据质量监控表中待校验的库表的属性与预警表中待校验的库表的属性不一致时,则进行预警,能够第一时间获取具体某库表数据不一致问题,提高数据处理的效率。
1.一种数据仓库的数据质量校验系统,其特征在于,所述数据质量校验系统包括:
2.根据权利要求1所述的数据质量校验系统,其特征在于,所述校验表在excel的第一工作页中生成,其中,所述校验表中以行排列多个库表;
3.根据权利要求2所述的数据质量校验系统,其特征在于,所述校验表中的每个库表至少包括第一校验id;所述预警表中的每个库表至少包括第二校验id;所述数据质量监控表的每个库表至少包括第三校验id。
4.根据权利要求3所述的数据质量校验系统,其特征在于,数据预警引擎,根据预警表中的第二校验id和所述数据质量监控表的第三校验id,关联预警表中待校验的库表和数据质量监控表中待校验的库表。
5.根据权利要求1所述的数据质量校验系统,其特征在于,当所述数据质量监控表中待校验的库表的属性,与所述预警表中待校验的库表的属性不一致时,则进行预警。
6.一种数据仓库的数据质量校验方法,其特征在于,所述校验方法包括如下方法步骤:
7.根据权利要求6所述的数据质量校验方法,其特征在于,数据仓库的库表,在excel的第一工作页中生成校验表,其中,所述校验表中以行排列多个库表;
8.根据权利要求7所述的数据质量校验方法,其特征在于,所述校验表中的库表至少包括第一校验id;所述预警表中的每个库表至少包括第二校验id;所述数据质量监控表中的每个库表至少包括第三校验id。
9.根据权利要求8所述的数据质量校验方法,其特征在于,根据预警表中的第二校验id和所述数据质量监控表的第三校验id,关联预警表中待校验的库表和数据质量监控表中待校验的库表。
10.根据权利要求6所述的数据质量校验方法,其特征在于,当所述数据质量监控表中待校验的库表的属性,与所述预警表中待校验的库表的属性不一致时,则进行预警。