一种可配置化的数据稽查的系统及方法与流程

1.本发明涉及数据质量管理技术领域，具体为一种可配置化的数据稽查的系统及方法。


背景技术：

2.当前，许多传统企业都在进行数字化转型，而在数据化转型过程中，遇到的最棘手的问题就是数据质量问题。业务部门或者企业级数据仓库为了在历史数据脏乱差、报表数据不准确的情况下对数据进行治理，往往需要一个能够及时发现数据质量问题并进行反馈的数据稽查系统。
3.然而，常规数据稽查系统的可配置性较差，前端操作页面的布局和样式过于死板，个性化不足，用户体验差，且难以根据实际需求对质量核验规则和定时核验任务进行针对性配置，支持的任务类型较少，适用范围有限，工作可靠性差，无法满足审计部门的数据审计需求。


技术实现要素：

4.本发明的目的在于提供一种可配置化的数据稽查的系统及方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种可配置化的数据稽查的系统，包括稽查系统模块和规则管理模块，所述稽查系统模块与规则管理模块相互连接，稽查系统模块由前端操作页面模块、元数据后台管理模块、定时任务配置模块、检核任务执行模块和检核结果推送模块组成，前端操作页面模块分别与元数据后台管理模块的相互连接，元数据后台管理模块分别与定时任务配置模块、检核任务执行模块、检核结果推送模块和规则管理模块相互连接。
6.优选的，所述前端操作页面模块由数据质量概览模块、我的订阅查看模块、监控规则查看模块、核验任务查询模块和操作页面配置模块组成，数据质量概览模块、我的订阅查看模块、监控规则查看模块、核验任务查询模块和操作页面配置模块均与元数据后台管理模块相互连接。
7.优选的，所述定时任务配置模块由自动化调度模块、核验规则调度模块、核验数据调度模块和定时任务生成模块组成，自动化调度模块的输入端与元数据后台管理模块的输出端连接，自动化调度模块的输出端与核验规则调度模块的输入端连接，核验规则调度模块的输出端与核验数据调度模块的输入端连接，核验数据调度模块的输出端与定时任务生成模块的输入端连接，定时任务生成模块的输出端与元数据后台管理模块的输入端连接。
8.优选的，所述检核任务执行模块由核验任务发放模块、分布集群执行模块和核验任务反馈模块组成，核验任务发放模块的输入端与元数据后台管理模块的输出端连接，核验任务发放模块的输出端与分布集群执行模块的输入端连接，分布集群执行模块的输出端与核验任务反馈模块的输入端连接，核验任务反馈模块的输出端与元数据后台管理模块的
的输入端连接。
9.优选的，所述检核结果推送模块由数据质量分析模块、质量报告生成模块和质量报告推送模块组成，数据质量分析模块的输入端与元数据后台管理模块的输出端连接，数据质量分析模块的输出端与质量报告生成模块的输入端连接，质量报告生成模块的输出端与质量报告推送模块的输入端连接，质量报告推送模块的输出端与元数据后台管理模块的输入端连接。
10.优选的，所述规则管理模块由规则模板设定模块、规则实体构建模块、检核规则解析模块、计算集群执行模块和规则结果推送模块组成，规则模板设定模块的输入端与元数据后台管理模块的输出端连接，规则模板设定模块的输出端与规则实体构建模块的输入端连接，规则实体构建模块的输出端与检核规则解析模块的输入端连接，检核规则解析模块的输出端与计算集群执行模块的输入端连接，计算集群执行模块的输出端与规则结果推送模块的输入端连接，规则结果推送模块的输出端与元数据后台管理模块的输入端连接。
11.一种可配置化的数据稽查的方法，包括以下步骤：步骤一，查看；步骤二，管理；步骤三，配置；步骤四，核验；步骤五，推送；其中上述步骤一中，通过稽查系统模块的前端操作页面模块进行前端操作，再利用数据质量概览模块阅览最新数据的质量问题报告，利用我的订阅查看模块阅览特定数据的质量问题报告，利用监控规则查看模块阅览系统现有的检核规则，利用核验任务查询模块阅览特定任务的核验结果，利用操作页面配置模块调整前端操作页面的样式；其中上述步骤二中，通过元数据后台管理模块向规则管理模块传输指令，根据稽查需求利用规则模板设定模块设定新的数据核验规则和sql语句模板，并利用规则实体构建模块构件出多个新数据核验规则实体，再利用检核规则解析模块解析新数据核验规则实体的元信息，并利用计算集群执行模块发送给计算集群，经大数据验证后利用规则结果推送模块将新的数据核验规则保存至元数据后台管理模块；其中上述步骤三中，通过元数据后台管理模块向定时任务配置模块传输指令，根据稽查需求利用自动化调度模块设定自动调度数据进行稽查的特定时间，并利用核验规则调度模块设定稽查特定数据的特定核验规则，再利用核验数据调度模块设定特定数据的调用范畴，并利用定时任务生成模块生成特定数据的定时核验任务，得到新定时数据核验任务，保存至元数据后台管理模块；其中上述步骤四中，满足新定时数据核验任务的定时配置后，通过元数据后台管理模块向检核任务执行模块传输指令，根据稽查需求利用核验任务发放模块将新定时数据核验任务发送给分布集群中特定的计算集群，并利用分布集群执行模块运行特定的计算集群执行新定时数据核验任务，再利用核验任务反馈模块将特定数据的质量问题核验结果反馈给元数据后台管理模块；其中上述步骤五中，通过元数据后台管理模块向检核结果推送模块传输指令，根据稽查需求利用数据质量分析模块对特定数据的质量问题核验结果进行分析，并利用质量报告生成模块生成特定数据的质量问题报告，再利用质量报告推送模块将特定数据的质量问题报告保存至元数据后台管理模块，以便用户查看。
12.与现有技术相比，本发明的有益效果是：该可配置化的数据稽查的系统及方法，在现有的定时任务调度工具基础上，利用大数据计算引擎构建分布式、去中心化、可配置化的
规则配置和执行系统，前端操作页面的布局和样式丰富，个性化强，用户体验好，且能根据实际需求对质量核验规则和定时核验任务进行针对性配置，支持的任务类型多，适用范围光，工作可靠，满足了审计部门的数据审计需求。
附图说明
13.图1为本发明的系统构架图；图2为本发明的系统流程图；图3为本发明的方法流程图；图中：1、稽查系统模块；11、前端操作页面模块；111、数据质量概览模块；112、我的订阅查看模块；113、监控规则查看模块；114、核验任务查询模块；115、操作页面配置模块；12、元数据后台管理模块；13、定时任务配置模块；131、自动化调度模块；132、核验规则调度模块；133、核验数据调度模块；134、定时任务生成模块；14、检核任务执行模块；141、核验任务发放模块；142、分布集群执行模块；143、核验任务反馈模块；15、检核结果推送模块；151、数据质量分析模块；152、质量报告生成模块；153、质量报告推送模块；2、规则管理模块；21、规则模板设定模块；22、规则实体构建模块；23、检核规则解析模块；24、计算集群执行模块；25、规则结果推送模块。
具体实施方式
14.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.请参阅图1-2，本发明提供的一种实施例：一种可配置化的数据稽查的系统，包括稽查系统模块1和规则管理模块2，稽查系统模块1与规则管理模块2相互连接，稽查系统模块1由前端操作页面模块11、元数据后台管理模块12、定时任务配置模块13、检核任务执行模块14和检核结果推送模块15组成，前端操作页面模块11分别与元数据后台管理模块12的相互连接，元数据后台管理模块12分别与定时任务配置模块13、检核任务执行模块14、检核结果推送模块15和规则管理模块2相互连接，前端操作页面模块11由数据质量概览模块111、我的订阅查看模块112、监控规则查看模块113、核验任务查询模块114和操作页面配置模块115组成，数据质量概览模块111、我的订阅查看模块112、监控规则查看模块113、核验任务查询模块114和操作页面配置模块115均与元数据后台管理模块12相互连接，定时任务配置模块13由自动化调度模块131、核验规则调度模块132、核验数据调度模块133和定时任务生成模块134组成，自动化调度模块131的输入端与元数据后台管理模块12的输出端连接，自动化调度模块131的输出端与核验规则调度模块132的输入端连接，核验规则调度模块132的输出端与核验数据调度模块133的输入端连接，核验数据调度模块133的输出端与定时任务生成模块134的输入端连接，定时任务生成模块134的输出端与元数据后台管理模块12的输入端连接，检核任务执行模块14由核验任务发放模块141、分布集群执行模块142和核验任务反馈模块143组成，核验任务发放模块141的输入端与元数据后台管理模块12的输出端连接，核验任务发放模块141的输出端与分布集群执行模块142的输入端连接，分布
集群执行模块142的输出端与核验任务反馈模块143的输入端连接，核验任务反馈模块143的输出端与元数据后台管理模块12的的输入端连接，检核结果推送模块15由数据质量分析模块151、质量报告生成模块152和质量报告推送模块153组成，数据质量分析模块151的输入端与元数据后台管理模块12的输出端连接，数据质量分析模块151的输出端与质量报告生成模块152的输入端连接，质量报告生成模块152的输出端与质量报告推送模块153的输入端连接，质量报告推送模块153的输出端与元数据后台管理模块12的输入端连接，规则管理模块2由规则模板设定模块21、规则实体构建模块22、检核规则解析模块23、计算集群执行模块24和规则结果推送模块25组成，规则模板设定模块21的输入端与元数据后台管理模块12的输出端连接，规则模板设定模块21的输出端与规则实体构建模块22的输入端连接，规则实体构建模块22的输出端与检核规则解析模块23的输入端连接，检核规则解析模块23的输出端与计算集群执行模块24的输入端连接，计算集群执行模块24的输出端与规则结果推送模块25的输入端连接，规则结果推送模块25的输出端与元数据后台管理模块12的输入端连接，在现有的定时任务调度工具基础上，利用大数据计算引擎构建分布式、去中心化、可配置化的规则配置和执行系统，前端操作页面的布局和样式丰富，个性化强，用户体验好，且能根据实际需求对质量核验规则和定时核验任务进行针对性配置，支持的任务类型多，适用范围光，工作可靠，满足了审计部门的数据审计需求。
16.请参阅图3，本发明提供的一种实施例：一种可配置化的数据稽查的方法，包括以下步骤：步骤一，查看；步骤二，管理；步骤三，配置；步骤四，核验；步骤五，推送；其中上述步骤一中，通过稽查系统模块1的前端操作页面模块11进行前端操作，再利用数据质量概览模块111阅览最新数据的质量问题报告，利用我的订阅查看模块112阅览特定数据的质量问题报告，利用监控规则查看模块113阅览系统现有的检核规则，利用核验任务查询模块114阅览特定任务的核验结果，利用操作页面配置模块115调整前端操作页面的样式；其中上述步骤二中，通过元数据后台管理模块12向规则管理模块2传输指令，根据稽查需求利用规则模板设定模块21设定新的数据核验规则和sql语句模板，并利用规则实体构建模块22构件出多个新数据核验规则实体，再利用检核规则解析模块23解析新数据核验规则实体的元信息，并利用计算集群执行模块24发送给计算集群，经大数据验证后利用规则结果推送模块25将新的数据核验规则保存至元数据后台管理模块12；其中上述步骤三中，通过元数据后台管理模块12向定时任务配置模块13传输指令，根据稽查需求利用自动化调度模块131设定自动调度数据进行稽查的特定时间，并利用核验规则调度模块132设定稽查特定数据的特定核验规则，再利用核验数据调度模块133设定特定数据的调用范畴，并利用定时任务生成模块134生成特定数据的定时核验任务，得到新定时数据核验任务，保存至元数据后台管理模块12；其中上述步骤四中，满足新定时数据核验任务的定时配置后，通过元数据后台管理模块12向检核任务执行模块14传输指令，根据稽查需求利用核验任务发放模块141将新定时数据核验任务发送给分布集群中特定的计算集群，并利用分布集群执行模块142运行特定的计算集群执行新定时数据核验任务，再利用核验任务反馈模块143将特定数据的质量问题核验结果反馈给元数据后台管理模块12；其中上述步骤五中，通过元数据后台管理模块12向检核结果推送模块15传输指
令，根据稽查需求利用数据质量分析模块151对特定数据的质量问题核验结果进行分析，并利用质量报告生成模块152生成特定数据的质量问题报告，再利用质量报告推送模块153将特定数据的质量问题报告保存至元数据后台管理模块12，以便用户查看。
17.工作原理：该发明使用时，先通过稽查系统模块1的前端操作页面模块11进行前端操作，再利用数据质量概览模块111阅览最新数据的质量问题报告，利用我的订阅查看模块112阅览特定数据的质量问题报告，利用监控规则查看模块113阅览系统现有的检核规则，利用核验任务查询模块114阅览特定任务的核验结果，利用操作页面配置模块115调整前端操作页面的样式，接着通过元数据后台管理模块12向规则管理模块2传输指令，根据稽查需求利用规则模板设定模块21设定新的数据核验规则和sql语句模板，并利用规则实体构建模块22构件出多个新数据核验规则实体，再利用检核规则解析模块23解析新数据核验规则实体的元信息，并利用计算集群执行模块24发送给计算集群，经大数据验证后利用规则结果推送模块25将新的数据核验规则保存至元数据后台管理模块12，然后通过元数据后台管理模块12向定时任务配置模块13传输指令，根据稽查需求利用自动化调度模块131设定自动调度数据进行稽查的特定时间，并利用核验规则调度模块132设定稽查特定数据的特定核验规则，再利用核验数据调度模块133设定特定数据的调用范畴，并利用定时任务生成模块134生成特定数据的定时核验任务，得到新定时数据核验任务，保存至元数据后台管理模块12，满足新定时数据核验任务的定时配置后，通过元数据后台管理模块12向检核任务执行模块14传输指令，根据稽查需求利用核验任务发放模块141将新定时数据核验任务发送给分布集群中特定的计算集群，并利用分布集群执行模块142运行特定的计算集群执行新定时数据核验任务，再利用核验任务反馈模块143将特定数据的质量问题核验结果反馈给元数据后台管理模块12，最后通过元数据后台管理模块12向检核结果推送模块15传输指令，根据稽查需求利用数据质量分析模块151对特定数据的质量问题核验结果进行分析，并利用质量报告生成模块152生成特定数据的质量问题报告，再利用质量报告推送模块153将特定数据的质量问题报告保存至元数据后台管理模块12，以便用户查看。
18.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。