数据灵活比对分析系统及方法
【技术领域】
[0001] 本发明主要涉及数据比对、数据统计、以及数据挖掘的关联分析，尤其涉及一种数 据灵活比对分析系统。
【背景技术】
[0002] 随着社会的不断进步，科学技术的快速发展，在各个行业、政府部门都产生了大 量、多种类数据。如何能够依据不同的需求很好的利用这些数据，发现数据之间的关系以及 数据内部深层次的价值，是当前急需解决的问题。
[0003] 为了解决这些问题，当前市面上出现了多种数据比对工具，比对方式也很多，但其 主要原理都基于数据之间的关系进行比对，比对数据源大多基于同种数据库，比对方式利 用数据库表之间的关联字段进行关联；对于这类数据比对工具，由于比对的数据只能基于 同种数据库，因此、这类比对工具的比对数据源选择缺乏灵活性；
[0004] 对于数据之间进行比对，首先需要进行数据之间的关系定义，也就是我们常说的 比对模型定义，往往大多数比对工具对模型定义的概念体现较少，配置也比较简单，不能依 据用户的思路灵活的配置一些复杂逻辑模型。这类数据比对工具使得业务人员难以按照自 己的需求进行灵活比对配置；
[0005] 对于比对工具产生的比对结果，大多数工具提供了单一的结果检索功能。然而对 于一个强大的比对工具来说，对于产生的结果不仅仅可以检索，还需要对结果数据按不同 维度进行统计分析，发现其内在规律，同时还应该进一步去发现结果数据之间的关联，以及 结果数据的源数据与其他数据源之间的关联，因此这类数据比对工具对比对结果缺少深层 次应用，业务人员难以发现比对结果的深层次价值。
[0006] 现有专利申请中存在一些比对工具，如中国专利申请CN201210461090. 5中所公 开的一种基于停用词的相似文档查询方法，这类方法通过获取多个数据源的数据进行比 对，然而这类方法不能灵活的配置比对模型，进而使得这类方法比对方式单一，只能对两组 数据进行一次比对，不能根据业务人员自己的需求进行比对模型配置。
[0007] 对于中国专利CN201010509834. 7中所公开的一种快速识别输变电工程环境风险 的方法，这类方法包括对数据的分析、预警、比对和统计，然而这类方法并不能灵活的配置 比对模型，并且这类方法中所包括的分析手段只是简单的分析，并未做到对数据的深层次 分析和统计。
[0008] 由于上述问题的存在，本发明人对现有的比对软件和比对技术等相关技术进行研 究和分析，以期待研制出可以灵活的选择数据源、多次循环比对、可以灵活的设置比对模型 同时又可以对比对的结果数据进行深层次分析的数据灵活比对分析系统及方法。
【发明内容】
[0009] 为了解决上述问题，本发明人进行了锐意研究，结果发现：通过设置数据源配置模 块对多个不同的业务数据库进行数据源信息的定义，以使得该系统可以对多个数据源进行 灵活使用；通过设置比对模型配置模块用于设置比对模型，使得业务员可以根据自己的需 求灵活的设置比对模型，同时通过对比对模型的循环设置使得该系统可以多次循环比对这 样节省了比对的时间提高了比对效率；通过设置比对结果预警模块、比对结果统计分析和 比对结果关联查询模块使得业务员可以对比对结果数据信息进行深层次的分析、统计挖掘 或预警；从而完成本发明。
[0010] 本发明的目的在于提供以下方面：
[0011] 第一方面、一种数据灵活比对分析系统，其特征在于，该分析系统包括展现体系 001、应用体系002和数据体系003 ;
[0012] 其中，应用体系002包括：
[0013] 数据源配置模块0021，其作为数据连接模块用来使得数据表接入模块0022接收 来自业务数据库0031的数据表信息，并使得自定义表数据模块0023接收来自自定义数据 库0032的数据表信息；
[0014] 数据表接入模块0022,其接收来自业务数据库0031中的数据表信息，并将接收的 数据表信息分别传送到比对模型配置模块0025和关联模型配置模块0026 ;
[0015] 自定义表数据模块0023,其用以将输入的业务数据存储在自定义数据库0032中， 还用以接收自定义数据库0032中的数据表信息并将接收的数据表信息传送到比对模型配 置模块0025中；
[0016] 比对模型配置模块0025,其接收源数据表信息和目标数据表信息后，设置比对模 型，并将设置的比对模型传送到比对任务管理模块0024,其中，源数据表信息为从数据表接 入模块0022传送的数据表信息、从自定义表数据模块0023传送的数据表信息或下述比对 任务管理模块0024在执行所述比对模型的过程中产生的比对结果数据信息，目标数据表 信息为从数据表接入模块0022传送的数据表信息或从自定义表数据模块0023传送的数据 表信息；和
[0017] 比对任务管理模块0024,其对由比对模型配置模块0025设置的比对模型进行任 务管理，在执行所述比对模型的过程中产生比对结果数据信息，将比对结果数据信息存储 到比对结果库0033中，或者将比对结果数据信息传送到比对结果统计分析模块0012、比对 结果关联查询模块0013和比对模型配置模块0025三者中的任一者或多者中；
[0018] 其中，展现体系001包括：
[0019] 比对结果统计分析模块0012,其对接收的比对结果数据信息按不同的维度进行统 计，并以表格或图形的方式进行显示；和
[0020] 比对结果关联查询模块0013,其对接收的比对结果数据信息按输入的检索条件进 行精确检索或模糊检索后，产生检索结果，并对所述检索结果以列表的形式进行显示，还用 以对所述检索结果进行溯源操作并显示检索结果的源信息。
[0021] 第二方面、根据上述第一方面所述的数据灵活比对分析系统，其特征在于，
[0022] 应用体系002还包括关联模型配置模块0026,其用于接收从数据表接入模块0022 传送的数据表信息以及比对结果关联查询模块0013在执行溯源操作中产生的源信息，并 查找所述数据表信息和源信息之间共有的数据信息并显示；和/或
[0023] 展现体系001还包括比对结果预警模块0011，其接收比对任务管理模块0024在执 行所述比对模型的过程中产生的比对结果数据信息，按照数据类别及预警频次进行预警提 /_J、1 O
[0024] 第三方面、根据上述第一方面所述的数据灵活比对分析系统，其特征在于，比对模 型包括：
[0025] 名称子模块，用以存储比对模型的名称；
[0026] 源表数据源子模块，用以存储源数据表的数据源信息；
[0027] 源数据表子模块，用以存储源数据表信息的表名；
[0028] 源表增量字段子模块，用以存储源数据表信息的增量字段；
[0029] 目标表数据源子模块，用以存储目标数据表信息的数据源信息；
[0030] 目标数据表子模块，用以存储目标数据表信息的表名；
[0031] 目标表增量字段子模块，用以存储目标数据表信息的增量字段；
[0032] 关联条件定义子模块，用以存储源数据表信息关联信息；
[0033] 比对方式子模块，用以设定源数据表信息和目标数据表信息的比对方式；
[0034] 源表过滤条件子模块，用以设定对源数据表信息的过滤条件；
[0035]目标表过滤条件子模块，用以设定对目标数据表信息的过滤条件；和
[0036] 任选的比对模型步骤子模块，用以设定比对方式子模块、源表过滤条件子模块和 目标表过滤条件子模块的执行顺序。
[0037] 第四方面、根据上述第一方面所述的数据灵活比对分析系统，其特征在于，设置比 对模型包括以下步骤：
[0038] 输入源数据表信息，
[0039] 输入目标数据表信息，
[0040] 分别输入源数据表信息与目标数据表信息之间要进行比对的比对数据对象，是指 针对要比对的源数据表信息与目标数据表信息，输入查询条件，使得源数据表信息与目标 数据表信息在查询条件范围内进行数据比对，
[0041] 输入源数据表信息与目标数据表信息之间要比对的源数据列或增量数据列信息， 是指针对要比对的源数据表信息与目标数据表信息，输入要进行比对的数据列或增量数据 列，和
[0042] 输入比对数据列之间的比对逻辑关系，是指针对要比对的源数据表信息与目标数 据表信息输入的比对列信息，输入要进行比对的比对关系。
[0043] 第五方面、根据上述