一种异构数据源数据关联分析方法
【技术领域】
[0001]本发明涉及一种数据关联分析方法，具体涉及一种对异构数据源之间进行关联分析的方法。
【背景技术】
[0002]现阶段很多企业，特别是大型企业，其不同业务数据可能存储在不同(异构)的数据源中，而且随着业务的不断发展，新型的业务模式以及带来的新的数据存储方式，都会增加企业使用异构数据源存储企业的数据的可能性。现阶段市面上的数据分析工具，都是针对单独数据源中数据来进行提取、分析、展示的，在面对企业有多种数据源，需要对多数据源数据进行全方面的，关联分析的时候，现有数据分析工具就体现出无法满足业务需求的情况。
【发明内容】
[0003]为克服现有技术的不足，本发明的目的在于采取把异构多数据源中表结构和数据映射到目标单数据源中，使分析平台可以针对各个异构数据源中汇总的数据进行关联分析。
[0004]为实现上述目的，本发明通过以下技术方案实现:
一种异构数据源数据关联分析方法，包括以下步骤:
(a)多数据源接入及表结构解析:对用户的不同数据源数据进行接入，分析并解析出各数据源中所有表的表结构；
(b)目标单数据源表结构生成:针对步骤(a)记录的各个数据源表结构，实现一个针对目标数据源表结构映射的功能，并在目标单数据源中对各个数据源表生成唯一的对应表结构，使各个数据源中表结构迀移到目标单数据源系统中；
(c)业务建模及查询SQL生成:所述目标单数据源系统接入数据分析平台进行业务建模、分析，生成业务模型，并针对接入的数据源生成对应的查询SQL ;
Cd)模型解析及从多数据源加载数据到目标单数据源:在所述数据分析平台进行业务建模时，系统解析所述业务模型对应的数据源列表，加载指定数据源中指定表的数据进入所述目标数据源；
(e)执行查询并返回结果:针对所述目标数据源执行步骤(C)生成的查询语句后，数据以JSON格式返回，基于该数据做后续分析或者直接使用可视化工具进行展示；
(f)多数据源数据同步:所述多数据源同步数据到所述目标单数据源方法，可选增量同步，或者全量同步。
[0005]优选的是，所述的异构数据源数据关联分析方法，其中，所述接入的数据源为基于Mysql、Oracle、SqlServer 中的一种数据库。
[0006]本发明的有益效果:
(I )增加了对多数据源数据的关联查询支持，帮助用户分析/发现异构数据源之间数据的关联性；
(2 )更好的可扩展性，支持接入企业未来的新型数据源以及新型数据；
(3)更好的容灾性以及更好的分析性能:同步多数据源数据到目标数据源，可以避免单点故障，利用目标数据源，可以更好的进行性能扩展。
【附图说明】
[0007]图1为本发明一实施例所述的异构数据源数据关联分析方法中的方法流程示意图。
【具体实施方式】
[0008]下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0009]一种异构数据源数据关联分析方法，请参阅附图1，包括以下步骤:
(a)多数据源接入及表结构解析:对用户的不同数据源数据进行接入，分析并解析出各数据源中所有表的表结构；
(b)目标单数据源表结构生成:针对步骤(a)记录的各个数据源表结构，实现一个针对目标数据源表结构映射的功能，并在目标单数据源中对各个数据源表生成唯一的对应表结构，使各个数据源中表结构迀移到目标单数据源系统中；
(c)业务建模及查询SQL生成:所述目标单数据源系统接入数据分析平台进行业务建模、分析，生成业务模型，并针对接入的数据源生成对应的查询SQL ;由于接入的数据源系统可以是多样的，例如基于Mysql、Oracle、SqlServer等主流的数据库，为了让系统能够适应更多的数据库或者数据处理系统，系统生成一个SQL对象来适配的更多系统；SQL对象包含了一个查询相关的重要信息，可以方便的生成不同数据源平台的查询语句。
[0010](d)模型解析及从多数据源加载数据到目标单数据源:在所述数据分析平台进行业务建模时，系统解析所述业务模型对应的数据源列表，加载指定数据源中指定表的数据进入所述目标数据源；
(e)执行查询并返回结果:针对所述目标数据源执行步骤(C)生成的查询语句后，数据以JSON格式返回，基于该数据做后续分析或者直接使用可视化工具进行展示；
(f)多数据源数据同步:所述多数据源同步数据到所述目标单数据源方法，可选增量同步，或者全量同步。用户的异构数据源开启同步日志，目标数据源进行实时增量同步更新；或者可选择定期全量更新。本案增加了对多数据源数据的关联查询支持，帮助用户分析/发现异构数据源之间数据的关联性；具备更好的可扩展性，支持接入企业未来的新型数据源以及新型数据；同时具有更好的容灾性以及更好的分析性能:同步多数据源数据到目标数据源，可以避免单点故障，利用目标数据源，可以更好的进行性能扩展。
[0011]进一步的，所述接入的数据源为基于Mysql、Oracle、SqlServer中的一种数据库。
[0012]尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
【主权项】
1.一种异构数据源数据关联分析方法，其特征在于，包括以下步骤: (a)多数据源接入及表结构解析:对用户的不同数据源数据进行接入，分析并解析出各数据源中所有表的表结构； (b)目标单数据源表结构生成:针对步骤(a)记录的各个数据源表结构，实现一个针对目标数据源表结构映射的功能，并在目标单数据源中对各个数据源表生成唯一的对应表结构，使各个数据源中表结构迀移到目标单数据源系统中； (c)业务建模及查询SQL生成:所述目标单数据源系统接入数据分析平台进行业务建模、分析，生成业务模型，并针对接入的数据源生成对应的查询SQL ; Cd)模型解析及从多数据源加载数据到目标单数据源:在所述数据分析平台进行业务建模时，系统解析所述业务模型对应的数据源列表，加载指定数据源中指定表的数据进入所述目标数据源； (e)执行查询并返回结果:针对所述目标数据源执行步骤(C)生成的查询语句后，数据以JSON格式返回，基于该数据做后续分析或者直接使用可视化工具进行展示； (f)多数据源数据同步:所述多数据源同步数据到所述目标单数据源方法，可选增量同步，或者全量同步。2.如权利要求1所述的异构数据源数据关联分析方法，其特征在于，所述接入的数据源为基于Mysql、Oracle、SqlServer中的一种数据库。
【专利摘要】本案为一种异构数据源数据关联分析方法，包括以下步骤：（a）多数据源接入及表结构解析；（b）目标单数据源表结构生成；（c）业务建模及查询SQL生成；（d）模型解析及从多数据源加载数据到目标单数据源；（e）执行查询并返回结果；（f）多数据源数据同步。本案的异构数据源数据关联分析方法增加了对多数据源数据的关联查询支持，帮助用户分析／发现异构数据源之间数据的关联性；具备更好的可扩展性，支持接入企业未来的新型数据源以及新型数据；更好的容灾性以及更好的分析性能．同步多数据源数据到目标数据源，可以避免单点故障，利用目标数据源，可以更好的进行性能扩展。
【IPC分类】G06F17/30
【公开号】CN104899295
【申请号】CN201510309873
【发明人】马晓东, 柯志超, 王云鹏, 董旭旭, 王鹏
【申请人】苏州国云数据科技有限公司
【公开日】2015年9月9日
【申请日】2015年6月9日