一种支持多源异构数据的统一SQL查询系统的制作方法

一种支持多源异构数据的统一sql查询系统
技术领域
1.本发明涉及统一查询系统技术领域，具体为一种支持多源异构数据的统一sql查询系统。


背景技术：

2.大数据环境下，企业面临多样的数据结构：关系型的数据库、文件数据、 no-sql类型、流式数据、倒排索引；数据源也是丰富的：一个企业通常会存在oracle，sqlserver，mysql等多个关系型数据库；不同部门的csv， parquet,json类型的文件会存储在不同地方。不同业务需要采用各种类型的no-sql数据库如hbase，mongd。
3.这种现有技术方案在使用时还存在以下问题：
4.1、只能对单个异构源数据库和目标数据库之间同步，不能对异构的多源数据库与单一目标数据库同步。
5.2、异构数据与实时数据之间易发生数据冲突，无法进行数据冲突分析以及处理。
6.所以需要针对上述问题进行改进。


技术实现要素：

7.本发明的目的在于提供一种支持多源异构数据的统一sql查询系统，以解决上述背景技术提出的只能对单个异构源数据库和目标数据库之间同步，不能对异构的多源数据库与单一目标数据库同步以及异构数据与实时数据之间易发生数据冲突，无法进行数据冲突分析以及处理的问题。
8.为实现上述目的，本发明提供如下技术方案：一种支持多源异构数据的统一sql查询系统，包括以下步骤；
9.s1：在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新；
10.s2：对数据库的源数据进行读取，在源数据库端，根据源数据库的资料，提取源数据的操作；
11.s3：通过任务管理单元进行任务调度以及选择；
12.s4：对于异构数据源进行统一管理更新以及同步；
13.s5：同时更新实时数据，完成实时数据的采集；
14.s6：设置sql脚本查询，使用相同的结构化查询语言作为数据输入与管理的接口；
15.s7：设置异构数据源和实时数据冲突解决措施；
16.s8：得出目标数据，对目标数据进行输入以及引用；
17.s9：在数据查询分析时，对分析查询结构进行实时监控。
18.优选的，所述步骤s1以及步骤s2所涉及数据进行实时更新上传，以确保查询数据的准确性。
19.优选的，所述步骤s2中同时具有数据读取以及准备阶段。
20.优选的，所述步骤s3中任务调度模块，进行任务调度以及任务选择，在选择出现错误时，可返回前端页面进行重新选择。
21.优选的，所述步骤s5中将异构数据以及实时数据同步。
22.优选的，所述步骤s6中对同步1数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套。
23.优选的，所述步骤s7中在在异构数据源和实时数据进行冲突时，对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据。
24.优选的，所述步骤s8中对目标数据进行汇总以及保存。
25.优选的，在数据查询分析时，对分析查询结构进行实时监控，使数据查询分析有依据可循。
26.与现有技术相比，本发明的有益效果是：该多源异构数据的统一sql查询系统，首先可以快速对源数据进行读取，提取源数据库内的数据，对源数据库内的数据进行实时更新，同时任务管理单元进入前端页面，进行任务调度，以及数据准备，在发生错误选择时，可返回前度页面，进行重新选择，对于异构数据源进行统一管理更新以及同步，同时更新实时数据，完成实时数据的采集，将采集生成的数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套，在异构数据源以及实时数据发现冲突时，可以对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据，在对目标数据进行汇总以及保存，整个分析查询都进行实时监控。
附图说明
27.图1为本发明原理示意图；
28.图2为本发明流程示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.请参阅图1，本发明提供一种技术方案：一种支持多源异构数据的统一 sql查询系统，包括以下步骤；
31.s1：在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新；s2：对数据库的源数据进行读取，在源数据库端，根据源数据库的资料，提取源数据的操作；s3：通过任务管理单元进行任务调度以及选择；s4：对于异构数据源进行统一管理更新以及同步；s5：同时更新实时数据，完成实时数据的采集；s6：设置sql脚本查询，使用相同的结构化查询语言作为数据输入与管理的接口；s7：设置异构数据源和实时数据冲突解决措施；s8：得出目标数据，对目标数据进行输入以及引用；s9：在数据查询分析时，对分析查询结构进行实时监控。所述步骤s1以及步骤s2所涉及数据进行实时更新上传，以确保查询数据的准确性。
32.所述步骤s2中同时具有数据读取以及准备阶段。所述步骤s3中任务调度模块，进
行任务调度以及任务选择，在选择出现错误时，可返回前端页面进行重新选择。所述步骤s5中将异构数据以及实时数据同步。所述步骤s6中对同步1数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套。所述步骤s7中在在异构数据源和实时数据进行冲突时，对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据。所述步骤s8中对目标数据进行汇总以及保存。在数据查询分析时，对分析查询结构进行实时监控，使数据查询分析有依据可循。
33.请参阅图2，本发明提供一种技术方案：一种支持多源异构数据的统一 sql查询系统，包括以下步骤；数据源元数据、配置模块、更新模块、数据读取模块、任务调度模块、返回模块、前端页面、异构数据同步模块、实时数据模块、sql编辑模块、数据冲突模块、模块缓存、数据处理、目标数据以及实时监控模块。
34.数据源元数据，在网上进行数据查询，设有专门查询的数据库，进行查询，数据库进行实时更新。
35.配置模块，根据源数据库的资料，提取源数据的操作，对数据源进行重命名映射，防止命名冲突，对元数据进行增删改查操作，并定时更新元数据信息。
36.更新模块，对于异构数据源进行统一管理更新以及同步，同时更新实时数据，完成实时数据的采集。
37.数据读取模块，对数据库的源数据进行读取，在源数据库端。
38.任务调度模块，通过任务管理单元进行任务调度以及选择，提供sql语句的编辑页面，接收提交的sql语句并进行任务调度和进度监控和反馈，异步地将sql语句和执行结果对传给所述缓存单元中。
39.返回模块，不断将所述进度监控模块得到的执行结果封装成固定格式并反馈给前端页面展示；异步地将sql语句和执行结果对存在所述缓存单元中，进行任务调度以及任务选择，在选择出现错误时，可返回前端页面进行重新选择。
40.异构数据同步模块以及实时数据模块，将异构数据以及实时数据同步
41.sql编辑模块，设置sql脚本查询，使用相同的结构化查询语言作为数据输入与管理的接口，sql执行脚本生成，传递完成信号，目的数据库端从源数据库端获取sql执行脚本，对所述sql执行脚本标注获取的源数据库的数据库类型、版本、ip地址、数据库名称及将sql附属脚本也作为标记，将所述 sql执行脚本及其附属标记存入临时表。
42.数据冲突模块，设置异构数据源和实时数据冲突解决措施，在异构数据源和实时数据冲突时，对冲突情况进行分析以及处理，从而解决冲突，并自动对之前已有的模块进行缓存。
43.模块缓存，在异构数据源和实时数据进行冲突时，对已有数据进行缓存。
44.数据处理，得出目标数据，对目标数据进行输入以及引用。
45.目标数据，在数据查询分析时，对目标数据进行汇总以及保存，
46.实时监控模块，在数据查询分析时，对分析查询结构进行实时监控，使数据查询分析有依据可循。
47.该多源异构数据的统一sql查询系统，首先可以快速对源数据进行读取，提取源数据库内的数据，对源数据库内的数据进行实时更新，同时任务管理单元进入前端页面，进行任务调度，以及数据准备，在发生错误选择时，可返回前度页面，进行重新选择，对于异构数
据源进行统一管理更新以及同步，同时更新实时数据，完成实时数据的采集，将采集生成的数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套，在异构数据源以及实时数据发现冲突时，可以对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据，在对目标数据进行汇总以及保存，整个分析查询都进行实时监控。
48.工作原理：如图1-2所示，在使用该基于数字货币交易识别洗钱的可疑风险客户实时监控方法时，首先可以快速对源数据进行读取，提取源数据库内的数据，对源数据库内的数据进行实时更新，同时任务管理单元进入前端页面，进行任务调度，以及数据准备，在发生错误选择时，可返回前度页面，进行重新选择，对于异构数据源进行统一管理更新以及同步，同时更新实时数据，完成实时数据的采集，将采集生成的数据，使用相同的结构化查询语言作为数据输入与管理的接口，结构化查询语言语句可以嵌套，在异构数据源以及实时数据发现冲突时，可以对已有数据进行缓存，对冲突数据进行实时分析，以及处理得出目标数据，在对目标数据进行汇总以及保存，整个分析查询都进行实时监控，本说明中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
49.尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。