基于数据联邦技术的异构数据源整合系统及其整合方法
【技术领域】
[0001]本发明属于计算机信息技术领域，涉及一种基于数据联邦技术的异构数据源整合系统，本发明还涉及上述及异构数据源整合系统的整合方法。
【背景技术】
[0002]随着技术的发展和业务开展的需要，政府、企事业单位各部门中形成了大量物理分散、类型和存储形式各异的数据源，因为体制与机制的要求，不是所有数据都可以进行数据集中，而由于业务的需要又要同时从多个分散的数据源中访问多个数据进行组合形成更有价值的数据。因此，整合已有的数据资源，能同时访问和处理来自多个数据源的数据，就是必然趋势。
[0003]目前，公知的异构数据源集成的处理方式是:数据联邦技术。数据联邦技术提供了一种为数据提供抽象的数据接口的能力，这些多个数据源组成的虚拟视图，可以使消费者不需要知道数据的物理位置、数据结构和保存方式。数据联邦允许应用直接访问数据，而不需耗时较长的数据架构的调整；能满足数据安全性较高的应用，不允许对数据进行复制和备份；能满足数据经常变换的环境，数据联邦提供灵活性、扩展性高的解决方案。对于数据集成过程中包含复杂数据转换的，会由于数据转换减低响应时间而带来负面影响。当真实数据源服务器负载增加，联邦服务器会把联邦视图分解为多个子操作，那么这些子操作越复杂，服务器的负载越大。对于数据服务的统一封装与管理，现有单一的交换方式，已不能满足时效性、一致性等更高的要求。
【发明内容】
[0004]本发明的目的是提供一种基于数据联邦技术的异构数据源整合系统，本发明的另一目的是提供上述整合系统的整合方法，解决了现有虚拟数据交换方式存在的交换方式单一的问题。
[0005]本发明的技术方案是，基于数据联邦技术的异构数据源整合系统，包括连接器框架、查询引擎、JDBC (Java数据库连接驱动)和VDB (虚拟数据库)；其中，连接器框架包括连接器、资源适配器和翻译器；
[0006]连接器用于提供查询引擎和物理数据源之间的抽象层，将整合系统中发出的查询命令转换成数据源特定的命令，并通过资源适配器执行上述命令；翻译器用于将不同的格式数据转换为统一格式；查询引擎用于处理数据源发送的查询请求JDBC用于将查询结果与JAVA应用系统进行对接，将查询结果通过VDB发出。
[0007]本发明的特点还在于，
[0008]数据源包括关系型数据库、数据文件、Web服务数据源。
[0009]本发明的另一技术方案是，基于数据联邦技术的异构数据源整合系统的整合方法，具体按照以下步骤实施:
[0010]步骤1，外部的应用系统向异构数据源整合系统发送JDBC请求；
[0011]步骤2，JDBC API(JDBC接口)接收到步骤I发出的请求后，向VDB转发请求，查询引擎解析SQL语句所要查询的虚拟表；
[0012]步骤3，VDB将查询申请发送到连接器，连接器根据请求内容，判断请求内容所在的数据库，通过资源适配器向数据库获取数据；
[0013]步骤4，数据库获取数据后，将数据返回给翻译器，由翻译器将结果信息翻译并转换为标准的数据库数据集，返回给VDB ;
[0014]步骤5，VDB将查询结果进行封装，以JDBC方式通过JDBC API发出，供外部应用系统调用，便完成了异构数据源的整合。
[0015]本发明的有益效果是，
[0016]I) 一种基于数据联邦技术的异构数据源整合系统，通过设置VDB，可以不存储数据，但可以像访问关系型数据库管理系统一样进行使用，大大节约了系统资源，降低服务器负载；通过查询引擎、JDBC和VDB的整合，能够实现异构数据源的整合；
[0017]2)基于数据联邦技术的异构数据源整合系统的整合方法，解决在数据物理环境分散的情况下，进行统一访问和关联查询分析的问题，通过该方法，能够实现对数据查询时效性、一致性的目的。
【附图说明】
[0018]图1是本发明一种基于数据联邦技术的异构数据源整合系统的结构示意图。
[0019]图中，1.JDBC，2.VDB，3.连接器，4.资源适配器，5.数据库，6.翻译器，7.查询引擎，8.连接器框架。
【具体实施方式】
[0020]下面结合【具体实施方式】对本发明进行详细说明。
[0021]本发明的技术方案是，基于数据联邦技术的异构数据源整合系统，如图1所示，包括连接器框架8、查询引擎7、JDBC I和VDB 2 ;其中，连接器框架8包括连接器3、资源适配器4和翻译器6 ;
[0022]连接器3用于提供查询引擎7和物理数据源之间的抽象层，将整合系统中发出的查询命令转换成数据源特定的命令，并通过资源适配器4执行上述命令；翻译器6用于将不同的格式数据转换为统一格式；查询引擎7用于处理数据源发送的查询请求，其中，数据源包括关系型数据库、数据文件、Web服务数据源JDBC I用于将查询结果与JAVA应用系统进行对接，将查询结果通过VDB 2发出。
[0023]本发明的另一技术方案是，基于数据联邦技术的异构数据源整合系统的整合方法，具体按照以下步骤实施:
[0024]步骤1，外部的应用系统向异构数据源整合系统发送JDBC请求；
[0025]步骤2，JDBC API接收到步骤I发出的请求后，向VDB 2转发请求，查询引擎7解析SQL语句所要查询的虚拟表；
[0026]步骤3，VDB 2将查询申请发送到连接器3，连接器3根据请求内容，判断请求内容所在的数据库5，通过资源适配器4向数据库5获取数据；其中，连接器3根据数据库5的IP、端口、数据库名称、数据库登录的用户名和密码，进行判断；而资源适配器4是用于做数据桥接，给其定义好相关属性，然后通过标准的API调用即可。
[0027]步骤4，数据库5获取数据后，将数据返回给翻译器6，由翻译器6将结果信息翻译并转换为标准的数据库数据集，返回给VDB 2；
[0028]步骤5，VDB 2将查询结果进行封装，以JDBC I方式通过JDBC API发出，供外部应用系统调用，便完成了异构数据源的整合。
[0029]本发明中，VDB是由若干虚拟视图组成，其不存储数据，但可以像访问关系型数据库管理系统一样进行使用。VDB由源模型、视图模型、连接器配置信息和Manifest信息组成，存储结构为Xml方式，以.vdb后缀存储在磁盘中。VDB包含的数据视图可以来自关系型数据库、也可以是格式化文件、LDAP数据等。来自不同数据源的数据视图就相当于VDB中的一张张数据表，可以进行关联查询统计。VDB在服务器中部署成功后，会生成相应的服务，提高服务的通用性和灵活性，对外提供服务所采用的方式为JDBC方式。
【主权项】
1.基于数据联邦技术的异构数据源整合系统，其特征在于，包括连接器框架(8)、查询引擎(7)、JDBC(I) VDB(2);其中，连接器框架(8)包括连接器(3)、资源适配器(4)和翻译器⑶； 所述连接器(3)用于提供查询引擎(7)和物理数据源之间的抽象层，将整合系统中发出的查询命令转换成数据源特定的命令，并通过资源适配器(4)执行上述命令； 所述翻译器(6)用于将不同的格式数据转换为统一格式； 所述查询引擎(7)用于处理数据源发送的查询请求； 所述JDBC(I)用于将查询结果与JAVA应用系统进行对接，将查询结果通过VDB(2)发出。2.根据权利要求1所述的基于数据联邦技术的异构数据源整合系统，其特征在于，所述查询引擎(7)还支持事务和用户自定义函数。3.根据权利要求1或2所述的基于数据联邦技术的异构数据源整合系统，其特征在于，所述数据源包括关系型数据库、数据文件、Web服务数据源。4.基于数据联邦技术的异构数据源整合系统的整合方法，其特征在于，具体按照以下步骤实施: 步骤1，外部的应用系统向异构数据源整合系统发送JDBC请求； 步骤2，JDBC(I)接口接收到步骤I发出的请求后，向VDB(2)转发请求，查询引擎(7)解析SQL语句所要查询的虚拟表； 步骤3，VDB(2)将查询申请发送到连接器(3)，连接器(3)根据请求内容，判断请求内容所在的数据库(5)，通过资源适配器(4)向数据库(5)获取数据； 步骤4，数据库(5)获取数据后，将数据返回给翻译器￠)，由翻译器(6)将结果信息翻译并转换为标准的数据库数据集，返回给VDB (2); 步骤5，VDB(2)将查询结果进行封装，以JDBC方式通过JDBC(I)接口发出，供外部应用系统调用，便完成了异构数据源的整合。
【专利摘要】本发明公开了一种基于数据联邦技术的异构数据源整合系统，包括连接器框架、查询引擎、JDBC和VDB；连接器框架包括连接器、资源适配器和翻译器。本发明还公开了其整合方法：外部应用向本系统发送JDBC请求；JDBC？API接收到请求向VDB转发请求，查询引擎解析虚拟表；VDB将查询申请发送到连接器，连接器判断请求内容所在数据库，通过资源适配器向数据库获取数据；将数据返回给翻译器，由翻译器翻译并转换为标准数据库数据集；VDB将结果封装通过JDBC？API发出，完成整合。本发明解决在数据物理环境分散的情况下，进行统一访问和关联查询分析的问题，通过该方法，能够实现对数据查询时效性、一致性的目的。
【IPC分类】G06F17/30
【公开号】CN105224613
【申请号】CN201510593303
【发明人】张丹星, 姚路, 刘守仓
【申请人】西安未来国际信息股份有限公司
【公开日】2016年1月6日
【申请日】2015年9月17日