一种跨平台大规模异构数据的统一管理方法
【技术领域】
[0001]本发明涉及计算机信息技术领域，涉及一种跨平台大规模异构数据的统一管理方法。
【背景技术】
[0002]随着信息化建设的发展，各个行业或部门都建成了众多的应用系统。这些系统一般是分散、独立的。用户为了得到某个统计数据，往往需要进入不同的系统，既不方便，效率又低。随着信息化技术的不断进步，人们希望把原本独立、互异的系统整合起来，实现逻辑层面上的数据共享，提高工作效率。
[0003]元数据是一种结构化的信息，用于对某项信息资源进行描述、解释、定位，使其易于提取和使用。使用元数据对异构数据进行抽象和概括，将有利于数据资源的整合与传播。已有的关于元数据的研究大多集中于特定领域内的信息管理，或基于语义的检索方法，并未将元数据应用于不同系统间数据资源的整合与集成，因此方法的适用范围较窄，可扩展性不好。其他方法如基于本体的数据交换方法，则主要关注数据在系统之间的转换，解决了在异构数据源之间传递数据的问题，而并不是针对异构数据的综合利用与共享需求。
【发明内容】
[0004]本发明旨在提供一种跨平台大规模异构数据的统一管理方法，利用元数据对分散、异构的数据做出明确规范，从而达成数据的高度集成与共享，让用户可以通过单一入口透明地访问原始系统的所有数据资源。在保持数据一致性的同时，提供良好的可扩展性，并最大限度地压低了成本。
[0005]本发明的技术方案如下:
[0006]一种跨平台大规模异构数据的统一管理方法，其特征在于:
[0007](I)规定元数据规范:制定一个符合行业特点、具有普遍适应性的元数据规范；元数据规范中至少应规定标识符、语种、字符集、联系方信息、创建日期、版本、数据集信息和Web Service接口定义；将同应用系统中的所有数据集都用元数据来描述，一条元数据对应一个数据集；
[0008](2)搭建Web Service数据获取接口:用Web Service将应用系统内所有数据集和元数据的访问功能封装起来，供外部系统调用；Web Service接口规范中规定访问条件的输入格式；访问结果的格式；访问结果的元数据描述；访问结果的显示转换规则；
[0009](3)搭建元数据网关:元数据网关的主要功能是对所有数据集的元数据进行统一管理，它调用各个应用系统的元数据获取接口来获得元数据信息，并向外部提供元数据的访问服务，外部系统可以通过网关访问该网关下属的各个节点上的元数据，但不能修改，元数据的修改和维护是在各应用系统内部完成的，各系统只需将元数据的变化通过WebService元数据获取接口反馈给元数据网关即可，一个网关连接多个应用系统，从而把这些系统的元数据信息整合起来,实现数据共享；
[0010](4)建设门户网站:门户网站是系统整合后的统一入口，它的核心功能是元数据访问和实体数据访问。元数据访问把符合访问要求的元数据信息返回给用户，这些信息中包含了相应数据集的描述信息，同时还包括该数据集在原有应用系统的浏览地址，用户可以根据得到的元数据情况选择浏览实体数据；实体数据访问把符合访问要求的数据集信息抓取到门户网站，直接显示给用户。
[0011]本发明基于元数据进行异构数据集的整合，将元数据的应用推广到不同系统间数据资源的整合与集成，实现了异构数据在单一门户下的访问与共享。方案的实施成本低，可扩展性好，并且具有普遍适应性，应用背景从异构数据源之间的数据转换和传递上升为异构数据源的集成与综合利用，可以应用于各个行业。
【附图说明】
[0012]图1是本发明的系统组成及工作流程图。
【具体实施方式】
[0013]本发明的总体思路如下:
[0014]首先，根据现有数据集的情况，制定一个符合行业特点、具有普遍适应性的元数据规范。不同应用系统中的所有数据集都可以用元数据来描述，一条元数据对应一个数据集。让每个应用系统的管理者为自己所管辖的数据集建立元数据，并不需要太大代价，因为原始系统都拥有底层数据交互方法，只要调用这些已有方法或对它们稍作改动，便可从原始数据中提取出元数据信息。然后，各应用系统向外部提供元数据和实体数据的访问方式。最后，建立统一的用户入口，实现基于元数据的数据共享和访问功能。方法的主要组成部分和工作流程如图1所示。
[0015]本发明的【具体实施方式】如下:
[0016](I)规定元数据规范
[0017]制定一个符合行业特点、具有普遍适应性的元数据规范；元数据的格式是XML，因此元数据规范可以由XSD文件来定义。元数据规范中至少应规定:标识符、语种、字符集、联系方信息、创建日期、版本、数据集信息和Web Service接口定义。将同应用系统中的所有数据集都用元数据来描述，一条元数据对应一个数据集。下面的XSD文件片断给出了数据集信息的定义部分:
[0018]<!—数据集信息一>
[0019]<xs:element name=" dataldlnfo" >
[0020]<xs:complexType>
[0021 ] <!—数据集摘要一>
[0022]<xs !attribute name=//mdDeIPoint" type="xs:string" / >
[0023]<!—目的一>
[0024]<xs !attribute name=//idPurp" type="xs:string" / >
[0025]<!—关键词一>
[0026]<xs !attribute name=//keywords" type="xs:string" / >
[0027]<!—数据集分类一>
[0028]<xs !attribute name=//tpCat" type=//xs:string" / >
[0029]〈 / xs:complexType>
[0030]〈 / xs:element〉
[0031](2)搭建Web Service数据获取接口
[0032]为实现数据的共享，应用系统需要向外部提供元数据的获取方式。若要实现综合访问服务，还需提供实体数据(即数据集)的获取方式。用Web Service将应用系统内所有数据集和元数据的访问功能封装起来，供外部系统调用。Web ervice提供的是最基本、最底层的数据访问功能，逻辑层面的功能则交给外部系统来实现。这样，既能实现元数据和实体数据的集中访问，也尽可能地降低了应用系统的改造成本。每个应用系统只需把数据访问功能封装起来，实现元数据获取接口和实体数据获取接口即可。Web Service接口规范中至少应规定:访问条件的输入格式；访问结果的格式；访问结果的元数据描述；访问结果的显示转换规则。
[0033](3)搭建元数据网关
[0034]元数据网关的主要功能是对所有数据集的元数据进行统一管理。它调用各个应用系统的元数据获取接口来获得元数据信息，并向外部提供元数据的访问服务。外部系统可以通过网关访问该网关下属的各个节点上的元数据，但不能修改。元数据的修改和维护是在各应用系统内部完成的。各系统只需将元数据的变化通过Web Service元数据获取接口反馈给元数据网关即可。这些接口的地址需要在网关中手动配置。一个网关连接多个应用系统，从而把这些系统的元数据信息整合起来，实现数据共享。由于地域、网络条件、服务器负载等因素，一个元数据网关可能无法保持高效率的工作。因此，我们可建立多个元数据网关，各网关应使用同样的元数据规范。
[0035](4)建设门户网站
[0036]门户网站是系统整合后的统一入口，它的核心功能是元数据访问和实体数据访问。元数据访问把符合访问要求的元数据信息返回给用户，这些信息中包含了相应数据集的描述信息，同时还包括该数据集在原有应用系统的浏览地址，用户可以根据得到的元数据情况选择浏览实体数据。实体数据访问把符合访问要求的数据集信息抓取到门户网站，直接显示给用户。这两种访问功能都是通过访问功能控制模块来完成的。该模块接受来自门户网站的用户访问请求，根据请求的类型与元数据网关和各应用系统的Web Service接口进行交互，得到访问结果，返回给网站用户。
【主权项】
1.一种跨平台大规模异构数据的统一管理方法，其特征在于: (1)规定元数据规范:制定一个符合行业特点、具有普遍适应性的元数据规范；元数据规范中至少应规定标识符、语种、字符集、联系方信息、创建日期、版本、数据集信息和WebService接口定义；将同应用系统中的所有数据集都用元数据来描述，一条元数据对应一个数据集； (2)搭建WebService数据获取接口:用Web Service将应用系统内所有数据集和元数据的访问功能封装起来，供外部系统调用；Web Service接口规范中规定访问条件的输入格式；访问结果的格式；访问结果的元数据描述；访问结果的显示转换规则； (3)搭建元数据网关:元数据网关的主要功能是对所有数据集的元数据进行统一管理，它调用各个应用系统的元数据获取接口来获得元数据信息，并向外部提供元数据的访问服务，外部系统可以通过网关访问该网关下属的各个节点上的元数据，但不能修改，元数据的修改和维护是在各应用系统内部完成的，各系统只需将元数据的变化通过WebService元数据获取接口反馈给元数据网关即可，一个网关连接多个应用系统，从而把这些系统的元数据信息整合起来,实现数据共享； (4)建设门户网站:门户网站是系统整合后的统一入口，它的核心功能是元数据访问和实体数据访问。元数据访问把符合访问要求的元数据信息返回给用户，这些信息中包含了相应数据集的描述信息，同时还包括该数据集在原有应用系统的浏览地址，用户可以根据得到的元数据情况选择浏览实体数据；实体数据访问把符合访问要求的数据集信息抓取到门户网站，直接显示给用户。
【专利摘要】一种跨平台大规模异构数据的统一管理方法，首先根据现有数据集的情况，制定一个符合行业特点、具有普遍适应性的元数据规范，将不同应用系统中的所有数据集都用元数据来描述，一条元数据对应一个数据集；然后，各应用系统向外部提供元数据和实体数据的访问方式；最后，建立统一的用户入口，实现基于元数据的数据共享和访问功能。
【IPC分类】G06F17-30
【公开号】CN104636329
【申请号】CN201310544304
【发明人】蓝飞翔, 袁芳, 马龙超, 陈瑞
【申请人】北京航天长峰科技工业集团有限公司
【公开日】2015年5月20日
【申请日】2013年11月6日