本发明涉及数据处理领域,尤其涉及一种异构数据的整理方法、装置、存储介质及设备。
背景技术:
目前的数据库比较多,且数据库中的数据类型、结构等呈现多样性、较强的异构特性。如关系型数据、分析型(olap)数据、事务型(oltp)关系数据、半结构化数据、非结构化数据,对于多种数据,用户在检索时有诸多不便。
如图1所示,用户在查找同一个数据时,在不同的数据库里面查到的数据类型可能不一样,此外,用户查找一个数据时,可能需要整合不同的数据库里面的资源,才能够得到完整的结果。
技术实现要素:
针对现有技术中的缺陷,本发明提供一种异构数据的整理方法、装置、存储介质及设备,通过将多个异构数据库的数据进行规整化,可方便用户通过一个平台来检索和查询相应的异构化数据,提高检索和查询的效率。
第一方面,本发明提供了一种异构数据的整理方法,所述方法包括:
获取多个数据库中的异构化数据的元数据及所述元数据的标识;
根据所述标识对所述异构化数据进行规整化,形成规整化数据库。
进一步地,所述标识包括所述异构化数据的至少一个数据属性。
进一步地,所述根据所述标识对所述异构化数据进行整理,形成规整化数据库之后,还包括:接收用户的查询请求,针对所述查询请求查询规整化数据库中的数据,并反馈查询结果。
进一步地,所述查询结果为所述规整化数据库中的数据,或所述规整化数据库中的数据对应的元数据。
进一步地,若所述查询结果包括多个数据,选取其中的最优数据作为查询结果。
进一步地,所述根据所述标识对所述异构化数据进行规整化,形成规整化数据库之后,还包括:监控所述元数据的更新情况,根据所述更新情况对所述规整化数据库中的数据进行相应的更新。
所述根据所述标识对所述异构化数据进行规整化,形成规整化数据库之后,还包括:根据用户的检索和用户输入的标签,对所述规整化数据库中的数据名称进行更改,并基于所述更改对规整化数据库中的数据重新进行规整化。
第二方面,本发明还提供了一种异构数据的整理装置,所述装置包括数据获取模块和规整化模块;
所述数据获取模块,用于获取多个数据库中的异构化数据的元数据及所述元数据的标识;
所述规整化模块,用于根据所述标识对所述异构化数据进行规整化,形成规整化数据库。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序(指令),该程序(指令)被处理器执行时实现第一方面所述的方法。
第四方面,本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。
由上述技术方案可知,本发明提供一种异构数据的整理方法、装置、存储介质及设备,通过将多个异构数据库的数据进行规整化,可方便用户通过一个平台来检索和查询相应的异构化数据,提高检索和查询的效率。
附图说明
图1示出了查询异构数据的传统方法的原理示意图。
图2示出了本发明实施例提供的异构数据的整理方法的流程示意图。
图3示出了基于本发明提供的整理方法查询异构数据的原理示意图。
图4示出了本发明实施例提供的异构数据的整理装置的结构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
图2示出了本发明实施例一提供的异构数据的整理方法的流程示意图。如图2所示,所述方法包括:
步骤s1,获取多个异构化数据库中的异构化数据的元数据及所述元数据的标识。
优选地,异构化数据包括但不限于以下类型:关系型数据、分析型(olap)数据、事务型(oltp)关系数据、半结构化数据(包括图数据和xml数据)、非结构化数据(包括图像、视频、音频、长文本)。
优选地,所述标识包括所述异构化数据的数据名称、数据文件来源、数据的时间戳、数据类型等至少一个数据属性。
步骤s2,根据所述标识对所述异构化数据进行规整化,形成规整化数据库。
优选地,根据所述标识对所述异构化数据进行规整化,包括:根据标识对异构化数据进行清理、转换、合并或重塑。
在一个示例中,步骤s2之后还可包括:接收用户的查询请求,针对所述查询请求查询规整化数据库中的数据,并反馈查询结果。
其中,所述查询结果为可以是所述规整化数据库中的数据,也可以是所述规整化数据库中的数据对应的元数据。
若查询结果中包括多个数据,则选取其中的最优数据作为查询结果。
在一个示例中,步骤s2之后还可包括:监控所述元数据的更新情况,根据所述更新情况对所述规整化数据库中的数据进行相应的更新。
具体地,可以根据元数据的增加、删除、修改情况,对规整化数据库中的数据进行相应的增加、删除或修改,以实现对规整化数据库的实时更新。
在一个示例中,步骤s2之后还可包括:接收用户的检索以及用户输入的标签,根据该检索和标签,对规整化数据库中的数据名称进行更改,并基于更改后的数据名称重新进行规整化,重新规整化的步骤同步骤s2。
基于本发明实施例一所述的整理方法所得到的规整化数据库,用户查询数据的原理如图3所示。
基于以上内容,本发明实施例一可以实现的技术效果为:将多个异构数据库的数据进行规整化,以方便用户通过一个平台来检索和查询相应的异构化数据,提高检索和查询的效率。
实施例二
对本发明实施例一对应地,本发明实施例二提供一种分布式数据管理的优化装置,如图4所示,所述装置包括互相连接的数据获取模块201和规整化模块202;
所述数据获取模块201,用于获取多个数据库中的异构化数据的元数据及所述元数据的标识;
所述规整化模块202,用于根据所述标识对所述异构化数据进行规整化,形成规整化数据库。
在一个示例中,所述装置还包括与规整化模块202连接的查询模块,用于接收用户的查询请求,针对所述查询请求查询规整化数据库中的数据,并反馈查询结果。
在一个示例中,所述装置还包括与规整化模块202连接的更新模块,用于监控所述元数据的更新情况,根据所述更新情况对所述规整化数据库中的数据进行相应的更新。
在一个示例中,所述装置还包括与规整化模块202连接的重新规整化模块,用于接收用户的检索以及用户输入的标签,根据该检索和标签,对规整化数据库中的数据名称进行更改,并基于更改后的数据名称重新进行规整化。
上述关于优化装置的具体内容可以参见实施例一,在此不再赘述。
实施例三
对本发明实施例一对应地,本发明实施例三提供一种计算机可读存储介质,其上存储有计算机程序(指令),该程序(指令)被处理器执行时实现本发明实施例一所述的优化方法。
上述存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质的具体内容可以参见实施例一,在此不再赘述。
实施例四
对本发明实施例一对应地,本发明实施例四提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明实施例一所述的优化方法。
上述关于计算机设备的具体内容可以参见实施例一,在此不再赘述。
在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
需要说明的是,本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与获得机指令的组合来实现。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。