一种数据管理方法及系统、业务平台的制作方法_2

文档序号:9922092阅读:来源:国知局
创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0041 ]图1是本发明一实施例提供的一种数据管理方法的流程图;
[0042]图2是本发明一实施例提供的一种业务平台的结构示意图;
[0043]图3是本发明一实施例提供的另一种业务平台的结构示意图;
[0044]图4是本发明一实施例提供的一种数据管理系统的结构示意图;
[0045]图5是本发明一实施例中利用数据管理系统实现数据管理业务的流程图。
【具体实施方式】
[0046]为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0047]如图1所示,本发明实施例提供了一种数据管理方法,该方法可以包括以下步骤:
[0048]S1:从外部数据采集系统获取业务信息,其中,所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息;
[0049]S2:根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构;
[0050]S3:根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹,并将所述至少一条第一目标业务数据分别存储到对应的第一目标文件夹下;
[0051]S4:从外部关系型数据库中获取目标行业数据的数据结构;
[0052]S5:根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹,并将所述目标行业数据分别存储到对应的第二目标文件夹下;
[0053]S6:将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。
[0054]本发明一实施例中,根据外部数据采集系统发送的至少一条第一目标业务数据及其对应的属性信息构建文件目录结构,根据该文件目录结构在至少一个第一数据存储节点上构建相应的第一目标文件夹来分别存储对应的第一目标业务数据;相应的,从外部关系型数据库中获取对应的目标行业数据的数据结构,并根据该数据结构在至少一个第二数据存储节点上分别创建对应的第二目标文件夹来存储对应的目标行业数据;进而将每一个第二目标文件夹下存储的行业数据镜像到对应的第一目标文件夹下;可见,通过本发明的技术方案,可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
[0055]本发明一实施例中,每一个第一数据存储节点可对应一台第一数据存储服务器,通过目标文件目录结构管理每一台第一数据存储服务器的文件命名空间,即根据目标文件目录结构分别在每一台第一数据存储服务器上分别创建对应的第一目标文件夹,并根据目标文件目录结构将每一条第一目标业务数据分别发送至对应的第一数据存储服务器,每一台第一数据存储服务器分别将接收到的第一目标业务数据存储至对应的第一目标文件夹下。
[0056]本发明一实施例中,每一个第二数据存储节点可对应一台第二数据存储服务器,这里,可以利用SQOOP工具根据关系型数据库中存储的目标行业数据对应的数据结构,分别在至少一台第二数据存储服务器上构建对应的第二目标文件夹以存储对应的目标行业数据。
[0057]进一步的,为了方便用户同时查看相应的第一目标业务数据及该第一目标业务数据对应的行业数据,本发明一个优选实施例中,在所述将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下之后,还包括:
[0058]接收外部客户端发送的数据读取请求,其中,所述数据读取请求携带对应第二目标业务数据的第二属性信息;
[0059]根据所述第二属性信息查询所述目标文件目录结构,从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据,并将所述第二目标业务数据发送到外部客户端。
[0060]进一步的,由于关系型数据库中利用数据库表来存储行业数据,只需要分别获取每一张数据库表即可获取目标行业数据对应的数据结构,因此,本发明一个优选实施例中,所述从外部关系型数据库中获取目标行业数据的数据结构,包括:从外部关系型数据库中获取携带目标行业数据的至少一张数据库表。
[0061]相应的,具备不同标识信息的数据库表可以分别对应不同类型的目标行业数据,因此,为了将不同类型的目标行业数据分别存储在不同的第二目标文件夹下,本发明一个优选实施例中,所述根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹,包括:
[0062]根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
[0063]如图2所示,本发明实施例提供了一种业务平台20,包括:
[0064]第一接口单元201,用于从外部数据采集系统获取业务信息,其中,所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息;
[0065]构建单元202,用于根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构;
[0066]处理单元203,用于根据所述文件目录结构在至少一个第一数据存储节点205上分别创建第一目标文件夹,并将所述至少一条第一目标数据分别存储到对应的第一目标文件夹下;根据目标行业数据的数据结构在至少一个第二数据存储节点206上分别创建第二目标文件夹,并将所述目标行业数据分别存储到对应的第二目标文件夹下;将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下;
[0067]第二接口单元204,用于从外部关系型数据库中获取目标行业数据的数据结构。
[0068]进一步的,为了方便用户同时查看相应的第一目标业务数据及该第一目标业务数据对应的行业数据,本发明一个优选实施例中,如图3所示,还包括:
[0069]第三接口单元301,用于接收外部客户端发送的数据读取请求,其中,所述数据读取请求携带对应第二目标业务数据的第二属性信息;将第二目标业务数据发送到外部客户端;
[0070]所述处理单元203,进一步用于根据所述第二属性信息查询所述目标文件目录结构,从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据,并将所述第二目标业务数据发送给第三接口单元。
[0071]进一步的,由于关系型数据库中利用数据库表来存储行业数据,只需要分别获取每一张数据库表即可获取目标行业数据对应的数据结构,因此,本发明一个优选实施例中,所述第二接口单元204,用于从外部关系型数据库中获取携带目标行业数据的至少一张数据库表;
[0072]所述处理单元203,用于根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
[0073]上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1