一种数据管理方法及系统、业务平台的制作方法
【技术领域】
[0001 ]本发明涉及通信技术领域，特别涉及一种数据管理方法及系统、业务平台。
【背景技术】
[0002]随着互联网技术的发展，许多企业为了达成了解市场的动态变化及竞争对手分析，通常需要网上采集与自己行业相关的业务数据
[0003]目前，传统的数据采集系统主要利用垂直搜索和网络爬虫技术相结合以实现数据采集业务，根据用户提供的关键词，利用相应的搜索引擎进行垂直搜索，然后获取对应关键词的多个初始URL (Uniform Resoure Locator，统一资源定位符)地址，进而利用网络爬虫获取每一个初始URL地址分别对应的多个下级URL地址，利用相应的数据采集规则从多个初始URL地址以及多个下级URL地址分别对应的目标网页上采集相应的业务数据。
[0004]但是，在上述技术方案中，数据采集系统的数据库结构与企业内部行业数据对应的数据库结构可能完全不同，并不能将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
【发明内容】
[0005]本发明提供了一种数据管理方法及系统、业务平台，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
[0006]第一方面，本发明提供了一种数据管理方法，包括:
[0007]S1:从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
[0008]S2:根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
[0009]S3:根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；
[0010]S4:从外部关系型数据库中获取目标行业数据的数据结构；
[0011 ] S5:根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；
[0012]S6:将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。
[0013]进一步的，在所述将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下之后，还包括:
[0014]接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；
[0015]根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送到外部客户端。
[0016]进一步的，
[0017]所述从外部关系型数据库中获取目标行业数据的数据结构，包括:从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
[0018]所述根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，包括:
[0019]根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
[0020]第二方面，本发明提供了一种业务平台，包括:
[0021]第一接口单元，用于从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
[0022]构建单元，用于根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
[0023]处理单元，用于根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标数据分别存储到对应的第一目标文件夹下；根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下;将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下；
[0024]第二接口单元，用于从外部关系型数据库中获取目标行业数据的数据结构。
[0025]进一步的，还包括:
[0026]第三接口单元，用于接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息;将第二目标业务数据发送到外部客户端；
[0027]所述处理单元，进一步用于根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送给第三接口单元。
[0028]进一步的，
[0029]所述第二接口单元，用于从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
[0030]所述处理单元，用于根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
[0031]第三方面，本发明提供了一种数据管理系统，包括:
[0032]如上述第二方面中任一所述的业务平台、客户端及数据采集系统；
[0033]其中，所述客户端包括:
[0034]第四接口单元，用于向数据采集系统发送目标数据采集指令，其中，所述目标数据采集指令携带目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息；
[0035]所述数据采集系统，用于根据所述目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息配置对应的数据采集模版，利用所述数据采集模版采集至少一条第一目标业务数据，并将所述至少一条第一目标业务数据发送到所述业务-ψ
I 口 ο
[0036]进一步的，
[0037]当所述业务平台包括第三接口单元时，所述客户端，进一步包括:
[0038]第五接口单元，用于向所述业务平台发送数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；接收所述业务平台发送的第二目标业务数据。
[0039]本发明提供了一种数据管理方法及系统、业务平台，根据外部数据采集系统发送的至少一条第一目标业务数据及其对应的属性信息构建文件目录结构，根据该文件目录结构在至少一个第一数据存储节点上构建相应的第一目标文件夹来分别存储对应的第一目标业务数据;相应的，从外部关系型数据库中获取对应的目标行业数据的数据结构，并根据该数据结构在至少一个第二数据存储节点上分别创建对应的第二目标文件夹来存储对应的目标行业数据;进而将每一个第二目标文件夹下存储的行业数据镜像到对应的第一目标文件夹下;可见，通过本发明的技术方案，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
【附图说明】
[0040]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出