本发明涉及计算机,尤其涉及一种多中心跨平台的海量数据交换与共享方法及系统。
背景技术:
1、随着计算机技术、信息技术、互联网技术的发展与科研任务的需要,当前数据量逐渐增多,数据的交换共享及更新也越来越频繁。作为涉及到价值链核心的主数据交换需求也愈渐增加。然而当前应用多采用分布式存储,数据传输效率低,降低数据查询效率。为了满足上述需求,提供提高数据交换效率的海量数据交换与共享方案成为亟待解决的问题。
技术实现思路
1、本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的多中心跨平台的海量数据交换与共享方法及系统,以真实世界数据平台为中心,进行主从式海量数据交换与共享,帮助提高数据交换效率。
2、为达到上述目的,本发明的技术方案具体是这样实现的:
3、本发明的一个方面提供了一种多中心跨平台的海量数据交换与共享方法,包括:
4、用户终端通过用户id登录真实世界数据平台,并通过用户个人密钥进行身份认证;
5、所述用户终端在身份认证通过后,接入数据交换共享平台,发送数据交换请求或者数据共享请求至后台控制器;
6、所述后台控制器根据预设交换规则将所述数据交换请求或者所述数据共享请求发送至目标数据节点;
7、接受所述数据交换请求或者所述数据共享请求的所述目标数据节点被标记为应用节点,按照数据交换规则向所述应用节点中的每个数据的分析节点获取数据切片,对获取的所述数据切片中所有对象进行查重分析,去除重复数据,选取前n个对象反馈至所述用户终端,其中,n为用户申请交换数据数量。
8、其中,在所述用户终端通过用户id登录真实世界数据平台,并通过用户个人密钥进行身份认证之前,方法还包括:
9、所述用户终端获取所述真实世界数据平台生成的唯一的所述用户id及所述用户个人密钥。
10、其中,所述数据交换请求或者所述数据共享请求包括:数据交换等级或者数据共享等级、所述用户id、数据属性标识、所述用户申请交换数据数量。
11、其中,所述后台控制器根据预设交换规则将所述数据交换请求或者所述数据共享请求发送至目标数据节点包括:
12、所述后台控制器根据所述数据交换等级或者所述数据共享等级确定所述用户申请交换数据数量,向对应所述用户申请交换数据数量的优选节点发送所述数据交换请求或者所述数据共享请求。
13、其中,所述选取前n个对象反馈至所述用户终端包括:
14、如果n≤数据库数据量,则选取前n个对象反馈至所述用户终端;
15、如果n>数据库数据量,则返回数据库中所有数据,并提示数据不足。
16、其中,所述按照数据交换规则向所述应用节点中的每个数据的分析节点获取数据切片包括:
17、各中心确定每条数据的评分;
18、总中心根据每条数据的评分,计算该条数据的贡献度;
19、所述总中心将数据评分大于等于预设分的数据,通过如下公式计算应开放数据总数计算公式:
20、
21、其中n为应开放数据数量,a为汇交数据库权重,xi为每条数据对应数据评分,yi为各评分对应数据数量,y为所述预设分及以上数据数量;
22、所述总中心如果计算得到的应开放数据总数不足以完成协议应开放的数据条数,进行数据补足后获取数据切片。
23、本发明的另一个方面提供了一种多中心跨平台的海量数据交换与共享系统,包括:
24、用户终端,用于通过用户id登录真实世界数据平台,并通过用户个人密钥进行身份认证;在身份认证通过后,接入数据交换共享平台,发送数据交换请求或者数据共享请求至后台控制器;
25、所述后台控制器,用于根据预设交换规则将所述数据交换请求或者所述数据共享请求发送至目标数据节点;
26、接受所述数据交换请求或者所述数据共享请求的所述目标数据节点被标记为应用节点,用于按照数据交换规则向所述应用节点中的每个数据的分析节点获取数据切片,对获取的所述数据切片中所有对象进行查重分析,去除重复数据,选取前n个对象反馈至所述用户终端,其中,n为用户申请交换数据数量。
27、其中,所述用户终端,还用于在所述用户终端通过用户id登录真实世界数据平台,并通过用户个人密钥进行身份认证之前,获取所述真实世界数据平台生成的唯一的所述用户id及所述用户个人密钥。
28、其中,所述数据交换请求或者所述数据共享请求包括:数据交换等级或者数据共享等级、所述用户id、数据属性标识、所述用户申请交换数据数量。
29、其中,所述后台控制器通过如下方式根据预设交换规则将所述数据交换请求或者所述数据共享请求发送至目标数据节点:
30、所述后台控制器根据所述数据交换等级或者所述数据共享等级确定所述用户申请交换数据数量,向对应所述用户申请交换数据数量的优选节点发送所述数据交换请求或者所述数据共享请求。
31、其中,所述接受所述数据交换请求或者所述数据共享请求的所述目标数据节点通过如下方式选取前n个对象反馈至所述用户终端:
32、如果n≤数据库数据量,则选取前n个对象反馈至所述用户终端;
33、如果n>数据库数据量,则返回数据库中所有数据,并提示数据不足。
34、其中,系统还包括各个中心和总中心;
35、所述后台控制器通过如下方式按照数据交换规则向所述应用节点中的每个数据的分析节点获取数据切片:
36、各所述中心,用于确定每条数据的评分;
37、所述总中心,用于根据每条数据的评分,计算该条数据的贡献度;将数据评分大于等于预设分的数据,通过如下公式计算应开放数据总数计算公式:其中n为应开放数据数量,a为汇交数据库权重,xi为每条数据对应数据评分,yi为各评分对应数据数量,y为所述预设分及以上数据数量;如果计算得到的应开放数据总数不足以完成协议应开放的数据条数,进行数据补足;
38、所述后台控制器获取数据切片。
39、由此可见,通过本发明提供的多中心跨平台的海量数据交换与共享方法及系统,可根据数据交换请求的数据交换等级确定对应的目标数量,向对应目标数量的优选节点发送数据交换请求,用户终端可以只发出一次数据交换请求,就从多个数据分析节点中获取数据信息,并且根据选配值选取对应的数据分析节点,提高了数据交换的效率;同时减少数据查询次数和时间,降低数据交换延迟。
1.一种多中心跨平台的海量数据交换与共享方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在所述用户终端通过用户id登录真实世界数据平台,并通过用户个人密钥进行身份认证之前,还包括:
3.根据权利要求1所述的方法,其特征在于,所述数据交换请求或者所述数据共享请求包括:数据交换等级或者数据共享等级、所述用户id、数据属性标识、所述用户申请交换数据数量。
4.根据权利要求3所述的方法,其特征在于,所述后台控制器根据预设交换规则将所述数据交换请求或者所述数据共享请求发送至目标数据节点包括:
5.根据权利要求1所述的方法,其特征在于,所述选取前n个对象反馈至所述用户终端包括:
6.根据权利要求1所述的方法,其特征在于,所述按照数据交换规则向所述应用节点中的每个数据的分析节点获取数据切片包括:
7.一种多中心跨平台的海量数据交换与共享系统,其特征在于,包括:
8.根据权利要求7所述的系统,其特征在于,所述用户终端,还用于在所述用户终端通过用户id登录真实世界数据平台,并通过用户个人密钥进行身份认证之前,获取所述真实世界数据平台生成的唯一的所述用户id及所述用户个人密钥。
9.根据权利要求7所述的系统,其特征在于,所述数据交换请求或者所述数据共享请求包括:数据交换等级或者数据共享等级、所述用户id、数据属性标识、所述用户申请交换数据数量。
10.根据权利要求7所述的系统,其特征在于,所述后台控制器通过如下方式根据预设交换规则将所述数据交换请求或者所述数据共享请求发送至目标数据节点:
11.根据权利要求7所述的系统,其特征在于,所述接受所述数据交换请求或者所述数据共享请求的所述目标数据节点通过如下方式选取前n个对象反馈至所述用户终端:
12.根据权利要求7所述的系统,其特征在于,还包括各个中心和总中心;