一种支持多源数据中心联合安全计算数据处理方法及装置与流程

本发明涉及服务器，尤其涉及的是一种支持多源数据中心联合安全计算数据处理方法及装置。

背景技术：

1、随着大数据技术的发展，出现了多种存储服务，例如mysql（关系型数据库）、clickhouse（分析型数据库）、hbase（分布式的、面向列的开源数据库）、hive（数据仓库工具）等，导致各个数据中心业务系统产生的数据散落在不同的存储服务上，各自的数据就像若干个孤岛无法与其他数据进行连接互动，使数据价值大大降低。

2、传统的解决方案是通过spark sql（结构化数据处理引擎）或者presto（开源数据库查询引擎）等分布式查询引擎，这些查询引擎可以解决多数据源的联合计算，但是并没有提供跨多源数据中心数据的联合计算，无法实现与其他跨多源数据进行连接互动，无法提高数据价值。另外一种解决方案是通过数据中台对所有数据进行抽取聚合，但这会造成存储资源的浪费，而且为了确保能够进行数据同步，需要保证数据中台服务与各个数据源之间的网络能够联通，构建基础的网络环境也需要很大的成本。

3、因此，现有技术还有待改进。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种支持多源数据中心联合安全计算数据处理方法及装置，以解决无法实现与其他跨多源数据进行连接互动的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供一种支持多源数据中心联合安全计算数据处理方法，包括：

4、获取跨多源数据中心的联合计算任务信息；其中，所述联合计算任务信息为基于sql规范的联合计算任务信息；

5、对所述联合计算任务信息进行解析，向各代理节点发送对应的计算任务；

6、通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，输出联合计算任务的计算结果。

7、在一种实现方式中，所述获取跨多源数据中心的联合计算任务信息，之前包括：

8、通过节点注册模块将服务的ip、端口信息保存在业务数据库中，并为各代理节点生成一个唯一编号。

9、在一种实现方式中，所述获取跨多源数据中心的联合计算任务信息，之前还包括：

10、通过openssl生成代理节点与中心节点加解密数据所需要的证书，将证书返回至对应的代理节点；

11、生成rsa密钥对，通过所述rsa密钥对中的公钥对各代理节点的唯一编码进行加密；

12、获取中心节点集群包含的所有机器ip，以ip列表的形式返回给各代理节点；其中，所述ip列表用于在各代理节点生成白名单。

13、在一种实现方式中，所述获取跨多源数据中心的联合计算任务信息，之前还包括：

14、根据各代理节点的请求定期更新各代理节点对应的证书以及加密后的节点编码。

15、在一种实现方式中，所述获取跨多源数据中心的联合计算任务信息，包括：

16、获取所述联合计算任务信息；

17、通过sql解析模块解析所述联合计算任务信息中的表资源，并根据解析的表资源对用户节点权限进行认证。

18、在一种实现方式中，所述对所述联合计算任务信息进行解析，向各代理节点发送对应的计算任务，并为各代理节点生成加密传输的密钥和认证信息，包括：

19、通过sql解析模块将联合计算任务拆分为若干个子任务；

20、将若干个所述子任务分发给对应的代理节点。

21、在一种实现方式中，所述通过sql解析模块将联合计算任务拆分为若干个子任务，之后包括：

22、从zookeeper集群中获取对应的代理节点的读锁；

23、根据读锁获取结果提交对应的子任务，并在对应的子任务运行完成后释放读锁。

24、在一种实现方式中，所述通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，包括：

25、获取各代理节点反馈的节点认证信息；其中，所述节点认证信息为rsa密钥对中的公钥对各代理节点的唯一编码进行加密的结果；

26、根据各代理节点反馈的节点认证信息进行代理节点认证；

27、根据认证结果获取对应的数据中心的数据，根据获取的数据进行联合计算。

28、在一种实现方式中，所述根据各代理节点反馈的节点认证信息进行代理节点认证，包括：

29、通过rsa密钥对中的私钥进行解密；

30、若解密失败，则拒绝对应的用户节点的任务请求；

31、若解密成功，则判断解密后的编码是否为对应的代理节点的编码；

32、若解密后的编码为对应的代理节点的编码，则判定代理节点认证成功。

33、在一种实现方式中，所述通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，输出联合计算任务的计算结果，之后包括：

34、向zookeeper集群获取待更新的代理节点的写锁；

35、根据获取的写锁更新对应的代理节点的密钥，并释放写锁。

36、第二方面，本发明提供一种支持多源数据中心联合安全计算数据处理装置，包括：

37、任务管理模块，用于获取跨多源数据中心的联合计算任务信息；其中，所述联合计算任务信息为基于sql规范的联合计算任务信息；

38、节点管理模块，用于对所述联合计算任务信息进行解析，向各代理节点发送对应的计算任务；

39、联合计算模块，用于通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，输出联合计算任务的计算结果。

40、第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有支持多源数据中心联合安全计算数据处理程序，所述支持多源数据中心联合安全计算数据处理程序被所述处理器执行时用于实现如第一方面所述的支持多源数据中心联合安全计算数据处理方法的操作。

41、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有支持多源数据中心联合安全计算数据处理程序，所述支持多源数据中心联合安全计算数据处理程序被处理器执行时用于实现如第一方面所述的支持多源数据中心联合安全计算数据处理方法的操作。

42、本发明采用上述技术方案具有以下效果：

43、本发明提供了一种安全的支持跨多源数据中心的联合计算方法，可以实现跨数据中心、跨数据源的联合计算，由代理节点获取各数据中心数据汇聚到中心节点进行计算，通过密钥加密传输计算结果、申请-审批机制，保证数据计算过程中的安全，每个代理节点通过校验用户凭证只接收中心节点发起的请求，从而解决无法实现与其他跨多源数据进行连接互动的问题，提高了跨多源数据的价值。

技术特征：

1.一种支持多源数据中心联合安全计算数据处理方法，其特征在于，包括：

2.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述获取跨多源数据中心的联合计算任务信息，之前包括：

3.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述获取跨多源数据中心的联合计算任务信息，之前还包括：

4.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述获取跨多源数据中心的联合计算任务信息，之前还包括：

5.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述获取跨多源数据中心的联合计算任务信息，包括：

6.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述对所述联合计算任务信息进行解析，向各代理节点发送对应的计算任务，包括：

7.根据权利要求6所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述通过sql解析模块将联合计算任务拆分为若干个子任务，之后包括：

8.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，包括：

9.根据权利要求8所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述根据各代理节点反馈的节点认证信息进行代理节点认证，包括：

10.根据权利要求1所述的支持多源数据中心联合安全计算数据处理方法，其特征在于，所述通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，输出联合计算任务的计算结果，之后包括：

11.一种支持多源数据中心联合安全计算数据处理装置，其特征在于，包括：

12.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有支持多源数据中心联合安全计算数据处理程序，所述支持多源数据中心联合安全计算数据处理程序被所述处理器执行时用于实现如权利要求1-10中任意一项所述的支持多源数据中心联合安全计算数据处理方法的操作。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有支持多源数据中心联合安全计算数据处理程序，所述支持多源数据中心联合安全计算数据处理程序被处理器执行时用于实现如权利要求1-10中任意一项所述的支持多源数据中心联合安全计算数据处理方法的操作。

技术总结
本发明公开了一种支持多源数据中心联合安全计算数据处理方法及装置，包括：获取跨多源数据中心的联合计算任务信息；其中，所述联合计算任务信息为基于SQL规范的联合计算任务信息；对所述联合计算任务信息进行解析，向各代理节点发送对应的计算任务；通过各代理节点获取对应的数据中心的数据，根据获取的数据进行联合计算，输出联合计算任务的计算结果；本发明解决了无法实现与其他跨多源数据进行连接互动的问题，提高了跨多源数据的价值。

技术研发人员：山其本,王耀威,李潘,蒋冬梅,田永鸿
受保护的技术使用者：鹏城实验室
技术研发日：
技术公布日：2024/1/13