数据处理方法、装置、相关设备及存储介质与流程

本技术涉及数据应用领域，尤其涉及一种数据处理方法、装置、相关设备及存储介质。

背景技术：

1、当今世界，数据在全球经济运转中的价值日益凸显，国际间抢夺数字经济制高点的竞争日趋激烈。随着经济活动数字化、信息化、智能化转型升级的快速发展，数据的基础保障作用和提高生产效率的乘数作用不断加强，成为最具时代特征和蕴含巨大潜力的新生产要素。同时，数据成为数字经济时代的基础性资源、战略性资源和重要生产力，将数据要素市场列入顶层设计，能够加快推动数据要素交易流通的发展。

2、然而，数据的应用存在严重的数据孤岛问题。考虑到数据安全、竞争关系和审批流程等因素，数据在行业、甚至是在公司内部以“孤岛”的形式存在。也就是说，由于行业竞争、隐私安全、行政手续复杂等问题，即使是在同一个公司的不同部门之间实现数据整合也面临着重重阻力，在现实中想要将分散在各地、或者各个机构的数据进行整合，所需要的成本是非常巨大的，各行业、各公司、各部门的数据的共享应用非常困难。

3、因此，在大数据安全、各方数据均不离开己方数据库的前提下进行数据共享应用的方法越发受到业界的关注，用于隐私计算、联邦学习的计算引擎相继出现。其中，隐私计算是指在保护数据本身不对外泄露的前提下实现数据分析计算的技术集合，达到对数据“可用、不可见”的目的；在充分保护数据和隐私安全的前提下，实现数据价值的转化和释放。

4、然而，相关技术中，数据提供方和数据需求方使用计算引擎进行数据处理的方式尚需优化。

技术实现思路

1、为解决相关技术问题，本技术实施例提供一种数据处理方法、装置、相关设备及存储介质。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供了一种数据处理方法，应用于第一节点，包括：

4、获取第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

5、根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过第一平台，与所述至少一个第二节点联合进行数据处理。

6、上述方案中，所述方法还包括：

7、通过所述第一平台，向每个第二节点发送所述第一信息和第二信息。

8、上述方案中，所述方法还包括：

9、根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包。

10、上述方案中，所述根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包，包括：

11、接收到所述第一平台发送的第三信息时，根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包；所述第三信息表征所述第一平台能够提供所述n个计算引擎中每个计算引擎的算法包；所述第三信息是所述第一平台接收到每个第二节点发送的第四信息后发送的，所述第四信息表征所述第一信息和第二信息通过第二节点的审核。

12、上述方案中，所述根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包，包括：

13、根据所述第二信息，向所述第一平台发送第一请求，所述第一请求用于请求获取所述n个计算引擎；并接收所述第一平台根据所述第一请求发送的n个计算引擎；

14、根据所述第二信息，向所述第一平台发送第二请求，所述第二请求用于请求获取所述n个计算引擎中每个计算引擎的至少一个算法包；并接收所述第一平台根据所述第二请求发送的所述n个计算引擎中每个计算引擎的至少一个算法包。

15、上述方案中，所述方法还包括：

16、接收到所述n个计算引擎后，确定所述n个计算引擎中每个计算引擎的网络信息，并向所述第一平台发送所述n个计算引擎中每个计算引擎的网络信息。

17、上述方案中，所述方法还包括：

18、根据所述第二信息，从所述第一平台获取所述n个计算引擎中的m个计算引擎中每个计算引擎的算法包，m为大于0的整数，且m小于或等于n。

19、上述方案中，所述根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过第一平台，与所述至少一个第二节点联合进行数据处理，包括：

20、使用所述n个计算引擎中每个计算引擎的至少一个算法包，进行第一模型的训练，得到第一参数集；

21、向所述第一平台发送所述第一参数集，并接收所述第一平台发送的第二参数集；所述第二参数集是所述第一平台使用所述第一参数集和至少一个第三参数集确定的；每个第三参数集是一个第二节点使用所述n个计算引擎中每个计算引擎的至少一个算法包进行第二模型的训练得到的；

22、使用所述n个计算引擎中每个计算引擎的至少一个算法包和所述第二参数集，进行所述第一模型的训练。

23、上述方案中，所述方法还包括：

24、接入所述第一平台。

25、本技术实施例还提供了一种数据处理方法，应用于第一平台，包括：

26、接收第一节点发送的第一信息和第二信息，向至少一个第二节点中的每个第二节点发送所述第一信息和第二信息；所述第一信息包含所述第一节点与所述至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

27、使用所述第一信息和第二信息，实现所述第一节点与所述至少一个第二节点通过所述第一平台联合进行数据处理。

28、上述方案中，所述方法还包括：

29、向所述第一节点和/或至少一个第二节点发送所述n个计算引擎中每个计算引擎的算法包。

30、上述方案中，在向所述第一节点和/或至少一个第二节点发送所述n个计算引擎中每个计算引擎的算法包之前，所述方法还包括：

31、接收到每个第二节点发送的第四信息后，在能够提供所述n个计算引擎中每个计算引擎的算法包的情况下，向所述第一节点和每个第二节点发送第三信息；所述第三信息表征所述第一平台能够提供所述n个计算引擎中每个计算引擎的算法包；所述第四信息表征所述第一信息和第二信息通过第二节点的审核。

32、上述方案中，所述向所述第一节点发送所述n个计算引擎中每个计算引擎的算法包，包括：

33、接收所述第一节点发送的第一请求，所述第一请求用于请求获取所述n个计算引擎；根据所述第一请求，向所述第一节点发送n个计算引擎；

34、接收所述第一节点发送的第二请求，所述第二请求用于请求获取所述n个计算引擎中每个计算引擎的至少一个算法包；根据所述第二请求，向所述第一节点发送所述n个计算引擎中每个计算引擎的至少一个算法包。

35、上述方案中，所述方法还包括：

36、接收所述第一节点发送的所述n个计算引擎中每个计算引擎的网络信息。

37、上述方案中，所述向至少一个第二节点发送所述n个计算引擎中每个计算引擎的算法包，包括：

38、接收第二节点发送的第三请求，所述第三请求用于请求获取所述n个计算引擎；根据所述第三请求，向第二节点发送n个计算引擎；

39、接收第二节点发送的第四请求，所述第四请求用于请求获取所述n个计算引擎中每个计算引擎的至少一个算法包；根据所述第四请求，向第二节点发送所述n个计算引擎中每个计算引擎的至少一个算法包。

40、上述方案中，所述方法还包括：

41、接收第二节点发送的所述n个计算引擎中每个计算引擎的网络信息。

42、上述方案中，所述方法还包括：

43、向所述第一节点发送所述n个计算引擎中的m个计算引擎中每个计算引擎的算法包，m为大于0的整数，且m小于或等于n；

44、和/或，

45、向至少一个第二节点发送所述n个计算引擎中的x个计算引擎中每个计算引擎的算法包，x为大于0的整数，且x小于或等于n。

46、上述方案中，所述使用所述第一信息和第二信息，实现所述第一节点与所述至少一个第二节点通过所述第一平台联合进行数据处理，包括：

47、接收所述第一节点发送的第一参数集，所述第一参数集是所述第一节点使用所述n个计算引擎中每个计算引擎的至少一个算法包进行第一模型的训练得到的；

48、接收每个第二节点发送的第三参数集，每个第三参数集是一个第二节点使用所述n个计算引擎中每个计算引擎的至少一个算法包进行第二模型的训练得到的；

49、使用所述第一参数集和至少一个第三参数集，确定第二参数集；并向所述第一节点和每个第二节点发送所述第二参数集。

50、上述方案中，所述方法还包括：

51、接入所述第一节点和至少一个第二节点。

52、本技术实施例还提供了一种数据处理方法，应用于第二节点，包括：

53、通过第一平台，接收第一节点发送的第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

54、根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过所述第一平台，与所述第一节点联合进行数据处理。

55、上述方案中，所述方法还包括：

56、使用预设策略对所述第一信息和第二信息进行审核；

57、当所述第一信息和第二信息通过审核时，向所述第一平台发送第四信息，所述第四信息表征所述第一信息和第二信息通过所述第二节点的审核。

58、上述方案中，所述方法还包括：

59、根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包。

60、上述方案中，所述根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包，包括：

61、接收到所述第一平台发送的第三信息时，根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包；所述第三信息表征所述第一平台能够提供所述n个计算引擎中每个计算引擎的算法包；所述第三信息是所述第一平台接收到每个第二节点发送的第四信息后发送的，所述第四信息表征所述第一信息和第二信息通过第二节点的审核。

62、上述方案中，所述根据所述第二信息，从所述第一平台获取所述n个计算引擎中每个计算引擎的算法包，包括：

63、根据所述第二信息，向所述第一平台发送第三请求，所述第三请求用于请求获取所述n个计算引擎；并接收所述第一平台根据所述第三请求发送的n个计算引擎；

64、根据所述第二信息，向所述第一平台发送第四请求，所述第四请求用于请求获取所述n个计算引擎中每个计算引擎的至少一个算法包；并接收所述第一平台根据所述第四请求发送的所述n个计算引擎中每个计算引擎的至少一个算法包。

65、上述方案中，所述方法还包括：

66、接收到所述n个计算引擎后，确定所述n个计算引擎中每个计算引擎的网络信息，并向所述第一平台发送所述n个计算引擎中每个计算引擎的网络信息。

67、上述方案中，所述方法还包括：

68、根据所述第二信息，从所述第一平台获取所述n个计算引擎中的x个计算引擎中每个计算引擎的算法包，x为大于0的整数，且x小于或等于n。

69、上述方案中，所述根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过所述第一平台，与所述第一节点联合进行数据处理，包括：

70、使用所述n个计算引擎中每个计算引擎的至少一个算法包，进行第二模型的训练，得到第三参数集；

71、向所述第一平台发送所述第三参数集，并接收所述第一平台发送的第二参数集；所述第二参数集是所述第一平台使用所述第一参数集和至少一个第三参数集确定的；所述第一参数集是所述第一节点使用所述n个计算引擎中每个计算引擎的至少一个算法包进行第一模型的训练得到的；

72、使用所述n个计算引擎中每个计算引擎的至少一个算法包和所述第二参数集，进行所述第二模型的训练。

73、上述方案中，所述方法还包括：

74、接入所述第一平台。

75、本技术实施例还提供了一种数据处理装置，设置在第一节点，包括：

76、第一获取单元，用于获取第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

77、第一处理单元，用于根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过第一平台，与所述至少一个第二节点联合进行数据处理。

78、本技术实施例还提供了一种数据处理装置，设置在第一平台，包括：

79、第一接收单元，用于接收第一节点发送的第一信息和第二信息；所述第一信息包含所述第一节点与所述至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

80、第一发送单元，用于向至少一个第二节点中的每个第二节点发送所述第一信息和第二信息；

81、第二处理单元，用于使用所述第一信息和第二信息，实现所述第一节点与所述至少一个第二节点通过所述第一平台联合进行数据处理。

82、本技术实施例还提供了一种数据处理装置，设置在第二节点，包括：

83、第二接收单元，用于通过第一平台，接收第一节点发送的第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

84、第三处理单元，用于根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过所述第一平台，与所述第一节点联合进行数据处理。

85、本技术实施例还提供了一种第一节点，包括：第一通信接口和第一处理器；其中，

86、所述第一处理器，用于通过所述第一通信接口获取第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

87、根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过第一平台，与所述至少一个第二节点联合进行数据处理。

88、本技术实施例还提供了一种平台，包括：

89、第二通信接口，用于接收第一节点发送的第一信息和第二信息，向至少一个第二节点中的每个第二节点发送所述第一信息和第二信息；所述第一信息包含所述第一节点与所述至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

90、第二处理器，用于使用所述第一信息和第二信息，实现所述第一节点与所述至少一个第二节点通过所述平台联合进行数据处理。

91、本技术实施例还提供了一种第二节点，包括：

92、第三通信接口，用于通过第一平台，接收第一节点发送的第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；

93、第三处理器，用于根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过所述第一平台，与所述第一节点联合进行数据处理。

94、本技术实施例还提供了一种第一节点，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，

95、其中，所述第一处理器用于运行所述计算机程序时，执行上述第一节点侧任一方法的步骤。

96、本技术实施例还提供了一种平台，包括：第二处理器和用于存储能够在处理器上运行的计算机程序的第二存储器，

97、其中，所述第二处理器用于运行所述计算机程序时，执行上述第一平台侧任一方法的步骤。

98、本技术实施例还提供了一种第二节点，包括：第三处理器和用于存储能够在处理器上运行的计算机程序的第三存储器，

99、其中，所述第三处理器用于运行所述计算机程序时，执行上述第二节点侧任一方法的步骤。

100、本技术实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一节点侧任一方法的步骤，或者实现上述第一平台侧任一方法的步骤，或者实现上述第二节点侧任一方法的步骤。

101、本技术实施例提供的数据处理方法、装置、相关设备及存储介质，第一节点获取第一信息和第二信息；所述第一信息包含所述第一节点与至少一个第二节点联合进行数据处理的需求相关信息；所述第二信息包含与所述数据处理关联的n个计算引擎的相关信息，n为大于1的整数；根据所述第一信息，使用所述n个计算引擎中每个计算引擎的算法包，通过第一平台，与所述至少一个第二节点联合进行数据处理。本技术实施例的方案，通过第一平台，数据需求方(即第一节点)和数据提供方(即第二节点)可以使用多种计算引擎联合进行数据处理，从而能够避免多次在多个计算引擎和/或多个计算平台上进行重复操作，进而能够提高数据共享效率，换句话说，能够使得双方或多方的数据共享更安全和更便捷。