一种数据的处理方法及装置与流程

本发明涉及数据，具体而言，涉及一种数据的处理方法及装置。

背景技术：

1、互联网环境下，海量数据产生于不同的来源和系统，通常也会由不同的数据供应商进行存储和处理，针对具体的业务应用场景，通常需要进行数据的传输、流转、处理、存储、审计。例如，对于信息投放效果追踪的业务应用场景，由于投放效果追踪的数据量十分庞大，数据提供方需要将各不同来源的数据传输到具有大计算量的数据处理平台，数据处理平台依据接收的数据进行数据后验的分析处理，从而获取该信息转化效果的数据，并返回给数据提供方。

2、目前，在数据传输到数据处理平台以及将信息转化效果的数据传输回数据提供方的传输过程中，通过对传输的数据进行加密，可以保障数据传输的安全性。但该方法，在数据的传输中，通过对加密的数据进行破解，或，在数据处理平台解密并存储数据时，数据处理平台，都会导致数据的泄露，因而，如何提升数据安全是一个亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供数据的处理方法及装置，以提高数据的安全性。

2、第一方面，本发明实施例提供了数据的处理方法，包括：

3、接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；

4、对所述加密数据进行解密后，传输至分布式集群进行存储；

5、依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；

6、接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。

7、结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在所述接收数据提供方发送的云服务平台的存储位置信息之后，依据所述存储位置信息拉取加密数据之前，所述方法还包括：

8、数据处理方依据接收的云服务平台的存储位置信息，设置用于对所述压缩数据进行处理的独立处理单元，以使独立处理单元从云服务平台执行所述依据所述存储位置信息拉取所述压缩数据。

9、结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，在接收数据提供方发送的云服务平台的存储位置信息之前，所述方法还包括：

10、对待传输数据进行加盐处理，得到加盐数据；

11、按照预先设置的加密算法，对加盐数据进行加密处理，得到加密数据，将所述加密数据传输至云服务平台进行存储。

12、结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述加密算法包括信息摘要算法、第五版信息摘要算法以及非对称算法。

13、结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述云服务平台为azure平台，所述方法还包括：

14、利用azure平台提供的串行scsi连接访问方式，采用web推送方式，将所述加密数据推送至azure平台。

15、结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，包括：

16、所述分布式集群解析所述集群数据计算任务，获取所述存储的路径信息以及所述计算任务；

17、从所述存储的路径信息中，获取加盐加密的数据；

18、依据所述数据提供方预先通知所述分布式集群获取的数据集中，按照与所述待传输数据相同的加盐加密方式，分别对数据集中的每一数据进行加盐加密，得到加盐加密的预存数据；

19、针对每一加盐加密的数据，获取与该加盐加密的数据相同的加盐加密的预存数据，从所述数据集中，提取该加盐加密的预存数据对应的数据，得到数据计算集；

20、所述分布式集群依据所述集群数据计算任务，对所述数据计算集进行计算，得到数据结算结果，将所述数据计算结果传输至所述独立处理单元。

21、结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：

22、记录对所述待传输数据进行操作的单元操作日志；

23、接收所述分布式集群记录的对所述集群数据计算任务进行操作的分布操作日志；

24、拼接所述单元操作日志和所述分布操作日志，存储拼接的日志。

25、第二方面，本发明实施例还提供了一种数据的处理装置，包括：

26、加密数据获取模块，用于接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；

27、数据传输模块，用于对所述加密数据进行解密后，传输至分布式集群进行存储；

28、任务提交模块，用于依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；

29、结算结果获取模块，用于接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。

30、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

31、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

32、本发明实施例提供的数据的处理方法及装置，通过接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；对所述加密数据进行解密后，传输至分布式集群进行存储；依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。这样，通过数据处理方从云服务平台拉取加密数据，传输至分布式集群，并向分布式集群提交集群数据计算任务请求以进行数据计算处理，可以确保数据在公网的传输安全、数据处理的安全，能够提升数据的安全性。

33、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种数据的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述接收数据提供方发送的云服务平台的存储位置信息之后，依据所述存储位置信息拉取加密数据之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，在接收数据提供方发送的云服务平台的存储位置信息之前，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述加密算法包括信息摘要算法、第五版信息摘要算法以及非对称算法。

5.根据权利要求3所述的方法，其特征在于，所述云服务平台为azure平台，所述方法还包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，包括：

7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据的处理装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的数据的处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据的处理方法的步骤。

技术总结
本发明提供了一种数据的处理方法及装置，方法包括：接收数据提供方发送的云服务平台的存储位置信息，依据所述存储位置信息拉取加密数据；对所述加密数据进行解密后，传输至分布式集群进行存储；依据分布式集群用于存储的路径信息以及计算任务，生成集群数据计算任务请求，向分布式集群提交；接收所述分布式集群依据所述计算任务，从所述路径信息获取的数据进行计算返回的数据结算结果，进行加密处理后传输至所述云服务平台，并通知所述数据提供方拉取所述数据结算结果。可以提高数据的安全性。

技术研发人员：朱小兵,赵洁
受保护的技术使用者：上海秒针网络科技有限公司
技术研发日：
技术公布日：2024/1/12