用于工业互联网PaaS平台的数据处理方法、系统及存储介质与流程

本发明属于数据处理，具体涉及用于工业互联网paas平台的数据处理方法、系统及存储介质。

背景技术：

1、在云计算时代把服务器平台或者开发环境作为服务进行提供就成为了paas，paas实际上是指将软件研发的平台作为一种服务，能够提高开发能力，缩短应用软件的开发周期，以及提高应用软件的质量。公开号为cn113590438a的中国发明专利提供一种数据处理方法、装置、paas及存储介质，方法包括在paas中通过数据平台采集第三方应用的运营数据；通过数据平台中创建的运营分析任务，对运营数据中运营分析任务对应的任务数据进行分析处理；通过开发者平台中创建的服务应用，为第三方应用提供运营分析服务，运营分析服务包括服务接口，服务接口用于从数据平台中获取运营分析任务对应的分析处理结果，但是，该发明并没有考虑当运营数据需要经过多个系统进行数据处理时，由于每个系统都需要判断数据流向而需要花费较多时间的问题。公开号为cn115599677a的中国发明专利提供一种paas云远程调试方法、装置及设备，方法包括客户端通过调用k8s原生接口访问paas云端，获得当前云空间下的所有pod信息，根据用户选择的待调试的目标应用，客户端新建预设个数的websocket请求，并连接到目标应用集群下的pod上的代理程序，根据用户选择的目标应用集群下的pod上的代理程序返回的类和方法，客户端将调试信息通过websocket发送到对应的pod上的代理程序上，代理程序在接收到调试信息后，通过插桩在对应的类和方法前，记录变量值和抛出异常的信息，并在目标应用下的pod触发断电后，通过websocket向客户端返回调试结果，然而，该发明没有考虑paas云端与客户端进行通信时的数据安全问题。由此，本发明提供用于工业互联网paas平台的数据处理方法、系统及存储介质。

技术实现思路

1、本发明在paas平台上部署数据收集系统、数据处理系统、管理系统、以及数据存储系统，管理系统自动预测数据收集系统收集到的工业数据流经不同的数据处理系统的处理路径，并且将最终的处理数据存储到数据存储系统，在用户系统申请查询最终的处理数据时，数据存储系统通过加密传输的方式传输最终的处理数据。本发明旨在解决工业数据需要经过多个系统进行数据处理时，由于每个系统都需要判断数据流向而花费较多时间的问题，以及确保用户系统与paas平台上的数据存储系统之间的通信安全。

2、为了达到上述的发明目的，本发明给出如下所述的用于工业互联网paas平台的数据处理方法，主要包括以下的步骤：

3、s1、在paas平台上部署数据收集系统、数据处理系统1、数据处理系统2、直到数据系统n，以及数据存储系统，所述数据收集系统收集到的工业数据通过经由若干个数据处理系统的顺序的数据处理之后生成最终的处理数据，并且最终的处理数据被传输给所述数据存储系统进行存储；

4、s2、所述数据存储系统通过服务接口给用户系统提供最终的处理数据的查询服务，在所述用户系统向所述数据存储系统发起查询请求的情况下，所述数据存储系统向所述用户系统发送秘密数据，所述秘密数据包括最终的处理数据的加密结果；

5、s3、所述用户系统在接收到来自所述数据存储系统的所述秘密数据之后，从所述秘密数据中恢复出最终的处理数据。

6、作为本发明的一种优选技术方案，还在paas平台上部署管理系统，所述管理系统同时与所述数据收集系统、所述数据处理系统1、所述数据处理系统2、直到所述数据处理系统n，以及所述数据存储系统进行通信连接。

7、作为本发明的一种优选技术方案，所述数据收集系统收集到的工业数据通过经由若干个数据处理系统的顺序的数据处理之后生成最终的处理数据，最终的处理数据被传输给所述数据存储系统进行存储，包括如下的步骤：

8、s11、所述管理系统将所述数据收集系统收集到的工业数据输入自身的预测模型，所述管理系统的预测模型输出与工业数据相对应的数据处理系统，所述管理系统把工业数据传输给相应的数据处理系统；

9、s12、所述管理系统判断是否接收到来自相应的数据处理系统的异常提示信息，在接收到异常提示信息的情况下，修正相应的数据处理系统，结合工业数据生成新的训练样本，同时将新的训练样本存储到所述管理系统的预测模型的训练数据集，在未接收到异常提示信息的情况下，相应的数据处理系统针对工业数据进行数据处理得到中间处理数据，还把中间处理数据发送回所述管理系统；

10、s13、所述管理系统将中间处理数据输入自身的预测模型，所述管理系统的预测模型输出与中间处理数据相对应的下一个数据处理系统，并且将中间处理数据传输给下一个数据处理系统；

11、s14、所述管理系统判断是否接收到来自下一个数据处理系统的异常提示信息，在接收到异常提示信息的情况下，修正下一个数据处理系统，结合中间处理数据生成新的训练样本，同时将新的训练样本存储到所述管理系统的预测模型的训练数据集，在未接收到异常提示信息的情况下，下一个数据处理系统针对中间处理数据进行数据处理得到新的中间处理数据，还把新的中间处理数据发送回所述管理系统；

12、s15、所述管理系统判断新的中间处理数据是否为最终的处理数据，在新的中间处理数据为最终的处理数据的情况下，所述管理系统将最终的处理数据传输给所述数据存储系统进行存储，在新的中间处理数据不为最终的处理数据的情况下，跳转s13。

13、作为本发明的一种优选技术方案，当所述管理系统的预测模型的训练数据集中每增加预先设定数量的新的训练样本之后，使用训练数据集对于所述管理系统的预测模型进行重新训练。

14、作为本发明的一种优选技术方案，所述数据存储系统向所述用户系统发送秘密数据，包括如下的步骤：

15、s21、所述数据存储系统生成第一密码，并且所述数据存储系统使用预先设定的处理函数计算最终的处理数据对应的函数值，所述数据存储系统还使用所述第一密码针对最终的处理数据进行加密处理；

16、s22、所述数据存储系统判断最终的处理数据的加密结果是否已经满足安全要求，在已经满足安全要求的情况下，继续下个步骤，在不满足安全要求的情况下，所述数据存储系统使用所述第一密码针对最终的处理数据的加密结果继续进行加密处理，重复本步骤；

17、s23、所述数据存储系统使用预先存储的第二密码针对所述第一密码进行加密处理，得到所述第一密码的加密结果，并且生成和向所述用户系统发送所述秘密数据，所述秘密数据包括所述第一密码的加密结果，最终的处理数据对应的函数值，最终的处理数据的数据量，以及最终的处理数据的加密结果。

18、作为本发明的一种优选技术方案，所述用户系统在接收到来自所述数据存储系统的所述秘密数据之后，从所述秘密数据中恢复出最终的处理数据，包括如下的步骤：

19、s31、所述用户系统在接收到来自所述数据存储系统的所述秘密数据之后，使用预先存储的第三密码针对所述第一密码的加密结果进行解密处理，以得到所述第一密码；

20、s32、所述用户系统通过所述第一密码对于最终的处理数据的加密结果进行解密处理，来得到解密结果，并且还使用预先设定的所述处理函数计算解密结果对应的函数值；

21、s33、所述用户系统判断解密结果对应的函数值是否与最终的处理数据对应的函数值相同，在相同的情况下，继续下个步骤，在不相同的情况下，跳转s35；

22、s34、所述用户系统继续判断解密结果的数据量是否与最终的处理数据的数据量相同，在相同的情况下，判定为已经从所述秘密数据中恢复出最终的处理数据，在不相同的情况下，继续下个步骤；

23、s35、所述用户系统通过所述第一密码对于解密结果继续进行解密处理，并且还使用预先设定的所述处理函数计算解密结果对应的函数值，跳转s33。

24、本发明还提供用于工业互联网paas平台的数据处理系统，包括如下的模块：

25、paas平台模块，用于部署数据收集系统、数据处理系统1、数据处理系统2、直到数据系统n，以及数据存储系统，数据收集系统收集到的工业数据通过经由若干个数据处理系统的顺序的数据处理之后生成最终的处理数据，最终的处理数据被传输给数据存储系统进行存储，其中，数据存储系统通过服务接口给用户系统模块提供最终的处理数据的查询服务，向用户系统模块发送秘密数据，秘密数据包括最终的处理数据的加密结果；

26、用户系统模块，用于向数据存储系统发起查询最终的处理数据的查询请求，并且用于在接收到来自数据存储系统的秘密数据之后，从秘密数据中恢复出最终的处理数据。

27、本发明还提供一种存储介质，所述存储介质存储有程序指令，其中，在所述程序指令运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。

28、与现有技术相比，本发明的有益效果至少如下所述：

29、在本发明中，首先在paas平台上部署数据收集系统、数据处理系统，以及数据存储系统，工业数据通过经由若干个数据处理系统的顺序的数据处理之后生成最终的处理数据，最终的处理数据被传输给数据存储系统进行存储；其次数据存储系统通过服务接口给用户系统提供最终的处理数据的查询服务，向用户系统发送秘密数据，秘密数据包括最终的处理数据的加密结果；最后用户系统在接收到来自数据存储系统的秘密数据之后，从秘密数据中恢复出最终的处理数据。本发明不仅能够解决工业数据需要经过多个系统进行数据处理时，由于每个系统都需要判断数据流向而花费较多时间的问题，而且还能够确保用户系统与paas平台上的数据存储系统之间的通信安全。