一种基于工业大数据平台的数据治理方法与流程

本发明属于工业物联网，尤其涉及一种基于工业大数据平台的数据治理方法。

背景技术：

1、随着物联网等技术的兴起和应用，工业企业的工业数据也迎来了爆发式的增长。但是，工业数据的迅速增长，也给工业企业带来了巨大的挑战。

2、工业数据由于生成的环节较多，企业的部分和人员也较多，与常规企业相比，虽然数据的量较多，但同样存在数据杂乱难以有效管理和使用的问题。并且，由于缺乏统一的数据标准和数据治理工具，工业数据还常常存在标准不统一、质量低、难利用等问题凸显，使得工业数据没有充分发挥其价值，使得工业数据在应用过程中存在局限性。

3、因此，怎样提升工业数据的数据质量，解决因数据质量而导致的应用难的问题，成为目前亟待解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了一种基于工业大数据平台的数据治理方法，可以提升工业数据的数据质量，解决因数据质量而导致的应用难的问题。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于工业大数据平台的数据治理方法，包括以下步骤：

4、s1、梳理工业企业的元数据信息；

5、s2、基于梳理的元数据信息，进行工业数据采集；

6、s3、对采集的工业数据进行清洗处理及格式转换；

7、s4、按照预设的数据标准对s3处理后的数据进行数据质量稽核，并根据数据质量稽核结果修改质量问题数据，提升数据质量，得到质量工业数据；

8、s5、将质量工业数据对外开放。

9、本发明与现有技术相比，具有如下有益效果：

10、使用本方法，首先，数据工业企业的元数据信息，再基于梳理的元数据信息进行工业数据采集。这样，在保证采集的工业数据的全面性的同时，还可以保证采集的工业数据的分类合理性。之后，对采集的工业数据进行清洗处理及格式转换，可以保证处理之后的数据的有效性。再然后，按照预设的数据标准对进行数据质量稽核，并根据数据质量稽核结果修改质量问题数据，这样，可以有效的提升数据质量。最后，体量提升后得到的质量工业数据对外开放，提供质量工业数据的使用途径，保证得到的质量工业数据的有效应用。

11、综上，使用本方法，可以提升工业数据的数据质量，解决因数据质量而导致的应用难的问题。

12、优选地，s1中，所述元数据信息包括业务元数据信息、技术元数据信息、操作元数据信息。

13、业务元数据可以描述数据的业务含义、业务规则等，技术元数据对数据的结构化，而操作元数据描则述数据的操作属性。这样的设置，可以保证后续采集的数据的全面性以及归类的合理性，从而保证后续使用时可准确便捷的找到需要的数据。

14、优选地，s2中，工业数据包括设备状态数据、设备运行数据、设备日志数据、生产数据和销售数据。

15、这样，可以保证采集到的数据的全面完整性。

16、优选地，s2中，采集的数据包括设备的实时运行数据；

17、在s3之后s4之前，还包括s31、通过后台端，使用设备的实时运行数据判断设备是否存在异常，并在存在异常时给维护端发送维护信息。

18、这样的设置，可以通过后台端对设备的状态进行监测，并在发现异常时及时发出维护信息，使异常设备及时得到处理。

19、优选地，维护端有多个；维护端为装载对应app的智能手机；维护端还用于设置当前状态，当前状态包括工作状态与空闲状态；维护端还用于给后台端发送实时定位；后台端内存储有各设备的定位、工具间的定位、工具间内各非常规工具的位置信息、以及各非常规工具的图像信息；

20、优选地，s31包括：

21、s311、后台端使用设备的实时运行数据判断设备是否存在异常，若存在异常则后台端使用预设的异常分析模型，分析对应的维护方案以及需要使用的维护工具；并判断是否需要非常规工具；若不需要非常规工具则转到s312，若需要非常规工具则转到s313；

22、s312、后台端给距离异常设备最近且空闲状态的维护端发送维护信息；所述维护信息包括异常设备的位置及维护方案；

23、s313、后台端匹配出距离异常设备最近的x个空闲状态的维护端，并分别发送工具信息；工具信息的内容包括需要的非常规工具；后台端在发送工具信息预设时间后，判断是否接收到对应维护端的携带确认信号；若接收到则转到s314，若未接收到则转到s315；

24、s314、后台端给发送携带确认信号且距离异常设备最近的维护端发送维护信息；

25、s315、后台端给距离工具间最近的空闲状态的维护端发送工具检视信息，所述工具检视信息的内容包括需要的非常规工具、需要的各非常规工具的位置信息、以及图像录入提示信息；后台端发送工具检视信息后，若接收到对应维护端发送的图像，则将图像与需要的非常规工具的图像进行匹配；若需要的非常规工具全部匹配通过，则给该维护端发送维护信息。

26、因为设备种类较多，不同的设备出现相同的故障类型，检修时需要携带的维护工具会不同；同样的，同一设备出现不同的故障时，需要携带的维护工具也会存在不同。不少工业设备在维护时，需要对应的非常规工具。与常规工具不同的是，这些非常规工具由于其使用对应的特殊性以及难以替代性，除了维护人员的工具间之外，难以快速获得。常规工具则较为容易获取或者容易找到替代品。如果维护人员到了现场却未携带相应的非常规工具，就需要返回重新拿取或者派遣其他维护人员携带好非常规工具重新来过，不仅耗费人力物力，还可能会耽搁某些设备的维护时机，影响设备的维护效果，从而影响工业企业的生产。因此，当分析出具体设备的故障类型后，需要保证维护人员携带了正确的维护工具，才可以保证其能够真确的进行维护处理。使用本方法，在各种情况下，均可以保证在尽可能快速的时间内，对异常设备进行有效的处理。

27、优选地，s3中，所述格式转换包括通过脚本进行数据转换或通过etl工具进行数据转换。

28、优选地，s3中，所述清洗处理包括重复数据处理，缺失数据处理和异常值处理；

29、所述重复数据处理包括，整理出工业数据中的重复数据后，保留重复数据中的一份数据并删除其余数据；

30、所述缺失数据处理包括删除处理、替换处理和插补处理；所述删除处理包括，当工业数据的某变量的数据中，存在缺失的观测数据所占比例小于预设的最低比值时删除存在缺失的观测数据，当存在缺失的观测数据所占比例大于预设的最高比值时删除该变量的所有数据；所述替换处理包括，当工业数据的某变量数据中，存在缺失的观测数据所占比例大于等于预设的最低比值且小于等于预设的最高比值时，用预设的常数替换缺失数据；所述插补处理包括，当工业数据的某变量数据中，存在缺失的观测数据所占比例大于等于预设的最低比值且小于等于预设的最高比值时，指根据其他非缺失的变量或观测来预测缺失值；

31、所述异常值处理包括删除异常值、平均值替代或视为缺失值。

32、这样的设置，通过重复数据处理，缺失数据处理和异常值处理后，可以保证处理后的工业数据在数据内容上的有效性。

33、优选地，s5中，通过api共享的方式实现质量工业数据的对外开放。

34、这样的设置，可以保证对质量提升后的数据的使用的便捷。