本申请涉及数据处理领域,尤其涉及一种数据处理方法以及处理设备。
背景技术:
在机器的学习研究和应用对应的建模中,对建模所需的输入数据的处理占据着重要的地位。
然而,在实际应用中,利用工业设备的工业数据进行建模时,常常发现生成的模型在使用时和实际有所偏差,准确性欠佳。
因此,如何更好的利用工业设备的工业数据,亟待进一步的优化。
技术实现要素:
本申请提供了一种数据处理方法以及处理设备,用于对原始的工业数据进行处理,从而可提高建模的准确性。
本申请在第一方面,提供了一种数据处理方法,包括:
处理设备获取第一工业数据,第一工业数据为原始的工业数据;
处理设备对第一工业数据进行填充处理,得到第二工业数据;
处理设备对第二工业数据进行标准化处理,得到第三工业数据;
处理设备对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
处理设备检测第四工业数据的时间序列平稳性是否平稳;
若第四工业数据的时间序列平稳性为平稳,则处理设备对第四工业数据进行切片处理,得到第五工业数据。
结合本申请第一方面,在本申请第一方面的第一种可能的实现方式中,若第四工业数据的时间序列平稳性为不平稳,则处理设备对第四工业数据进行n阶求导处理,得到第六工业数据;
处理设备检测第六工业数据的时间序列平稳性是否平稳;
若第六工业数据的时间序列平稳性为平稳,则处理设备对第六工业数据进行切片处理,得到第七工业数据。
结合本申请第一方面,在本申请第一方面的第二种可能的实现方式中,填充处理包括空值填补处理以及缺失值填补处理。
结合本申请第一方面,在本申请第一方面的第三种可能的实现方式中,标准化处理包括异常值丢弃处理以及错误值丢弃处理。
结合本申请第一方面,在本申请第一方面的第四种可能的实现方式中,处理设备检测第四工业数据的时间序列平稳性是否平稳之前,方法还包括:
处理设备计算第四工业数据的协方差以及标准差;
处理设备检测第四工业数据的时间序列平稳性是否平稳包括:
处理设备根据协方差以及标准差,检测第四工业数据的时间序列平稳性是否平稳。
本申请在第二方面,提供了一种处理设备,包括:
获取单元,用于获取第一工业数据,第一工业数据为原始的工业数据;
填充单元,用于对第一工业数据进行填充处理,得到第二工业数据;
标准化单元,用于对第二工业数据进行标准化处理,得到第三工业数据;
转化单元,用于对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
检测单元,用于检测第四工业数据的时间序列平稳性是否平稳,若第四工业数据的时间序列平稳性为平稳,则检测单元触发切片单元;
切片单元,用于对第四工业数据进行切片处理,得到第五工业数据。
结合本申请第二方面,在本申请第二方面的第一种可能的实现方式中,处理设备还包括求导单元,若第四工业数据的时间序列平稳性为不平稳,则检测单元触发求导单元;
求导单元,用于对第四工业数据进行n阶求导处理,得到第六工业数据;
检测单元,还用于检测第六工业数据的时间序列平稳性是否平稳;
若第六工业数据的时间序列平稳性为平稳,则检测单元触发切片单元;
切片单元,还用于对第六工业数据进行切片处理,得到第七工业数据。
结合本申请第二方面,在本申请第二方面的第二种可能的实现方式中,填充单元具体包括:
空值填补模块,用于对第一工业数据进行空值填补处理;以及
缺失值填补模块,用于述第一工业数据进行缺失值填补处理。
结合本申请第二方面,在本申请第二方面的第三种可能的实现方式中,标准化单元具体包括:
异常值丢弃模块,用于对所述第二工业数据进行异常值丢弃处理;以及
错误值丢弃模块,用于对所述第二工业数据进行错误值丢弃处理。
结合本申请第二方面,在本申请第二方面的第四种可能的实现方式中,处理设备还包括:
计算单元,用于计算第四工业数据的协方差以及标准差;
检测单元,具体用于根据协方差以及标准差,检测第四工业数据的时间序列平稳性是否平稳。
本申请在第三方面,提供了了一种计算机可读存储介质,计算机可读存储介质包括指令,当该指令在处理设备上运行时,使得处理设备执行如上述本申请第一方面以及第一方面中可能的实现方式中至少一种的流程。
本申请在第四方面,提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,当计算机软件指令在处理设备上运行时,使得处理设备执行如上述本申请实施例第一方面以及第一方面中可能的实现方式中至少一种的流程。
从以上技术方案可以看出,本申请具有以下优点:
本申请提供的数据处理方法通过对原址的工业数据依次进行填充处理、标准化处理、稀疏矩阵转化处理以及时间序列平稳性检测,若时间序列平稳性为平稳,则进行最后的切片处理,从而完成工业数据的处理,不仅可减少工业数据的误差、异常,提高后续建模的准确性,且经过处理后的工业数据还更便于后续建模的进行,从而可提高后续建模的效率。
附图说明
图1为本申请提供的数据处理方法的一种实施例示意图;
图2为本申请提供的数据处理方法的又一种实施例示意图;
图3为本申请提供的数据处理方法的又一种实施例示意图;
图4为本申请提供的处理设备的一种实施例示意图;
图5为本申请提供的处理设备的又一种实施例示意图;
图6为本申请提供的处理设备的又一种实施例示意图。
具体实施方式
本申请提供了一种数据处理方法以及处理设备,用于对原始的工业数据进行处理,从而可提高建模的准确性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本申请保护的范围。
下面,开始介绍本申请。
首先,请参阅图1,图1示出了本申请提供的数据处理方法的一种实施例示意图,本申请提供的数据处理方法具体包括:
步骤101,处理设备获取第一工业数据;
其中,第一工业数据为原始的工业数据。
可以理解,处理设备一方面可直接从工业设备获取原始的工业数据,本发明实施例中的工业数据,为从工业设备运行过程中的各类参数数据,包括状态数据、运行数据、指令数据、事件数据、报警数据等等。工业设备的数据获取方式不限,例如可以通过对接工业设备的控制器,工业设备的控制器在工业设备的工作中可存储工业设备的工业数据;或者,处理设备也可以通过布设于工业设备的传感器获取工业设备的工业数据,具体在此不做限定。
处理设备另一方面还可间接获取工业设备的工业数据,例如可以通过工业设备对应的设备管理系统,具体的如制造执行系统(manufacturingexecutionsystem,mes)、计算机/现代集成制造系统(computer/contemporaryintegratedmanufacturingsystems,cims)等工业设备的管理系统;或者处理设备也可以从其他存储有工业设备的工业数据的设备上获取,或者处理设备还可采取人工的方式接收用户输入的工业设备的工业数据,具体在此不做限定。
在本申请中,处理设备具体可以理解为服务器、电脑等设备,或者处理设备也可以理解为具有数据处理能力的的控制器的工业设备或者其他设备,或者处理设备还可以理解为多种的设备通过功能集群组成,具体在此不做限定。
处理设备将原始的工业数据作为本申请中的第一工业数据,以便本申请提供的数据处理方法的进行。
步骤102,处理设备对第一工业数据进行填充处理,得到第二工业数据;
处理设备在获取到第一工业数据后,可对第一工业数据进行填充处理,以便使得工业数据趋于完整,从而使得最终的建模可更加的完善,填充处理后可得到第二工业数据。
数据填充处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的填充处理方式不作限定。
步骤103,处理设备对第二工业数据进行标准化处理,得到第三工业数据;
处理设备得到第二工业数据后,可对第二工业数据进行标准化处理,以便使得工业数据消除异常,更进一步完善。
数据标准化处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的标准化处理方式不作限定。
譬如,数据标准化处理方法一:规范化方法,也叫离差标准化,是对原始数据的线性变换,使结果映射到[0,1]区间。
数据标准化处理方法二:正规化方法,这种方法基于原始数据的均值(mean)和标准差(standarddeviation)进行数据的标准化。将a的原始值x使用z-score标准化到x’。
z-score标准化方法适用于属性a的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
数据标准化处理方法三:小数定标标准化,这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性a的取值中的最大绝对值。将属性a的原始值x使用decimalscaling标准化到y'的计算方法是:y=x/(10*j),其中,j是满足条件的最小整数。
数据标准化会对原始数据做出改变,因此需要保存所使用的标准化方法的参数,以便对后续的数据进行统一的标准化。
可以理解,在本申请中,步骤102以及步骤103在执行上没有固定的先后顺序上,处理设备可先执行步骤102,再执行步骤103;或者,处理设备也可先执行步骤103,再执行步骤102;或者,还可以同时进行步骤102以及步骤103,具体在此不做限定。
步骤104,处理设备对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
处理设备将工业数据进行填充处理以及标准化处理后,接着再对工业数据进行稀疏矩阵转化处理,将工业数据转化为稀疏矩阵形式,只存储和处理工业数据的非零元素,从而可大幅度降低工业数据的存储空间需求以及计算复杂度。
稀疏矩阵转化处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的稀疏矩阵转化处理方式不作限定。
步骤105,处理设备检测第四工业数据的时间序列平稳性是否平稳;
可以理解,处理设备可预设有工业数据在时间序列上的平稳性范围,若第四工业数据的时间序列平稳性在该范围内,则处理设备可确定第四工业数据的时间序列平稳性为平稳,即第四工业数据的数据变化不依赖时间,并触发步骤106。
步骤106,处理设备对第四工业数据进行切片处理,得到第五工业数据。
在确定第四工业数据的时间序列平稳性为平稳后,处理设备可对第四工业数据进行数据的切片处理,切片后的工业数据可具有更佳的可操作性,可以降低处理设备的负荷,提高处理设备其系统的稳定性和扩展性。
数据切片处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的切片处理方式不作限定。
处理设备在进行切片处理后,即可将得到的第五工业数据用于建模,在处理设备的自动学习中可以方便进行数据集、测试集的划分。
本申请提供的数据处理方法通过对原址的工业数据依次进行填充处理、标准化处理、稀疏矩阵转化处理以及时间序列平稳性检测,若时间序列平稳性为平稳,则进行最后的切片处理,从而完成工业数据的处理,不仅可减少工业数据的误差、异常,提高后续建模的准确性,克服了原始的工业数据数据繁杂、时常缺失的缺陷,且经过处理后的工业数据还更便于后续建模的进行,从而可提高后续建模的效率。
进一步的,在实际应用中,本申请提供的数据处理方法,还可具有多种优化方式,具体详见下述:
如图2示出的本申请提供的数据处理方法的又一种实施例示意图,在本申请实施例中,数据处理方法包括:
步骤201,处理设备获取第一工业数据;
步骤202,处理设备对第一工业数据进行填充处理,得到第二工业数据;
步骤203,处理设备对第二工业数据进行标准化处理,得到第三工业数据;
步骤204,处理设备对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
可以理解,步骤201至步骤204可参照图1对应实施例的步骤101至步骤104,具体在此不再赘述。
步骤205,处理设备检测第四工业数据的时间序列平稳性是否平稳;
可以理解,处理设备可预设有工业数据在时间序列上的平稳性范围,若第四工业数据的时间序列平稳性在该范围内,则处理设备可确定第四工业数据的时间序列平稳性为平稳,并触发步骤106;若第四工业数据的时间序列平稳性不在该范围内,则处理设备可确定第四工业数据的时间序列平稳性为不平稳,并触发步骤207。
步骤206,处理设备对第四工业数据进行切片处理,得到第五工业数据。
可以理解,步骤206可参照图1对应实施例的步骤106,具体在此不再赘述。
步骤207,处理设备对第四工业数据进行n阶求导处理,得到第六工业数据;
在确定第四工业数据的时间序列平稳性为不平稳后,处理设备可对第四工业数据进行n阶求导处理,其中,n的具体阶数随预设而定,具体在此不做限定。
步骤208,处理设备检测第六工业数据的时间序列平稳性是否平稳;
在对第四工业数据进行n阶处理后,处理设备检测第六工业数据的时间序列平稳性是否在平稳性范围内,若在该范围内,则处理设备可确定第六工业数据的时间序列平稳性为平稳,并触发步骤209;若否,则还可继续对第四工业数据进行n阶求导处理,直至第六工业数据的时间序列平稳性是否在平稳性范围内。
步骤209,处理设备对第六工业数据进行切片处理,得到第七工业数据。
在检测到经过n阶求导处理后的第六工业数据满足上述平稳性的要求后,与图1对应实施例的步骤106类似的,处理设备可对第六工业数据进行切片处理,具体在此不再赘述。
可以理解,当第四工业数据未满足时间序列平稳性的要求时,处理设备还可通过n阶求导处理的后续处理方式使得工业数据满足时间序列平稳性的要求,进而得到切片处理后的第七工业数据,处理设备即可将第七工业数据用于建模,在处理设备的自动学习中可以方便进行数据集、测试集的划分。
又如图3示出的本申请提供的数据处理方法的又一种实施例示意图,在本申请实施例中,数据处理方法包括:
步骤301,处理设备获取第一工业数据;
可以理解,步骤301可参照图1对应实施例的步骤101,具体在此不再赘述。
步骤302,处理设备对第一工业数据进行空值填补处理以及缺失值填补处理,得到第二工业数据;
可以理解,处理设备在获取到第一工业数据后,对第一工业数据进行的填充处理,具体包括了空值填补处理以及缺失值填补处理。
其中,空值填补处理可以理解为对第一工业数据中认定存在的未知的值进行合理填补,缺失值可以理解为对第一工业数据中认定缺失的值进行合理填补。
通过更为具体的空值填补处理以及缺失值填补处理,使得工业数据趋于完整,从而使得最终的建模可更加的完善。
步骤303,处理设备对第二工业数据进行异常值丢弃处理以及错误值丢弃处理,得到第三工业数据;
可以理解,处理设备得到第二工业数据后,对第二工业数据进行的标准化处理,具体包括了异常值丢弃处理以及错误值丢弃处理。
其中,异常值丢弃处理可以理解为对第二工业数据中与其他值偏差较大的值进行合理丢弃,错误值丢弃处理可以理解为对第二工业数据中错误产生的值进行丢弃处理。
通过更为具体的异常值丢弃处理以及错误值丢弃处理,使得工业数据消除异常及错去,更进一步完善。
步骤304,处理设备对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
可以理解,步骤304可参照图1对应实施例的步骤304,具体在此不再赘述。
步骤305,处理设备计算第四工业数据的协方差以及标准差;
可以理解,在检测第四工业数据的时间序列平稳性之前,处理设备先计算第四工业数据的协方差以及标准差,从而方便检测第四工业数据的时间序列平稳性的进行。
步骤306,处理设备根据协方差以及标准差,检测第四工业数据的时间序列平稳性是否平稳。
在计算出第四工业数据的协方差以及标准差,处理设备即可根据协方差以及标准差,检测第四工业数据的时间序列平稳性。
步骤307,处理设备对第四工业数据进行切片处理,得到第五工业数据。
可以理解,步骤307可参照图1对应实施例的步骤106,具体在此不再赘述。
下面,则开始对上述实施例内容提及的数据处理方法所对应的处理设备进行说明。
首先,请参阅图4,如4示出了本申请提供的处理设备的一种实施例示意图,处理设备具体包括:
获取单元401,用于获取第一工业数据;
其中,第一工业数据为原始的工业数据。
可以理解,处理设备一方面可直接从工业设备获取原始的工业数据,本发明实施例中的工业数据,为从工业设备运行过程中的各类参数数据,包括状态数据、运行数据、指令数据、事件数据、报警数据等等。工业设备的数据获取方式不限,例如可以通过对接工业设备的控制器,工业设备的控制器在工业设备的工作中可存储工业设备的工业数据;或者,处理设备也可以通过布设于工业设备的传感器获取工业设备的工业数据,具体在此不做限定。
处理设备另一方面还可间接获取工业设备的工业数据,例如可以通过工业设备对应的设备管理系统,具体的如制造执行系统(manufacturingexecutionsystem,mes)、计算机/现代集成制造系统(computer/contemporaryintegratedmanufacturingsystem,cims)等工业设备的管理系统;或者处理设备也可以从其他存储有工业设备的工业数据的设备上获取,或者处理设备还可采取人工的方式接收用户输入的工业设备的工业数据,具体在此不做限定。
在本申请中,处理设备具体可以理解为服务器、电脑等设备,或者处理设备也可以理解为具有数据处理能力的的控制器的工业设备或者其他设备,或者处理设备还可以理解为多种的设备通过功能集群组成,具体在此不做限定。
填充单元402,用于对第一工业数据进行填充处理,得到第二工业数据;
处理设备在获取到第一工业数据后,可对第一工业数据进行填充处理,以便使得工业数据趋于完整,从而使得最终的建模可更加的完善,填充处理后可得到第二工业数据。
数据填充处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的填充处理方式不作限定。
标准化单元403,用于对第二工业数据进行标准化处理,得到第三工业数据;
处理设备得到第二工业数据后,可对第二工业数据进行标准化处理,以便使得工业数据消除异常,更进一步完善。
数据标准化处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的标准化处理方式不作限定。
譬如,数据标准化处理方法一:规范化方法,也叫离差标准化,是对原始数据的线性变换,使结果映射到[0,1]区间。
数据标准化处理方法二:正规化方法,这种方法基于原始数据的均值(mean)和标准差(standarddeviation)进行数据的标准化。将a的原始值x使用z-score标准化到x’。
z-score标准化方法适用于属性a的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
数据标准化处理方法三:小数定标标准化,这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性a的取值中的最大绝对值。将属性a的原始值x使用decimalscaling标准化到y'的计算方法是:y=x/(10*j),其中,j是满足条件的最小整数。
数据标准化会对原始数据做出改变,因此需要保存所使用的标准化方法的参数,以便对后续的数据进行统一的标准化。
可以理解,在本申请中,填充单元402以及标准化单元403在执行上没有固定的先后顺序上,处理设备可先执行填充单元402,再执行标准化单元403;或者,处理设备也可先执行标准化单元403,再执行填充单元402;或者,还可以同时执行填充单元402以及标准化单元403,具体在此不做限定。
转化单元404,用于对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
处理设备将工业数据进行填充处理以及标准化处理后,接着再对工业数据进行稀疏矩阵转化处理,将工业数据转化为稀疏矩阵形式,只存储和处理工业数据的非零元素,从而可大幅度降低工业数据的存储空间需求以及计算复杂度。
稀疏矩阵转化处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的稀疏矩阵转化处理方式不作限定。
检测单元405,用于检测第四工业数据的时间序列平稳性是否平稳;
可以理解,处理设备可预设有工业数据在时间序列上的平稳性范围,若第四工业数据的时间序列平稳性在该范围内,则处理设备可确定第四工业数据的时间序列平稳性为平稳,即第四工业数据的数据变化不依赖时间,并触发切片单元406。
切片单元406,用于对第四工业数据进行切片处理,得到第五工业数据。
在确定第四工业数据的时间序列平稳性为平稳后,处理设备可对第四工业数据进行数据的切片处理,切片后的工业数据可具有更佳的可操作性,可以降低处理设备的负荷,提高处理设备其系统的稳定性和扩展性。
数据切片处理,为数据分析建模中较常见的方法,本发明实施例中,对数据的切片处理方式不作限定。
处理设备在进行切片处理后,即可将得到的第五工业数据用于建模,在处理设备的自动学习中可以方便进行数据集、测试集的划分。
本申请提供的处理设备通过对原址的工业数据依次进行填充处理、标准化处理、稀疏矩阵转化处理以及时间序列平稳性检测,若时间序列平稳性为平稳,则进行最后的切片处理,从而完成工业数据的处理,不仅可减少工业数据的误差、异常,提高后续建模的准确性,且经过处理后的工业数据还更便于后续建模的进行,从而可提高后续建模的效率。
进一步的,在实际应用中,本申请提供的处理设备,还可具有多种优化方式,具体详见下述:
如图5示出的本申请提供的处理设备的又一种实施例示意图,在本申请实施例中,处理设备包括:
获取单元501,用于获取第一工业数据;
填充单元502,用于对第一工业数据进行填充处理,得到第二工业数据;
标准化单元503,用于对第二工业数据进行标准化处理,得到第三工业数据;
转化单元504,用于对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
可以理解,获取单元501至转化单元504可参照图5对应实施例的获取单元501至转化单元504,具体在此不再赘述。
检测单元505,用于检测第四工业数据的时间序列平稳性是否平稳;
可以理解,处理设备可预设有工业数据在时间序列上的平稳性范围,若第四工业数据的时间序列平稳性在该范围内,则处理设备可确定第四工业数据的时间序列平稳性为平稳,并触发切片单元506;若第四工业数据的时间序列平稳性不在该范围内,则处理设备可确定第四工业数据的时间序列平稳性为不平稳,并触发求导单元507。
切片单元506,用于对第四工业数据进行切片处理,得到第五工业数据。
可以理解,切片单元506可参照图4对应实施例的切片单元406,具体在此不再赘述。
求导单元507,用于对第四工业数据进行n阶求导处理,得到第六工业数据;
在确定第四工业数据的时间序列平稳性为不平稳后,处理设备可对第四工业数据进行n阶求导处理,其中,n的具体阶数随预设而定,具体在此不做限定。
检测单元505,还用于检测第六工业数据的时间序列平稳性是否平稳;
在对第四工业数据进行n阶处理后,检测单元505检测第六工业数据的时间序列平稳性是否在平稳性范围内,若在该范围内,则检测单元505可确定第六工业数据的时间序列平稳性为平稳,并触发切片单元506;若否,则还可触发求导单元507继续对第四工业数据进行n阶求导处理,直至第六工业数据的时间序列平稳性是否在平稳性范围内。
切片单元506,还用于对第六工业数据进行切片处理,得到第七工业数据。
在检测到经过n阶求导处理后的第六工业数据满足上述平稳性的要求后,与图4对应实施例的切片单元406类似的,处理设备可对第六工业数据进行切片处理,具体在此不再赘述。
可以理解,当第四工业数据未满足时间序列平稳性的要求时,处理设备还可通过n阶求导处理的后续处理方式使得工业数据满足时间序列平稳性的要求,进而得到切片处理后的第七工业数据,处理设备即可将第七工业数据用于建模,在处理设备的自动学习中可以方便进行数据集、测试集的划分。
又如图6示出的本申请提供的处理设备又一种实施例示意图,在本申请实施例中,处理设备包括:
获取单元601,用于获取第一工业数据;
可以理解,步骤301可参照图1对应实施例的步骤101,具体在此不再赘述。
填充单元602,用于对第一工业数据进行空值填补处理以及缺失值填补处理,得到第二工业数据;
可以理解,处理设备在获取到第一工业数据后,对第一工业数据进行的填充处理,具体可包括空值填补处理以及缺失值填补处理。
对应的,填充单元602具体包括:
空值填补模块6021,用于对第一工业数据进行空值填补处理;以及
缺失值填补模块6022,用于述第一工业数据进行缺失值填补处理。
空值填补处理可以理解为对第一工业数据中认定存在的未知的值进行合理填补,缺失值可以理解为对第一工业数据中认定缺失的值进行合理填补。
通过更为具体的空值填补处理以及缺失值填补处理,使得工业数据趋于完整,从而使得最终的建模可更加的完善。
标准化单元603,用于对第二工业数据进行异常值丢弃处理以及错误值丢弃处理,得到第三工业数据;
可以理解,处理设备得到第二工业数据后,对第二工业数据进行的标准化处理,具体包括了异常值丢弃处理以及错误值丢弃处理。
对应的,标准化单元603具体包括:
异常值丢弃模块6031,用于对所述第二工业数据进行异常值丢弃处理;以及
错误值丢弃模块6032,用于对所述第二工业数据进行错误值丢弃处理。
异常值丢弃处理可以理解为对第二工业数据中与其他值偏差较大的值进行合理丢弃,错误值丢弃处理可以理解为对第二工业数据中错误产生的值进行丢弃处理。
通过更为具体的异常值丢弃处理以及错误值丢弃处理,使得工业数据消除异常及错去,更进一步完善。
转化单元604,用于对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;
可以理解,转化单元604可参照图4对应实施例的转化单元404,具体在此不再赘述。
计算单元605,用于计算第四工业数据的协方差以及标准差;
可以理解,在检测第四工业数据的时间序列平稳性之前,处理设备先通过计算单元605计算第四工业数据的协方差以及标准差,从而方便检测第四工业数据的时间序列平稳性的进行。
检测单元606,用于根据协方差以及标准差,检测第四工业数据的时间序列平稳性是否平稳。
在计算出第四工业数据的协方差以及标准差,处理设备即可根据协方差以及标准差,检测第四工业数据的时间序列平稳性。
切片单元607,用于对第四工业数据进行切片处理,得到第五工业数据。
可以理解,切片单元607可参照图4对应实施例的切片单元406,具体在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质包括指令,当该指令在处理设备上运行时,使得处理设备执行如图1至图3对应的任意实施例中的数据处理方法中的流程。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,当计算机软件指令在处理设备上运行时,使得处理设备执行如图1至图3对应的任意实施例中的数据处理方法中的流程。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。