一种确定设备状态的方法、系统及设备与流程

本发明涉及工业智能技术领域，尤其涉及一种确定设备状态的方法、系统及设备。

背景技术：

在工业设备领域，例如大型机床、风电机组、汽轮机、工业电机等大型设备为保障稳定可靠运行往往都配备在线监测系统，监测传感器测点较多，对振动、电气、压力等关键参数的采样频率高，原始数据量大，以信号处理特征提取为手段的传统数据分析方法，存在复杂度高、精度有限等困难。

目前针对高频采样数据的信号特征提取方法有时域分析法、频域分析、时频分析(短时傅里叶变换、小波变换、经验模态分解等)。时域分析主要以时域统计类指标计算和相关分析为主，对频域特征关注不高，频域分析以傅里叶变换为基础，比较适合设备平稳信号分析，不能兼顾时域特征；时频分析方法处理产生的时频矩阵(或时频谱)兼顾了时域和频域两方面特征，但传统的设备状态评估或故障判断方法如聚类分析、决策树、高斯混合模型等，必须根据人工专业经验进行典型特征提取，有一定的主观性和不完备性，设备状态评估结果存在不确定性。

技术实现要素：

本发明提供了一种确定设备状态的方法、系统及设备，可应用于工业设备的数据分析，针对工业设备传感数据处理后得到的时频谱图数据，利用多个卷积神经网络模型从不同层次对时频谱图进行特征提取，综合提高工业设备的状态评估效果，提高对工业设备状态评估的准确性和可靠性。

第一方面，本发明提供一种确定设备状态的方法，该方法包括：

将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

通过第一卷积神经网络模型的输入通道，将所述标准时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

根据所述第一模型数据及第二模型数据，确定设备的状态。

作为一种可能的实施方式，按设定方向将所述时频谱图数据划分为多个数据序列，包括：

按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；和/或，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列。

作为一种可能的实施方式，按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，和，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列，所述第二卷积神经网络模型包括与所述时间轴方向对应的时间轴卷积神经网络模型和与所述频率轴方向对应的频率轴卷积神经网络模型；

通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据，包括：

通过所述时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

通过所述频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

将所述第二时间模型数据和所述第二频率模型数据，确定为第二模型数据。

作为一种可能的实施方式，所述第二卷积神经网络模型的输入通道的数量与按设定方向划分所述时频谱图数据得到的数据序列的数量相同。

作为一种可能的实施方式，根据所述第一模型数据及第二模型数据，确定设备的状态，包括：

将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态，所述融合模型包括：公式模型或机器学习模型。

作为一种可能的实施方式，将设备的传感器数据转换为标准时频谱图数据，包括：

对设备的传感器数据进行信号处理得到时频谱图数据；

根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

对得到的预设分辨率的时频谱图数据，按照预设规则确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据。

作为一种可能的实施方式，按照预设规则确定截取的时间范围，包括：

按照所述预设分辨率的时频谱图数据中频率数据序列的能量值大于预设阈值对应的时刻，确定截取的时间范围；或

按照以所述预设分辨率的时频谱图数据中频率数据序列的最大能量值对应的时刻为中心，确定截取的时间范围；或

按照所述预设分辨率的时频谱图数据中设定时段内的频率数据序列的能量值之和大于预设值对应的时段，确定截取的时间范围。

作为一种可能的实施方式，该方法还包括：

通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据。

作为一种可能的实施方式，

所述第一卷积神经网络模型是利用标准时频谱图数据样本及对应的第一模型数据样本进行训练得到的；

所述第二卷积神经网络模型是利用标准时频谱图数据样本中的数据序列样本及对应的第二模型数据样本进行训练得到的。

作为一种可能的实施方式，若所述融合模型为机器学习模型，则所述融合模型是利用第一模型数据样本、第二模型数据样本以及对应的设备状态样本进行训练得到的。

第二方面，本发明提供一种确定设备状态的系统，该系统包括：数据转换模块、第一卷积神经网络模块、第二卷积神经网络模块、确定设备状态模块，其中：

数据转换模块，用于将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

第一卷积神经网络模块，用于通过第一卷积神经网络模型的输入通道，将所述标准时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

第二卷积神经网络模块，用于按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

确定设备状态模块，用于根据所述第一模型数据及第二模型数据，确定设备的状态。

作为一种可能的实施方式，所述第二卷积神经网络模块具体用于：

按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；和/或，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列。

作为一种可能的实施方式，按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，和，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列，所述第二卷积神经网络模型包括与所述时间轴方向对应的时间轴卷积神经网络模型和与所述频率轴方向对应的频率轴卷积神经网络模型；

所述第二卷积神经网络模块具体用于：

通过所述时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

通过所述频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

将所述第二时间模型数据和所述第二频率模型数据，确定为第二模型数据。

作为一种可能的实施方式，所述第二卷积神经网络模型的输入通道的数量与按设定方向划分所述时频谱图数据得到的数据序列的数量相同。

作为一种可能的实施方式，所述确定设备状态模块具体用于：

将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态，所述融合模型包括：公式模型或机器学习模型。

作为一种可能的实施方式，所述数据转换模块具体用于：

对设备的传感器数据进行信号处理得到时频谱图数据；

根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

对得到的预设分辨率的时频谱图数据，按照预设规则确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据。

作为一种可能的实施方式，所述数据转换模块具体用于：

按照所述预设分辨率的时频谱图数据中频率数据序列的能量值大于预设阈值对应的时刻，确定截取的时间范围；或

按照以所述预设分辨率的时频谱图数据中频率数据序列的最大能量值对应的时刻为中心，确定截取的时间范围；或

按照所述预设分辨率的时频谱图数据中设定时段内的频率数据序列的能量值之和大于预设值对应的时段，确定截取的时间范围。

作为一种可能的实施方式，所述系统还包括标准化处理模块具体用于：

通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据。

作为一种可能的实施方式，所述第一卷积神经网络模型是利用标准时频谱图数据样本及对应的第一模型数据样本进行训练得到的；

所述第二卷积神经网络模型是利用标准时频谱图数据样本中的数据序列样本及对应的第二模型数据样本进行训练得到的。

作为一种可能的实施方式，若所述融合模型为机器学习模型，则所述融合模型是利用第一模型数据样本、第二模型数据样本以及对应的设备状态样本进行训练得到的。

第三方面，本发明提供一种确定设备状态的设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行如下步骤：

将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

通过第一卷积神经网络模型的输入通道，将所述标准时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

根据所述第一模型数据及第二模型数据，确定设备的状态。

作为一种可能的实施方式，所述处理器具体用于：

按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；和/或，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列。

作为一种可能的实施方式，按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，和，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列，所述第二卷积神经网络模型包括与所述时间轴方向对应的时间轴卷积神经网络模型和与所述频率轴方向对应的频率轴卷积神经网络模型；

所述处理器具体用于：

通过所述时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

通过所述频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

将所述第二时间模型数据和所述第二频率模型数据，确定为第二模型数据。

作为一种可能的实施方式，所述第二卷积神经网络模型的输入通道的数量与按设定方向划分所述时频谱图数据得到的数据序列的数量相同。

作为一种可能的实施方式，所述处理器具体用于：

将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态，所述融合模型包括：公式模型或机器学习模型。

作为一种可能的实施方式，所述处理器具体还用于：

对设备的传感器数据进行信号处理得到时频谱图数据；

根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

对得到的预设分辨率的时频谱图数据，按照预设规则确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据。

作为一种可能的实施方式，所述处理器具体用于：

按照所述预设分辨率的时频谱图数据中频率数据序列的能量值大于预设阈值对应的时刻，确定截取的时间范围；或

按照以所述预设分辨率的时频谱图数据中频率数据序列的最大能量值对应的时刻为中心，确定截取的时间范围；或

按照所述预设分辨率的时频谱图数据中设定时段内的频率数据序列的能量值之和大于预设值对应的时段，确定截取的时间范围。

作为一种可能的实施方式，所述处理器具体还用于：

通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据。

作为一种可能的实施方式，

所述第一卷积神经网络模型是利用标准时频谱图数据样本及对应的第一模型数据样本进行训练得到的；

所述第二卷积神经网络模型是利用标准时频谱图数据样本中的数据序列样本及对应的第二模型数据样本进行训练得到的。

作为一种可能的实施方式，若所述融合模型为机器学习模型，则所述融合模型是利用第一模型数据样本、第二模型数据样本以及对应的设备状态样本进行训练得到的。

第四方面，本发明提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述方法的步骤。

本发明提供的一种确定设备状态的方法、系统及设备具有以下有益效果：

能够应用于工业设备的数据分析，针对工业设备传感数据处理后得到的时频谱图数据，通过第一卷积神经网络模型对二维的时频谱图数据进行特征提取，通过第二卷积神经网络模型对时频谱图数据中的一维数据序列进行特征提取，利用多个卷积神经网络模型从不同层次对时频谱图进行特征提取，综合提高工业设备的状态评估效果，提高对工业设备状态评估的准确性和可靠性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种确定设备状态的方法流程图；

图2为本发明实施例提供的一种时频谱图数据示意图；

图3为本发明实施例提供的第一卷积神经网络模型的结构示意图；

图4为本发明实施例提供的一种划分时频谱图数据的示意图；

图5为本发明实施例提供的另一种划分所述时频谱图数据的示意图；

图6为本发明实施例提供的一种第二卷积神经网络模型的结构的示意图；

图7为本发明实施例提供的另一种第二卷积神经网络模型的结构的示意图；

图8为本发明实施例提供的一种标准时频谱图数据示意图；

图9为本发明实施例提供的一种对所述时频谱图数据进行标准化处理的具体流程图；

图10为本发明实施例提供的一种确定设备状态的具体实施流程图；

图11为本发明实施例提供的一种确定设备状态的系统示意图；

图12为本发明实施例提供的一种确定设备状态的设备示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本发明实施例能够应用于工业设备的数据分析，主要针对工业设备传感数据处理后得到的时频谱图数据进行分析，对工业设备的状态进行评估，下面对本发明实施例的应用场景进行简单说明：

在工业设备领域，例如大型机床、风电机组、汽轮机、工业电机等大型设备为保障稳定可靠运行往往都配备在线监测系统，由于监测传感器的监测点较多，对振动、电气、压力等关键参数的采样频率较高，得到的传感器的数据量较大，以对传感器的数据进行信号特征提取为手段进行的传统数据分析方法，存在复杂度高、精度有限等困难。

目前针对高频采样得到的设备的传感器数据的信号特征提取方法有时域分析、频域分析以及时频分析(如短时傅里叶变换、小波变换、经验模态分解等)，其中，时域分析以时域统计类指标计算和相关分析为主，对频域特征关注不高，频域分析以傅里叶变换为基础，比较适合设备的平稳信号分析，不能兼顾信号的时域特征，时频分析方法处理产生的时频矩阵(或时频谱)虽然兼顾了时域和频域两方面特征，但传统的设备的状态评估或故障判断方法如聚类分析、决策树、高斯混合模型等，必须根据人工专业经验进行典型特征提取，有一定的主观性和不完备性，评估结果存在不确定性。

为了解决上述技术问题，本发明实施例提供了一种确定设备状态的方法，对设备的传感器数据进行时频分析处理后得到的时频谱图数据(或时频矩阵)转换为标准时频谱图数据后，输入到多个卷积神经网络模型中对时频谱图数据进行特征提取，避免了由人工进行特征提取带来的主观性和不完备性，基于标准时频谱图数据具备的时间和频率两个维度，采用针对标准时频谱图数据的二维卷积神经网络模型(即第一卷积神经网络模型)，以及针对标准时频谱图数据中的一维数据序列的一维卷积神经网络模型(即第二卷积神经网络模型)对标准时频谱图数据进行特征提取，根据得到的第一状态数据及第二状态数据确定最终的设备的状态数据。

如图1所示，本发明实施例提供了一种确定设备状态的方法的具体实施流程如下：

步骤100、将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

需要说明的是，本实施例中设备的传感器数据可以是一个数据，也可以是多个传感器数据，若所述传感器数据为多个传感器数据时，将设备的传感器数据转换为标准时频谱图数据，包括：将设备的传感器数据转换为与多个传感器数据对应的标准时频谱图数据集合。

需要说明的是，本发明是实施例中的设备包括但不限于：风力发电机、磨煤机、机床、发电机组、起重机；本实施例中对工业设备的类型不作过多限定，只要具备传感器数据的工业设备都可以应用本实施例中的方法进行设备状态的确定。

可选的，对设备的传感器数据进行信号处理得到时频谱图数据的方法包括但不限于如下方式：短时傅里叶变换、小波变换、经验模态分解。本实例对如何根据传感器数据得到时频谱图数据不作过多限定。

可选的，通过时频分析方法对设备的传感器信号(传感器数据)进行信号处理，如对传感器信号进行短时傅里叶变换、小波变换、经验模态分解等处理，将设备的传感器数据转换为时频谱图数据，根据该时频谱图数据能够得到传感器信号在不同时间和频率的能量密度或强度，其中，时频谱图数据利用时间和频率的这种联合函数来分析传感器信号，能给出各个时刻和频率下的传感器信号的幅值。

需要说明的是，时频谱图数据为二维矩阵，矩阵中的各个元素可以称为谱值；可选的，时频谱图数据可以通过图2表示，其中，横轴表示时间，纵轴表示频率，谱值表示对应的时间和频率下传感器信号的幅值。

本实施例中的标准时频谱图数据是符合预设标准规范的时频谱图数据，容易理解的是，本实施例中的标准时频谱图数据的分辨率和大小是符合预设标准规范的时频谱图数据，可以对根据设备的传感器数据得到的时频谱图数据中的分辨率和大小进行标准化处理，得到符合预设标准规范的时频谱图数据。

步骤101、通过第一卷积神经网络模型的输入通道，将所述时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

需要说明的是，本实施例中可以将一个时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据，也可以将多个时频谱图数据组成的集合输入到所述第一卷积神经网络模型，得到对应的第一模型数据集合。

需要说明的是，本实施例中的第一卷积神经网络模型可以是利用标准时频谱图数据样本及对应的第一模型数据样本进行训练得到的，其中所述标准时频谱图数据样本是根据历史时段内的时频谱图数据进行标准化处理得到的，所述第一模型数据样本是根据与所述标准化处理后的时频谱图数据对应的数据样本，所述第一模型数据样本可以是设备的状态数据，也可以是其他数据，可以根据用户需求获取对应的第一模型数据样本。

可选的，通过如下方式获取标准时频谱图数据样本以及对应的第一模型数据样本：

获取设定时间段内的设备的时频谱图数据，将所述时频谱图数据进行标准化处理得到标准时频谱图数据样本；获取设定时间段内的设备的第一模型数据，得到第一模型数据样本；将所述设定时间段内的标准时频谱图数据与所述设定时间段内的第一模型数据进行匹配，即所述设定时间段内的标准时频谱图数据都对应唯一的一个模型数据，得到标准时频谱图数据样本以及对应的第一模型数据样本。

可选的，通过唯一识别码将所述设定时间段内的标准时频谱图数据和所述设定时间段内的第一模型数据进行匹配。

可选的，将所述设定时间段内的标准时频谱图数据存储于时频谱图训练存储区；将所述设定时间段内的第一模型数据存储于状态数据训练存储区。

本实施中的第一卷积神经网络模型为二维卷积神经网络模型，包括输入层、隐含层以及输出层，其中，输入层包括一个输入通道，用于接收二维数据，即接收时频谱图数据(或时频矩阵)，隐含层数量大于1，输入层之后的第一个隐含层为二维卷积层，其中，卷积核为二维卷积核，其他隐含层包括卷积层、池化层、全连接层等，输出层输出的第一模型数据的大小可以是自定义的数据大小，也可以是系统默认的设备的状态数据大小，也可以根据使用需求预设的数据大小，本实施例中对第一模型数据大小不作过多限定。

本实施例中的第一卷积神经网络模型的结构如图3所示，包括输入层300、隐含层301、输出层302，其中，输入层的通道数为1，通道的尺寸可以根据所述时频谱图数据(或时频矩阵)的大小确定，容易理解的是，所述通道的尺寸可以等于所述时间数据序列的长度n乘以所述频率数据序列的长度m；

输入层之后的第一个隐含层为二维卷积层，该隐含层的通道数(即卷积核的数量)为n1_c1，卷积核的尺寸为w1_c1*h1_c1，其中隐含层的卷积核的数量和尺寸可以根据需要设定，可选的，可以根据输出的第一状态数据大小，以及第一卷积神经网络模型中的隐含层的个数来确定；

隐含层的数量大于1，除第一个隐含层外的其他隐含层2～隐含层n可以包括：卷积层、池化层、全连接层等，本实施对其他隐含层的数量以及具体包括的类型不作过多限定；

输出层输出的数据大小可以与第一模型数据大小一致，所述第一模型数据可为设备的状态数据，包括但不限于如下任一或任多种：

齿轮箱轴承性能状态数据；电机健康状态数据；齿轮运行状态数据；振动状态数据；轴承运行状态数据。

所述状态数据包括但不限于正常或故障类的状态，发电或不发电的状态，额定或超限的状态等其他工况状态，本实施例对状态的类型不作过多限定。

可选的，设备的状态数据可以是离散的值，也可以是连续的值，如设备的状态数据可以通过二进制数表示，例如齿轮箱轴承性能状态数据可以设置为00(用于表示性能优)、01(用于表示性能良)以及10(用于表示性能差)三种状态，电机健康状态数据可以设置为00(用于表示健康)、01(用于表示亚健康)以及10(用于表示不健康)三种状态，若设备的状态数据包括多种状态数据，则可以根据包括的状态数据的种类的个数，确定设备的状态数据的二进制数的位数。

步骤102、按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

可选的，本实施例可以将所述时频谱图数据划分为设定数量个数据序列，本实施例中对划分的数据序列的数量不作过多限定。

需要说明的是，本实施例中可以将一个标准时频谱图数据划分为多个数据序列，也可以将多个标准时频谱图数据组成的标准时频谱图数据集合中的每一个标准时频谱图数据划分为多个数据序列，得到数据序列集合，输入到第二卷积神经网络模型，得到对应的第二模型数据集合。

实施中，按设定方向将所述时频谱图数据划分为多个数据序列，本实施例提供了如下三种实施方式，为了方便描述，下面结合图4对三种实施方式进行说明：

方式1、按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；

可选的，本实施例可以将所述时频谱图数据划分为设定数量个时间数据序列，其中，每个时间数据序列对应一个频率；也可以根据所述时频谱图数据中频率的数量(即频率序列的长度)，将所述时频谱图数据划分为与所述频率的数量具有相同数量个时间数据序列，其中，每个时间数据序列对应一个频率。

如图4所示，时间轴方向为从左到右(或从右到左)的方向，按从左到右的方向划分时频谱图，能够得到m个时间数据序列，其中，频率f1对应时间数据序列x1，频率f2对应时间数据序列x2，频率f3对应时间数据序列x3，……，频率fm对应时间数据序列xm；其中，时间数据序列x1、时间数据序列x2、时间数据序列x3、……、时间数据序列xm均包括n个数据。

方式2、按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列；

可选的，本实施例可以将所述时频谱图数据划分为设定数量个频率数据序列，其中，每个频率数据序列对应一个时刻；也可以根据所述时频谱图数据中时刻的数量(即时间序列的长度)，将所述时频谱图数据划分为与所述时刻的数量具有相同数量个频率数据序列，其中，每个频率数据序列对应一个时刻。

如图5所示，频率轴方向为从下到上(或从上到下)的方向，按从下到上的方向划分时频谱图，能够得到n个频率数据序列，其中，时间t1对应频率数据序列y1，时间t2对应频率数据序列y2，时间t3对应频率数据序列y3，……，时间tn对应频率数据序列yn；其中，频率数据序列y1、频率数据序列y2、频率数据序列y3、……、频率数据序列yn均包括m个数据。

方式3、按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，并按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列。

结合上述图4和图5，分别按时间轴方向和频率轴方向划分所述时频谱图数据，得到m个时间数据序列，以及n个频率数据序列，其中，所述时间数据序列包括n个数据，所述频率数据序列包括m个数据。

下面结合上述三种实施方式，对本实施例中得到第二模型数据的方法进行如下说明：

方法1、按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；

通过所述时间轴方向对应的第二卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

其中，所述输入通道的数量不小于所述时间数据序列的数量。

方法2、按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列；

通过所述频率轴方向对应的第二卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

其中，所述输入通道的数量不小于所述频率数据序列的数量。

方法3、按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；并按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列；

其中，该方法下，所述第二卷积神经网络模型包括与所述时间轴方向对应的时间轴卷积神经网络模型和与所述频率轴方向对应的频率轴卷积神经网络模型；

通过所述时间轴方向对应的时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

通过所述频率轴方向对应的频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

其中，所述时间轴卷积神经网络模型的输入通道的数量不小于所述时间数据序列的数量；所述频率轴卷积神经网络模型的输入通道的数量不小于所述频率数据序列的数量。

作为一种可选的实施方式，所述第二卷积神经网络模型的输入通道的数量与按设定方向划分所述时频谱图数据得到的数据序列的数量相同。

实施中，若按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；则所述第二卷积神经网络模型的输入通道的数量与所述时间数据序列的数量相同；

若按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列；则所述第二卷积神经网络模型的输入通道的数量与所述频率数据序列的数量相同；

若按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，和，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列；则所述时间轴卷积神经网络模型的输入通道的数量等于所述时间数据序列的数量；所述频率轴卷积神经网络模型的输入通道的数量等于所述频率数据序列的数量。

需要说明的是，本实施例中的第二卷积神经网络模型是利用标准时频谱图数据样本中的数据序列样本及对应的第二模型数据样本进行训练得到的，其中所述标准时频谱图数据样本是根据历史时段内的时频谱图数据进行标准化处理得到的，所述数据序列样本是按设定方向对所述标准时频谱图数据进行划分得到的，所述第二模型数据样本是根据与所述标准化处理后的时频谱图数据样本中的数据序列样本对应的数据样本，所述第二模型数据样本可以是设备的状态数据，也可以是其他数据，可以根据用户需求获取对应的第二模型数据样本。

所述第一模型数据样本与所述第二模型数据样本的大小和/或类型可以是相同的。

可选的，通过如下方式获取标准时频谱图数据样本中的数据序列样本以及对应的第二模型数据样本：

获取设定时间段内的设备的时频谱图数据，将所述时频谱图数据进行标准化处理得到标准时频谱图数据样本，通过上述三种方式得到标准时频谱图数据样本中的数据序列样本；获取设定时间段内的设备的第二模型数据，得到第二模型数据样本；将所述设定时间段内的标准时频谱图数据样本中的数据序列样本与所述设定时间段内的第二模型数据进行匹配，即所述设定时间段内的标准时频谱图数据样本中的数据序列样本都对应唯一的一个模型数据，得到标准时频谱图数据样本中的数据序列样本以及对应的第二模型数据样本。

可选的，通过唯一识别码将所述设定时间段内的标准时频谱图数据中的数据序列和所述设定时间段内的第二模型数据进行匹配。

本实施中的第二卷积神经网络模型为一维卷积神经网络模型，包括输入层、隐含层以及输出层，其中，输入层包括多个输入通道，用于接收多个一维数据序列，隐含层数量大于1，输入层之后的第一个隐含层为一维卷积层，其中，卷积核为一维卷积核，其他隐含层包括卷积层、池化层、全连接层等，输出层输出的第二模型数据可以是设备的状态数据，也可以是其他数据，第二模型数据的大小可以是自定义的模型数据大小，也可以是系统默认的设备的状态数据大小，也可以根据使用需求预设的数据大小，本实施例中对第二模型数据大小不作过多限定。

需要说明的是，本实施例中的第二卷积神经网络模型是与设定方向对应的模型，若本实施例中按两个设定方向如频率轴方向和时间轴方向划分时频谱图数据，则本实施例中需要两个第二卷积神经网络模型，包括频率轴卷积神经网络模型和时间轴卷积神经网络模型，其中，频率轴卷积神经网络模型与按频率轴方向划分时频谱图数据得到的多个数据序列对应，时间轴卷积神经网络模型与按时间轴方向划分时频谱图数据得到的多个数据序列对应，因此，本实例中的第二卷积神经网络模型可以是一个，也可以是多个，具体由设定方向的个数来确定。

本实施例中的第二卷积神经网络模型的结构如图6、图7所示，其中，输入层的输入通道数为输入的序列的个数，输入通道的尺寸可以根据所述标准时频谱图数据划分的数据序列的大小确定。

如图6所示，第二卷积神经网络模型包括输入层600、隐含层601、输出层602，按时间轴方向将所述标准时频谱图数据划分为多个时间数据序列，所述第二卷积神经网络模型的输入层的输入通道数为m，输入通道的尺寸可以等于所述标准时频谱图数据划分的时间数据序列的长度n；

输入层之后的第一个隐含层为一维卷积层，该隐含层的通道数(即卷积核的数量)为n2_c1，卷积核的尺寸为w2_c1，其中隐含层的卷积核的数量和尺寸可以根据需要设定，可选的，可以根据输出的第一状态数据大小，以及第一卷积神经网络模型中的隐含层的个数来确定；

隐含层的数量大于1，除第一个隐含层外的其他隐含层2～隐含层n可以包括：卷积层、池化层、全连接层等，本实施对其他隐含层的数量以及具体包括的类型不作过多限定；

输出层输出的数据大小可以与第一模型数据大小一致，所述第一模型数据可为设备的状态数据，包括但不限于如下任一或任多种：

齿轮箱轴承性能状态数据；电机健康状态数据；齿轮运行状态数据；振动状态数据；轴承运行状态数据。

如图7所示，第二卷积神经网络模型包括输入层700、隐含层701、输出层702，按频率轴方向将所述标准时频谱图数据划分为多个频率数据序列，所述第二卷积神经网络模型的输入层的输入通道数为n，输入通道的尺寸可以等于所述标准时频谱图数据划分的频率数据序列的长度m；

输入层之后的第一个隐含层为一维卷积层，该隐含层的通道数(即卷积核的数量)为n3_c1，卷积核的尺寸为h3_c1，其中隐含层的卷积核的数量和尺寸可以根据需要设定，可选的，可以根据输出的第一模型数据大小，以及第一卷积神经网络模型中的隐含层的个数来确定；

隐含层的数量大于1，除第一个隐含层外的其他隐含层2～隐含层n可以包括：卷积层、池化层、全连接层等，本实施对其他隐含层的数量以及具体包括的类型不作过多限定；

输出层输出的数据大小可以与第一模型数据大小一致，所述第一模型数据可为设备的状态数据，包括但不限于如下任一或任多种：

齿轮箱轴承性能状态数据；电机健康状态数据；齿轮运行状态数据；振动状态数据；轴承运行状态数据。

所述状态数据包括但不限于正常或故障类的状态，发电或不发电的状态，额定或超限的状态等其他工况状态，本实施例对状态的类型不作过多限定。

本实施例中的第一模型数据和第二模型数据可以相同，也可以不同，对此本实施例不作过多限定。

需要说明的是，上述第一卷积神经网络模型和第二卷积神经网络模型可以单独进行训练，也可以同时进行训练，此处不作过多限定。

步骤103、根据所述第一模型数据及第二模型数据，确定设备的状态。

本实施中设备的状态包括但不限于如下任一或任多种：

齿轮箱轴承性能状态数据；电机健康状态数据；齿轮运行状态数据；振动状态数据；轴承运行状态数据。

所述状态数据包括但不限于正常或故障类的状态，发电或不发电的状态，额定或超限的状态等其他工况状态，本实施例对状态的类型不作过多限定。

可选的，若所述第一模型数据及第二模型数据相同，则所述设备的状态可以是第一模型数据或第二模型数据；若所述第一模型数据及第二模型数据不同，则可以根据设定规则确定设备的状态，例如可以根据第一模型数据及第二模型数据对应的权重，对所述第一模型数据及第二模型数据进行加权求和，根据所述求和值确定设备的状态。

作为一种可选的实施方式，根据所述第一模型数据及第二模型数据，确定设备的状态，包括：

将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态，所述融合模型包括：公式模型或机器学习模型。

需要说明的是，本实施例可以将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态；

也可以将所述第一模型数据集合及第二模型数据集合输入到融合模型中，确定设备的状态集合。

若采用上述方法3得到第二模型数据，则所述第二模型数据包括：第二时间模型数据和第二频率模型数据，则通过如下方式确定设备的状态：

根据所述第一模型数据、第二时间模型数据以及第二频率模型数据，确定设备的状态；

可选的，将所述第一模型数据、第二时间模型数据以及第二频率模型数据输入到融合模型中，确定设备的状态，若所述融合模型是机器学习模型，则所述融合模型可以是利用第一模型数据、第二时间模型数据以及第二频率模型数据以及对应的设备状态样本进行训练得到的。

若所述融合模型是机器学习模型，可选的，所述融合模型包括但不限于如下任一种：

卷积神经网络模型；决策树模型；随机森林模型。

实施中，所述第一卷积神经网络模型、所述第二卷积神经网络模型以及所述融合模型的训练可以是同步迭代进行训练的，也可以是先对第一卷积神经网络模型和第二卷积神经网络模型进行训练，待训练完成后，利用所述第一卷积神经网络模型和第二卷积神经网络模型的输出数据以及对应的设备状态样本作为训练样本对所述融合模型进行训练。

若对所述第一卷积神经网络模型、所述第二卷积神经网络模型以及所述融合模型同时进行训练，可以将所述第一卷积神经网络模型、所述第二卷积神经网络模型以及所述融合模型视为一个综合模型，则可以利用标准时频谱图数据样本、标准时频谱图数据样本中的数据序列样本以及对应的设备状态样本对该综合模型进行训练。

本实施例还提供一种对时频谱图数据进行标准化处理的方法，具体实施方式如下：

对设备的传感器数据进行信号处理得到时频谱图数据；

根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

对得到的预设分辨率的时频谱图数据，按照预设规则或预设大小确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据。

可选的，按照预设规则确定截取的时间范围，包括：

按照所述预设分辨率的时频谱图数据中频率数据序列对应的能量值满足预设条件时对应的时刻和频率，确定截取的时间范围和频率范围；或

按照所述预设分辨率的时频谱图数据中频率数据序列对应的均方根值满足预设条件时对应的时刻和频率，确定截取的时间范围和频率范围；或

按照所述预设分辨率的时频谱图数据中频率数据序列对应的平均值满足预设条件时对应的时刻和频率，确定截取的时间范围和频率范围。

需要说明的是，预设分辨率和预设大小是指针对时频谱图的分辨率和大小，其中预设分辨率是指时频谱图的时间间隔和频率间隔是预设的，预设大小是指时频谱图的时间范围和频率范围是预设的，根据预设分辨率和预设大小得到的标准时频谱图数据的横纵坐标轴如图8所示，其中，时间轴范围为t1～tn，频率轴范围为f1～fm，时间间隔为t2-t1，频率间隔为f2-f1。

实施中，所述时频谱图数据的数据序列包括两种：频率数据序列和时间数据序列，如与时频谱图数据中的时间轴方向对应的数据序列为时间数据序列，与时频谱图数据中的频率轴方向对应的数据序列为频率数据序列；

根据预设分辨率能够确定时频谱图的时间间隔和频率间隔，若所述时频谱图数据的时间间隔与预设分辨率的不同，则可以对所述时频谱图数据中各个时间数据序列对应的谱值建立插值函数，生成与预设的时频谱图的时间间隔相同的时频谱图数据；

若所述时频谱图数据的频率间隔与预设分辨率的不同，则可以对所述时频谱图数据中各个频率数据序列对应的谱值建立插值函数，生成与预设的时频谱图的频率间隔相同的时频谱图数据；

若所述时频谱图数据的时间间隔、频率间隔都与预设分辨率的不同，则可以对所述时频谱图数据中各个时间数据序列及各个频率数据序列对应的谱值建立插值函数，生成与预设的时频谱图的时间间隔和频率间隔相同的时频谱图数据。

容易理解的是，时频谱图数据中的能量值是一个时刻下的频率数据序列对应的能量值，所述能量值可通过该时刻下的频率数据序列对应的谱值进行计算得到。

可选的，按照预设规则确定截取的时间范围，包括如下任一种方式：

方式1、按照所述预设分辨率的时频谱图数据中频率数据序列的能量值大于预设阈值对应的时刻，确定截取的时间范围；

可根据所述能量值大于预设阈值对应的最小时刻和最大时刻，确定截取的时间范围。

方式2、按照以所述预设分辨率的时频谱图数据中频率数据序列的最大能量值对应的时刻为中心，确定截取的时间范围；

以所述最大能量值对应的时刻为中心，并根据预设长度确定截取的时间范围。

方式3、按照所述预设分辨率的时频谱图数据中设定时段内的频率数据序列的能量值之和大于预设值对应的时段，确定截取的时间范围。

可选的，按照预设规则确定截取的频率范围，包括如下任一种：

根据所述预设分辨率的时频谱图数据中时间数据序列对应的谱值满足预设条件对应的频率，确定截取的频率范围；或

根据预先设定的频率范围确定截取的频率范围。

本实施例中确定截取的时间范围和频率范围仅为示例，实施中可以根据需求定义确定截取的时间范围和频率范围的方式，本实施例对如何确定截取的频率范围、时间范围不作过多限定。

需要说明的是，本实施例中设备的传感器数据可以是一种类型的传感器数据，也可以是多种类型的传感器数据，实施中，可以将多种类型的传感器数据转换为与同种类型的传感器数据对应的标准时频谱图数据(或标准时频谱图数据集合)；

若所述设备的传感器数据包括多种类型的传感器数据，则本实施例还可以同时通过多个第一卷积神经网络模型、多个第二卷积神经网络模型对所述多种类型的设备的传感器数据来确定设备的状态；每种类型的传感器数据转换为标准时频谱图数据后，输入到与该类型的传感器数据对应的第一卷积神经网络模型，及第二卷积神经网络模型，确定设备的状态。

实施中，若根据设备的传感器数据进行信号处理得到的时频谱图数据中的分辨率(包括时间间隔和频率间隔)和大小(包括时间范围和频率范围)都与预设分辨率和大小不相同，则对所述时频谱图数据进行标准化处理，如图9所示，具体的标准化处理流程如下所示：

步骤900、根据预设分辨率，对所述时频谱图数据中各个频率数据序列对应的谱值建立插值函数；

步骤901、根据预设分辨率，对所述时频谱图数据中各个时间数据序列对应的谱值建立插值函数；

步骤902、生成与预设的分辨率具有相同分辨率的第一时频谱图数据；

步骤903、按照预设规则，确定对所述第一时频谱图数据进行截取的时间范围和频率范围；

步骤904、根据所述时间范围和频率范围确定第二时频谱图数据；

步骤905、按照预设大小截取第二时频谱图数据，得到标准时频谱图数据。

作为一种可选的实施方式，得到标准时频谱图数据之后，还可以通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据，例如，将所述标准时频谱图数据中的谱值(元素值)进行归一化或标准化处理，若原标准时频谱图数据中的谱值为从0.01～0.09之间的值，则进行归一化或标准化处理后可得到0～1之间的谱值。

本实施例中，通过将设备的传感器数据得到的时频谱图数据进行标准化处理，并且将标准时频谱图数据转换为预设量纲的时频谱图数据，能够最终得到标准化的具备统一分辨率和大小的时频谱图数据集合，便于用于第一卷积神经网络模型、第二卷积神经网络模型，以及融合模型的训练和使用，能够极大的提高模型的训练效果，使得利用上述模型确定的设备状态具备更高的准确性和可靠性。

需要说明的是，本发明实施例中设置了不同的存储区域，用于存储不同的数据，可以是实时的存储，也可以实时间隔设定时段的存储，本实施例对存储的时机不作过多限定。

可选的，通过时频谱图训练存储区来存储时频谱图数据样本，通过状态数据训练存储区来存储与所述时频谱图数据样本对应的第一模型数据样本；

和/或，通过时频谱图训练存储区来存储时频谱图数据样本中的数据序列样本，通过状态数据训练存储区来存储与所述数据序列样本对应的第二模型数据样本。

处理器可以读取存储区域中的时频谱图训练存储区、状态数据训练存储区中的数据对第一卷积神经网络模型，和/或，第二卷积神经网络模型进行训练。

可选的，通过时频谱图评估存储区来存储通过传感器数据转换的时频谱图数据，通过状态数据评估存储区来存储通过第一卷积神经网络模型得到的第一模型数据；

和/或，通过时频谱图评估存储区来存储将所述时频谱图数据划分的多个数据序列，通过状态数据评估存储区来存储通过第二卷积神经网络模型得到的第二模型数据；

和/或，通过状态数据评估存储区来存储设备的状态。

若通过融合模型根据第一模型数据及第二模型数据来确定设备的状态，则可以将通过融合模型输出的设备的状态存储到状态数据评估存储区。

可选的，通过模型存储区来存储第一卷积神经网络模型和第二卷积神经网络模型，或通过模型存储区来存储第一卷积神经网络模型、第二卷积神经网络模型以及融合模型；其中，所述模型存储区中存储的第一卷积神经网络模型、第二卷积神经网络模型以及融合模型都是训练好的模型。

在实施中，一方面，可以对模型存储区中的综合模型，其中，所述综合模型为第一卷积神经网络模型、第二卷积神经网络模型以及融合模型的集成模型，输入时频谱图数据(或时频谱图数据集合)以及对应的设备的状态(或设备的状态集合)对所述综合模型进行训练，另一方面，训练完成后，可以调用模型存储区中的综合模型，将需要进行设备状态评估的时频谱图数据(或时频谱图数据集合)输入到该综合模型中，得到对应的设备的状态。

如图10所示，下面结合本实施例中对时频谱图数据进行标准化处理的实施过程，对本发明实施例提供的一种确定设备状态的方法进行详细说明，具体实施流程如下：

步骤1000、对设备的传感器数据进行信号处理得到时频谱图数据；

步骤1001、根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

步骤1002、对得到的预设分辨率的时频谱图数据，按照预设规则确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据；

步骤1003、通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据；

步骤1004、通过第一卷积神经网络模型的输入通道，将所述时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

步骤1005、按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；

步骤1006、通过所述时间轴方向对应的时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

步骤1007、按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列；

步骤1008、通过所述频率轴方向对应的频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

步骤1009、将所述第二时间模型数据和所述第二频率模型数据，确定为第二模型数据；

步骤1010、将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态。

其中，上述步骤1004、步骤1005、步骤1007可以同时执行。

基于相同的发明构思，本发明实施例还提供了一种确定设备状态的系统，由于该系统即是本发明实施例中的方法中的系统，并且该系统解决问题的原理与该方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。

如图11所示，该系统包括：数据转换模块1100、第一卷积神经网络模块1101、第二卷积神经网络模块1102、确定设备状态模块1103，其中：

数据转换模块1100，用于将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

第一卷积神经网络模块1101，用于通过第一卷积神经网络模型的输入通道，将所述标准时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

第二卷积神经网络模块1102，用于按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

确定设备状态模块1103，用于根据所述第一模型数据及第二模型数据，确定设备的状态。

作为一种可能的实施方式，所述第二卷积神经网络模块1102具体用于：

按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；和/或，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列。

作为一种可能的实施方式，按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，和，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列，所述第二卷积神经网络模型包括与所述时间轴方向对应的时间轴卷积神经网络模型和与所述频率轴方向对应的频率轴卷积神经网络模型；

所述第二卷积神经网络模块1102具体用于：

通过所述时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

通过所述频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

将所述第二时间模型数据和所述第二频率模型数据，确定为第二模型数据。

作为一种可能的实施方式，所述第二卷积神经网络模型的输入通道的数量与按设定方向划分所述时频谱图数据得到的数据序列的数量相同。

作为一种可能的实施方式，所述确定设备状态模块1103具体用于：

将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态，所述融合模型包括：公式模型或机器学习模型。

作为一种可能的实施方式，所述数据转换模块1100具体用于：

对设备的传感器数据进行信号处理得到时频谱图数据；

根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

对得到的预设分辨率的时频谱图数据，按照预设规则确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据。

作为一种可能的实施方式，所述数据转换模块具体用于：

按照所述预设分辨率的时频谱图数据中频率数据序列的能量值大于预设阈值对应的时刻，确定截取的时间范围；或

按照以所述预设分辨率的时频谱图数据中频率数据序列的最大能量值对应的时刻为中心，确定截取的时间范围；或

按照所述预设分辨率的时频谱图数据中设定时段内的频率数据序列的能量值之和大于预设值对应的时段，确定截取的时间范围。

作为一种可能的实施方式，所述系统还包括标准化处理模块具体用于：

通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据。

作为一种可能的实施方式，所述第一卷积神经网络模型是利用标准时频谱图数据样本及对应的第一模型数据样本进行训练得到的；

所述第二卷积神经网络模型是利用标准时频谱图数据样本中的数据序列样本及对应的第二模型数据样本进行训练得到的。

作为一种可能的实施方式，若所述融合模型为机器学习模型，则所述融合模型是利用第一模型数据样本、第二模型数据样本以及对应的设备状态样本进行训练得到的。

基于相同的发明构思，本发明实施例还提供了一种确定设备状态的设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图12所示，该设备包括：处理器1200以及存储器1201，其中，所述存储器1201存储有程序代码，当所述程序代码被所述处理器1200执行时，使得所述处理器1200执行如下步骤：

将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

通过第一卷积神经网络模型的输入通道，将所述标准时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

根据所述第一模型数据及第二模型数据，确定设备的状态。

作为一种可能的实施方式，所述处理器1200具体用于：

按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列；和/或，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列。

作为一种可能的实施方式，按沿时间轴方向组成数据序列的方式将所述时频谱图数据划分为多个频率对应的时间数据序列，和，按沿频率轴方向组成数据序列的方式将所述时频谱图数据划分为多个时刻对应的频率数据序列，所述第二卷积神经网络模型包括与所述时间轴方向对应的时间轴卷积神经网络模型和与所述频率轴方向对应的频率轴卷积神经网络模型；

所述处理器1200具体用于：

通过所述时间轴卷积神经网络模型的多个输入通道，将所述多个时间数据序列输入到所述时间轴卷积神经网络模型，得到第二时间模型数据；

通过所述频率轴卷积神经网络模型的多个输入通道，将所述多个频率数据序列输入到所述频率轴卷积神经网络模型，得到第二频率模型数据；

将所述第二时间模型数据和所述第二频率模型数据，确定为第二模型数据。

作为一种可能的实施方式，所述第二卷积神经网络模型的输入通道的数量与按设定方向划分所述时频谱图数据得到的数据序列的数量相同。

作为一种可能的实施方式，所述处理器1200具体用于：

将所述第一模型数据及第二模型数据输入到融合模型中，确定设备的状态，所述融合模型包括：公式模型或机器学习模型。

作为一种可能的实施方式，所述处理器1200具体还用于：

对设备的传感器数据进行信号处理得到时频谱图数据；

根据预设分辨率对所述时频谱图数据的数据序列对应的谱值建立插值函数，得到预设分辨率的时频谱图数据；

对得到的预设分辨率的时频谱图数据，按照预设规则确定截取的时间范围和频率范围，按照所述时间范围和频率范围截取所述预设分辨率的时频谱图数据，得到标准时频谱图数据。

作为一种可能的实施方式，所述处理器1200具体用于：

按照所述预设分辨率的时频谱图数据中频率数据序列的能量值大于预设阈值对应的时刻，确定截取的时间范围；或

按照以所述预设分辨率的时频谱图数据中频率数据序列的最大能量值对应的时刻为中心，确定截取的时间范围；或

按照所述预设分辨率的时频谱图数据中设定时段内的频率数据序列的能量值之和大于预设值对应的时段，确定截取的时间范围。

作为一种可能的实施方式，所述处理器1200具体还用于：

通过归一化或标准化算法，将所述标准时频谱图数据转换为预设量纲的时频谱图数据。

作为一种可能的实施方式，

所述第一卷积神经网络模型是利用标准时频谱图数据样本及对应的第一模型数据样本进行训练得到的；

所述第二卷积神经网络模型是利用标准时频谱图数据样本中的数据序列样本及对应的第二模型数据样本进行训练得到的。

作为一种可能的实施方式，若所述融合模型为机器学习模型，则所述融合模型是利用第一模型数据样本、第二模型数据样本以及对应的设备状态样本进行训练得到的。

基于相同的发明构思，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

将设备的传感器数据转换为标准时频谱图数据，所述标准时频谱图数据是符合预设标准规范的时频谱图数据；

通过第一卷积神经网络模型的输入通道，将所述标准时频谱图数据输入到所述第一卷积神经网络模型，得到第一模型数据；

按设定方向将所述标准时频谱图数据划分为多个数据序列，通过所述设定方向对应的第二卷积神经网络模型的多个输入通道，将所述多个数据序列输入到所述第二卷积神经网络模型，得到第二模型数据；

根据所述第一模型数据及第二模型数据，确定设备的状态。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。