基于层次化深度网络的长时序列数据处理方法与流程
本发明实施例涉及计算机数据分析技术领域，更具体地，涉及一种基于层次化深度网络的长时序列数据处理方法。
背景技术：
在多数工业生产中，为了方便管理人员实时观察生产设备的工作状态，会有附着于设备的传感器实时产生工况数据，有经验的领域专家可通过观察其一段时间内的变化来判断对应的生产设备工况是否产生变化。这类问题实际上是一种分类问题。如在电力生产企业中，专家可通过观察电机电压变化来判断电机时候产生异常，以及时做进一步处理。然而随着生产设备的设计趋向于复杂，需要观测的传感器数据也随之增多，也随着人力成本的增加，企业亟须一种自动化方法替代人工观察。这种实时工况数据是一种多维的时间序列数据，其特点为数据质量较好，且固定采集间隔，但采集频率密集，这就造成了其在时间维度上过长，一般会达到几千或上万个时间点，这就需要在处理前需要一些采样等技术对其进行压缩以节约内存与网络带宽。现有的处理方法对于这种长时间时序数据难以做到压缩数据的同时更好的保留数据原有的信息，因此本发明提出一种深度学习方法来处理此类问题。
深度学习技术目前已得到工业界和学术界的广泛关注，也在日常生活中取得了广泛的应用。如我们熟悉的搜索引擎、人脸识别，已经出现了较为成熟的深度学习解决方案，其效果也得到了人们的广泛认可。深度学习技术对于复杂性较高的问题能够给出较优的近似解，适用于目前企业复杂的生产环境问题。随着大数据的发展与广泛应用，企业往往会保存几个月乃至几年的历史数据，这也给使用深度学习技术提供了数据支持。虽然深度学习技术在各个领域已有了较高的成就，但对于时序数据分类问题，目前还没有较好的解决方案，原因在于时序数据的特征仍没有较好的方法提取。因此，亟需提供一种基于深度学习技术的时序数据处理方法。
技术实现要素：
本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的基于层次化深度网络的长时序列数据处理方法。
一方面本发明实施例提供了一种基于层次化深度网络的长时序列数据处理方法，所述方法包括：
s1，获取长时序列数据，并将所述长时序列数据输入训练好的层次化深度网络模型，所述层次化深度网络模型包括卷积层、递归层以及全连接层；其中，所述卷积层包括多对卷积核和池化核，且各对卷积核和池化核对应的卷积核的长度和池化核的长度的乘积相同；
s2，利用所述卷积层中的所述多对卷积核和池化核对所述长时序列数据进行单维卷积操作得到第一压缩时序数据集，并将所述第一压缩时序数据集中的所有压缩时序数据连结形成第一多维时序数据；
s3，基于所述第一多维时序数据，利用所述卷积层获取多个多维时序数据，并将所述多个多维时序数据中长度小于第一预设长度的多维时序数据进行组合形成第一数据集；
s4，利用所述递归层和所述全连接层对所述第一数据集进行处理，以得到所述长时序列数据的分类结果向量。
其中，步骤s2具体包括：
每对卷积核和池化核中的卷积核以对应的卷积步长对所述长时序列数据进行卷积；
所述每对卷积核和池化核中的池化核以对应的池化步长对经卷积后的所述长时序列数据进行池化，得到所述每对卷积核和池化核对应的压缩时序数据，并将所述多对卷积核和池化核对应的多个压缩时序数据进行组合形成所述第一压缩时序数据集；
将所述第一压缩时序数据集中的所有压缩时序数据在空间上连结形成第一多维时序数据。
其中，步骤s3具体包括：
利用所述卷积层对所述第一多维时序数据进行单维卷积操作，得到第二压缩数据集，并将所述第二压缩数据集中的所有压缩数据进行连结得到第二多维时序数据，重复上述操作直至连结后得到的多维时序数据的长度小于第二预设长度；
将所述多个多维时序数据中长度小于第一预设长度的多维时序数据组合形成第一数据集；其中，所述第二预设长度小于所述第一预设长度。
其中，所述递归层包括多组第一多层递归神经网络和多组第二多层递归神经网络，所述多组第一多层递归神经网络和所述多组第二多层递归神经网络一一对应，所述多组第一多层递归神经网络中多层递归神经网络的数量与所述第一数据集中元素的数量相等。
其中，所述全连接层包括多组全连接网络，所述多组全连接网络中全连接网络的数量与所述第一数据集中元素的数量相等，每组全连接网络对应于一对相互对应的第一多层递归神经网络和第二多层递归神经网络，且每组全连接网络的最后一层为softmax网络层。
其中，在步骤s1之前还包括：
构建所述层次化深度网络模型，并采用随机梯度下降法对所述层次化深度网络模型进行训练，直至由交叉熵函数定义的损失函数计算得到信息损失处于预设范围内，即得到所述训练好的层次化深度网络模型。
其中，步骤s4具体包括：
将所述第一数据集中的每一时序数据正序输入一个第一多层递归神经网络得到第一特征向量，将所述每一时序数据倒序输入对应的第二多层递归神经网络得到第二特征向量，并将所述第一特征向量和所述第二特征向量连结到所述每一时序数据的组合特征向量；
将所述每一时序数据的组合特征向量输入所述全连接层，得到所述每一时序数据对应的分类结果向量；
将所述第一数据集中所有时序数据对应的分类结果向量相加得到所述长时序列数据的分类结果向量。
另一方面本发明实施例提供了一种基于层次化深度网络的长时序列数据处理系统，所述系统包括：
输入模块，用于获取长时序列数据，并将所述长时序列数据输入训练好的层次化深度网络模型，所述层次化深度网络模型包括：卷积层、递归层以及全连接层；其中，所述卷积层包括多对卷积核和池化核，且各对卷积核和池化核对应的卷积核的长度和池化核的长度的乘积相同；
卷积模块，用于利用所述卷积层中的所述多对卷积核和池化核对所述长时序列数据进行单维卷积操作得到第一压缩时序数据集，并将所述第一压缩时序数据集中的所有压缩时序数据连结形成第一多维时序数据；
第一数据集获取模块，用于基于所述第一多维时序数据，利用所述卷积层获取多个多维时序数据，并将所述多个多维时序数据中长度小于第一预设长度的多维时序数据进行组合形成第一数据集；
分类模块，用于利用所述递归层和所述全连接层对所述第一数据集进行处理，以得到所述长时序列数据的分类结果向量。
第三方面本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法。
第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述方法。
本发明实施例提供的一种基于层次化深度网络的长时序列数据处理方法，通过利用包括多对卷积核和池化核的卷积层对长时序列数据进行压缩，并对压缩得到的压缩时序数据集进行连结，最终得到包含有多个多维时序数据的数据集，将包含有多个多维时序数据的数据集作为输入，经递归层和全连接层进行分类，实现了层次化深度网络模型对长时序列数据的自动化处理，且结果准确，适用于企业日趋复杂的生产环境。
附图说明
图1为本发明实施例提供的一种基于层次化深度网络的长时序列数据处理方法的流程图；
图2为本发明实施例提供的一种基于层次化深度网络的长时序列数据处理方法的示意图；
图3为本发明实施例中卷积层架构示意图；
图4为本发明实施例中卷积操作示意图；
图5为本发明实施例中多阶差分网络模型训练和使用流程图
图6为本发明实施例中递归操作示意图；
图7为本发明实施例中递归层架构示意图；
图8为本发明实施例中全连接层架构示意图；
图9为本发明实施例提供的一种基于层次化深度网络的长时序列数据处理系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于层次化深度网络的长时序列数据处理方法的流程图的流程图，图2为本发明实施例提供的一种基于层次化深度网络的长时序列数据处理方法的示意图，如图1-2所示，所述方法包括：s1，获取长时序列数据，并将所述长时序列数据输入训练好的层次化深度网络模型，所述层次化深度网络模型包括：卷积层、递归层以及全连接层；其中，所述卷积层包括多对卷积核和池化核，且各对卷积核和池化核对应的卷积核的长度和池化核的长度的乘积相同；s2，利用所述卷积层中的所述多对卷积核和池化核对所述长时序列数据进行单维卷积操作得到第一压缩时序数据集，并将所述第一压缩时序数据集中的所有压缩时序数据连结形成第一多维时序数据；s3，基于所述第一多维时序数据，利用所述卷积层获取多个多维时序数据，并将所述多个多维时序数据中长度小于第一预设长度的多维时序数据进行组合形成第一数据集；s4，利用所述递归层和所述全连接层依次对所述第一数据集进行处理，以得到所述长时序列数据的分类结果向量。
在步骤s1中，所述长时序列数据可以是从各工业设备上的各种传感器上直接读取的实时数据，也可以是存储设备上存储的一段时间内的历史数据。记所述长时序列数据为xori，xori在时间维度上的长度为lori，每个时间点的特征数即为d，则xori为lori·d的矩阵。训练好的层次化深度网络模型可直接用于对获取到的长时序列数据进行处理，进而得出分类结果。
层次化深度网络模型中卷积层是用来对长时序列数据进行压缩的，为了使压缩后得到的数据最大程度的保留长时序列数据的原有信息，需选取多对卷积核和池化核，且所述多对卷积核和池化核中各卷积核的长度不同、各池化核的长度不同，但各对卷积核和池化核中卷积核的长度和池化核的长度的乘积相同。这样既能最大程度的保留长时序列数据的原有信息，又能使得各对卷积核和池化核压缩后得到的压缩时序数据的长度保持一致，便于后续处理。
在步骤s2中，卷积层对长时序列数据压缩一次就可以得到一个压缩时序数据集，且压缩时序数据集中的元素个数等于所述多对卷积核和池化核的对数。若选取nconv对卷积核和池化核{(ci,pi)}nconv，卷积核和池化核长度分别记为lci与lpi，并根据所述长时序列数据的长度lori、lci与lpi使用如下公式确定压缩时序数据的长度lconv：
lconv＝lori/(lci·lpi)
卷积操作需要确定4个参数：卷积核长度、卷积步长、池化核长度、池化步长，在本发明实施例中，将卷积核长度与卷积步长设置为相同值，池化核长度与池化步长设置为相同值。
在步骤s3中，为了使多维数据的长度能够符合后续处理的要求，且尽可能多的保留长时序列数据的原有信息，需要得到多个长度的多维数据，但这一长度必须小于第一预设长度才能达到压缩的目的，所以通过所述卷积层，获取多个多维时序数据组成第一数据集作为后续出力的输入量。其中，所述第一预设长度可以根据实际需求设置，例如可以设置为20。
在步骤s4中，将经卷积操作后得到的所述第一数据集依次输入所述递归层和所述全连接层，得到所述长时序列数据的分类结果向量，再基于所述分类结果向量即可获得所述长时序列数据的类别。
本发明实施例提供的一种基于层次化深度网络的长时序列数据处理方法，通过利用包括多对卷积核和池化核的卷积层对长时序列数据进行压缩，并对压缩得到的压缩时序数据集进行连结，最终得到包含有多个多维时序数据的数据集，将包含有多个多维时序数据的数据集作为输入，经递归层和全连接层进行分类，实现了层次化深度网络模型对长时序列数据的自动化处理，且结果准确，适用于企业日趋复杂的生产环境。
基于上述实施例，步骤s2具体包括：
每对卷积核和池化核中的卷积核以对应的卷积步长对所述长时序列数据进行卷积；
所述每对卷积核和池化核中的池化核以对应的池化步长对经卷积后的所述长时序列数据进行池化，得到所述每对卷积核和池化核对应的压缩时序数据，并将所述多对卷积核和池化核对应的多个压缩时序数据进行组合形成所述第一压缩时序数据集；
将所述第一压缩时序数据集中的所有压缩时序数据在空间上连结形成第一多维时序数据。
具体地，如图3-4所示，从所述长时序列数据xori中按照步长pi不断取出取长度为ci的序列，即ci·d的矩阵，再将取出的所述序列ci·d与预设矩阵wconv相乘，其中，wconv即为算法模型需训练的参数之一。将结果按照原始序列顺序组合，最终获得第一压缩时序数据集
将第一压缩序列集
基于上述实施例，步骤s3具体包括：
利用所述卷积层对所述第一多维时序数据进行单维卷积操作，得到第二压缩数据集，并将所述第二压缩数据集中的所有压缩数据进行连结得到第二多维时序数据，重复上述操作直至连结后得到的多维时序数据的长度小于第二预设长度；
将所述多个多维时序数据中长度小于第一预设长度的多维时序数据组合形成第一数据集；其中，所述第二预设长度小于所述第一预设长度。
具体地，将所述第一多维时序数据xconv再次输入卷积层得到第二多维时序数据，将所述第二多维时序数据再次输入卷积层得到第三多维时序数据，重复上述迭代过程，直至卷积层输出的多维时序数据的长度小于等于第二预设长度，例如第二预设长度可以设置为5。在上述迭代过程中会得到多个多维时序数据，从中选择长度小于等于第一预设长度的多维时序数据，组合形成第一数据集{xconv}m，集合中的元素数个数即为m个。
基于上述实施例，所述递归层包括多组第一多层递归神经网络和多组第二多层递归神经网络，所述多组第一多层递归神经网络和所述多组第二多层递归神经网络一一对应，所述多组第一多层递归神经网络中多层递归神经网络的数量与所述第一数据集中元素的数量相等。
可以理解地，由于所述第一数据集{xconv}m中有m个元素，需要对其中的每个元素进行正向递归操作与反向递归操作，则所述第一数据集{xconv}m中每个元素对应两组多层递归神经网络，进而所述递归层中至少需要设置2m组多层递归神经网络。相比于单一的多层递归神经网络构成的递归层，采用多组多层递归神经网络构成的递归层可以使得所述层次化深度网络模型更稳定且训练误差更小。
基于上述实施例，所述全连接层包括多组全连接网络，所述多组全连接网络中全连接网络的数量与所述第一数据集中元素的数量相等，每组全连接网络对应于一对相互对应的第一多层递归神经网络和第二多层递归神经网络，且每组全连接网络的最后一层为softmax网络层。
可以理解地，由于所述第一数据集{xconv}m中有m个元素，需要对经过递归层处理后的m个元素的输出进行进一步处理，则所述第一数据集{xconv}m中每个元素对应一组全连接网络，进而所述全连接层中至少需要设置m组全连接网络。相比于单一全连接网络构成的全连接层，采用多组全连接网络构成的全连接层可以使得所述层次化深度网络模型更稳定且训练误差更小。
基于上述实施例，在步骤s1之前还包括：
构建所述层次化深度网络模型，并采用随机梯度下降法对所述层次化深度网络模型进行训练，直至由交叉熵函数定义的损失函数计算得到信息损失处于预设范围内，即得到所述训练好的层次化深度网络模型。
具体地，首先根据待处理的长数据设置卷积操作的4个参数：卷积核长度、卷积核步长、池化核长度和池化步长，一般将卷积核长度与卷积核步长设置为相同值，将池化核长度与池化核步长设置为相同值。然后构建2m组多层递归神经网络{fr}2m，包括多组第一多层递归神经网络组成的集合{fr1}m和多组第二多层递归神经网络组成的集合{fr2}m，分别用于对所述第一数据集{xconv}m中的各元素进行正向与反向递归操作。其中，每个多层递归神经网络的每层的隐藏层输出作为下一层递归神经网络的输入。递归神经网络需设置多组参数，如节点类型等，需根据数据集情况设置。最后根据递归层的输出设置对应的全连接层，即完成构建所述层次化深度网络模型。
完成所述层次化深度网络模型的构建后，需要对所述多阶差分数网络模型进行训练，训练好的层次化深度网络模型才能作为可用的分类器以供使用。
首先获取原始时序数据集，原始时序数据集可以是历史数据，将原始时序数据集中每个时序数据的真实标签yreal转化为独热编码(onehot)向量，即长度为类别数nclass的向量，且所述每个时序数据所属的真实类别的对应的分量为1，其余分量为0。使用交叉熵函数定义损失函数，并计算损失，记为l。最终所述长时序列数据xori会产生m个损失l，记为{l}n，即有m个递归神经网络构造的分类模型需要训练。
将原始时序数据集s按照合适的比例切分为训练集strain与测试集stest(例如，可采用|strain|:|stest|＝4:1的方式划分)。若因调整参数需要，可从训练集strain再次划分出验证集sval(例如，可采用|strain|:|sval|＝9:1的方式划分)，也可采用十折交叉验证的方式调整参数。
如图5所示，从训练集strain分批次取出训练数据输入神经网络，并使用随机梯度下降法(sgd)进行训练，最小化{l}n。若干次迭代后，取得训练好的分类器集合{f}n。
基于上述实施例，步骤s4具体包括：
将所述第一数据集中的每一时序数据正序输入一个第一多层递归神经网络得到第一特征向量，将所述每一时序数据倒序输入对应的第二多层递归神经网络得到第二特征向量，并将所述第一特征向量和所述第二特征向量连结得到所述每一时序数据的组合特征向量；
将所述每一时序数据的组合特征向量输入所述全连接层，得到所述每一时序数据对应的分类结果向量；
将所述第一数据集中所有时序数据对应的分类结果向量相加得到所述长时序列数据的分类结果向量。
其中，如图6所示，在递归层的多层递归神经网络中，需将第一数据集中的每个时序数据xconv的每一个时间点的特征向量输入到递归神经网络节点中，节点除不断接收xconv在某时间点的特征向量(即为长度为d的特征向量)以外，还会输出隐藏状态，并将所述隐藏状态在下一个时间点时作为另外一个输入。
具体地，如图7所示，将第一数据集{xconv}m中每个元素xconv正序输入一组第一多层递归神经网络fr1中，获取最后一层的最后一个节点隐藏输出向量h1；再将所述每个元素xconv倒序输入对应的一组第二多层递归神经网络fr2中，获取最后一层的第一个节点隐藏输出向量h2。将获得的h1与h2连结，获得长度为h1与h2长度之和的向量h。
如图8所示，根据h的长度设置相关参数，初始化全连接层。然后将h输入全连接层，将结果输入到一层softmax网络层中(激活函数为softmax函数的单层全连接层)，获取所述每个元素xconv的长度为类别数nclass的分类结果向量ypre，ypre的每一个分量即为所述每个元素xconv所述类别对应的概率值；
将所述第一数据集中所有元素的分类结果向量ypre相加，得到所述长时序列数据xori的分类结果向量，概率值最大的位置即为所述层次化深度网络模型对xori计算出的分类结果。
下面通过一个实例对本发明实施例进行进一步说明：
如在某发电厂对于发电机工作状态的监测中，附着于发电机上的传感器会传回采样频率为秒级的多维传感器数据。领域专家可依靠传感器数据的一些变化规律确定发电机此时的工况。在本发明提出的算法模型中，首先可将历史传感器数据切分为长度为1000的长时序列段作为数据集，训练标签为领域专家过去给出的判断。将数据集切分为训练集和测试集。设置长度为{(lci,lpi)}＝{(4,5),(2,10),(10,2)}三组卷积核对数据进行第一次卷积操作获得长度为50的多维时间序列xconv。由于xconv长度大于5，因此仍需进一步卷积，直至长度符合要求。对所有卷积生成的序列中长度小于20的序列进行双层递归神经网络操作，将所有隐藏输出向量连结，最后使用全连接层与softmax层进行分类。在实际使用时，使用训练集训练模型，使用测试集进行测试和评估。训练好的模型实时读取传感器数据，每读取长度为1000的数据即对当前发电机工况进行判断。
图9为本发明实施例提供的一种基于层次化深度网络的长时序列数据处理系统，所述系统包括：输入模块1、卷积模块2、第一数据集获取模块3以及分类模块4。其中：
输入模块1用于获取长时序列数据，并将所述长时序列数据输入训练好的层次化深度网络模型，所述层次化深度网络模型包括：卷积层、递归层以及全连接层；其中，所述卷积层包括多对卷积核和池化核，且各对卷积核和池化核对应的卷积核的长度和池化核的长度的乘积相同。卷积模块2用于利用所述卷积层中的所述多对卷积核和池化核对所述长时序列数据进行单维卷积操作得到第一压缩时序数据集，并将所述第一压缩时序数据集中的所有压缩时序数据连结形成第一多维时序数据。第一数据集获取模块，用于基于所述第一多维时序数据，利用所述卷积层获取多个多维时序数据，并将所述多个多维时序数据中长度小于第一预设长度的多维时序数据进行组合形成第一数据集。分类模块4用于利用所述递归层和所述全连接层对所述第一数据集进行处理，以得到所述长时序列数据的分类结果向量。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取长时序列数据，并将所述长时序列数据输入训练好的层次化深度网络模型，所述层次化深度网络模型包括：卷积层、递归层以及全连接层；其中，所述卷积层包括多对卷积核和池化核，且各对卷积核和池化核对应的卷积核的长度和池化核的长度的乘积相同；利用所述卷积层中的所述多对卷积核和池化核对所述长时序列数据进行单维卷积操作得到第一压缩时序数据集，并将所述第一压缩时序数据集中的所有压缩时序数据连结形成第一多维时序数据；基于所述第一多维时序数据，利用所述卷积层获取多个多维时序数据，并将所述多个多维时序数据中长度小于第一预设长度的多维时序数据进行组合形成第一数据集；利用所述递归层和所述全连接层对所述第一数据集进行处理，以得到所述长时序列数据的分类结果向量。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取长时序列数据，并将所述长时序列数据输入训练好的层次化深度网络模型，所述层次化深度网络模型包括：卷积层、递归层以及全连接层；其中，所述卷积层包括多对卷积核和池化核，且各对卷积核和池化核对应的卷积核的长度和池化核的长度的乘积相同；利用所述卷积层中的所述多对卷积核和池化核对所述长时序列数据进行单维卷积操作得到第一压缩时序数据集，并将所述第一压缩时序数据集中的所有压缩时序数据连结形成第一多维时序数据；基于所述第一多维时序数据，利用所述卷积层获取多个多维时序数据，并将所述多个多维时序数据中长度小于第一预设长度的多维时序数据进行组合形成第一数据集；利用所述递归层和所述全连接层对所述第一数据集进行处理，以得到所述长时序列数据的分类结果向量。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！