一种深度尺度学习的时间序列规整方法
【专利摘要】本发明涉及一种深度尺度学习的时间序列规整方法，采用端到端的学习方法，将不同长短的高维时间序列进行非线性降维和拉伸变换处理，该方法包括以下步骤：(1)在欧式空间下对同类时间序列信号进行时间规整，得到时间规整矩阵；(2)通过时间规整矩阵，将时间序列信号进行非线性降维，并增加自编码和正则化项进行约束，求得非线性降维方程，进而求得非线性降维矩阵；(3)对同种类别的时间序列进行时间规整，得到新的时间规整矩阵；(4)如果超过迭代次数或者验证数据组的结果准确率不升反降，结束计算，否则转到步骤(2)。与现有技术相比，本发明具有速度快、能够应对非线性时间序列识别等优点。
【专利说明】
-种深度尺度学习的时间序列规整方法
技术领域
[0001] 本发明设及一种时间序列规整方法，尤其是设及一种深度尺度学习的时间序列规 整方法。
【背景技术】
[0002] 时间序列分类有广泛的应用场景，并且是视觉和机器学习领域的研究重点和难 点。由于时间序列长短不一致，尤其是对于高维非线性时间序列，特征提取W及特征之间的 比较即尺度问题是时间序列分类的关键问题。
[0003] 对于不同长度的时间序列动态时间规整(DTW，Dynamic time Wa巧ing)是常用的 预处理方法，该方法的是将不同时间长短的时间序列在欧式空间下通过动态规划的方法将 序列拉伸到相同的长度。欧式空间往往因为特征较多，因此计算量较大或者在欧式空间中 不能提取有效的时间序列特征。
【发明内容】
[0004] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种计算量小、能够 提取有效非线性特征的深度尺度学习的时间序列规整方法，学习时间序列的时间-空间特 征并在低维空间中保持时间序列的尺度信息，对时序信号进行处理，将不同长短的高维时 间序列进行降维和拉伸变换处理并进行下一步操作。
[0005] 本发明的目的可W通过W下技术方案来实现:一种深度尺度学习的时间序列规整 方法，假设两个时间序列在同一视角并在同一非线性空间中，采用端到端的学习，将不同长 短的高维时间序列进行降维和拉伸变换处理，该方法包括W下步骤：
[0006] (1)在欧式空间下对同类时间序列信号进行时间规整，得到时间规整矩阵；
[0007] (2)通过时间规整矩阵，将时间序列信号进行非线性降维，并增加自编码和正则化 项进行约束，求得非线性降维方程，进而求得非线性降维矩阵；
[0008] (3)对同种类别的时间序列进行时间规整，得到新的时间规整矩阵；
[0009] (4)如果超过迭代次数或者验证数据组的结果准确率不升反降，结束计算，否则转 到步骤(2)。
[0010] 根据非线性降维方程
求解非线性降维矩阵W (m)
[001 U 其中，爲表示该方程的尺度信息，为自编码器，Al为自编码项的权重系数山 为正则化项的权重系数，m表示第m层网络参数，M表示网络的层数。
[0012]所述的自编码器为
用于防止非线性降维后的时间序列 特征为奇异解，
[0013]其中，Xi为输入时间序列，f为降维方程，g为信号恢复方程，N表示时间序列的个 数。
[0014] 采用改进的动态时间规整算法对同种类别的时间序列进行时间规整，并采用一般 时间规整方法GTW(General time Wa巧ing)中的时间规整的部分计算新的时间规整矩阵。
[0015] 所述的时间规整的方法将新的时间规整矩阵的求解表示为多条单调递增基函数 的线性组合，通过求解所述的线性组合的系数，得到新的时间规整矩阵。
[0016] 本发明的假设是两个时间序列在同一视角并在同一非线性空间中。本发明应用于 长度不一致的时间序列分类问题中，比如动作识别，文本、视频分类等。
[0017]假设时间序列戊二1，....，K康示K类时间序列，每个类别样本为有ck个，每个 时间序列由维数相同d，长度不同n的矩阵表示为《 曰化
[0018] 本发明通过弱监督的深度学习方法对原始时间-空间特征进行降维并保持其尺度 信息。其监督信号为动作的类别信息，而不是每个时刻都有确定的标签信息。
[0019] 本发明将非线性降维和时间规整矩阵放到同一个目标方程中进行求解，
[0020]
[0021 ]在上述方程中，求解时间规整矩阵和非线性降维矩阵。
[0022] 1、非线性降维矩阵的求解
[0023]
，其中，表示该方程的尺度信息，通过 时间序列的类别信息进行监督，其主要思想为保证类内距离最小且类间距离最大。此距离 在时间序列进行非线性变换后统一到同一个低维非线性空间中并可W通过欧式距离进行 相互比较，同时为了防止模型过拟合，该方程的后两项为约束项，为自编码项和正则化项。
[0024] 尺度信息的优化方程主要包含两个部分，第一部分为保证类内距离最小，第二部 分为保证类间距离最大。
[0025]
[0026] 其中，/Xx) = 为Mnge Loss方程。由于此方程非光滑函数不可微分，在本 发明中采用其光滑近似方若
来表示。rU和屯分别为两个尺度关系 的权值系数。
[0027] 丑:中，白编砲器夫元血下，
[002引
[0029] 通过添加自编码器作为约束保证系统能够在低维空间保持信号原始信息，防止非 线性降维后的时间序列特征为奇异解。
[0030] 激励函数采用Leaky ReLlKRectif ied Linear Units):
[0031]
[0032] 采用本函数的目的是因为其能很好的应对输入为负值时，梯度无法向下传递。
[0033] 需要优化的目标函数如下：
[0034；
[0035] 通过反向传播算法，对深度神经网络参数求解其梯度，可得：
[0036]
[0037]
[00；3 引
[0039]
[0040]
[0041]
[0042]
[0043]
[0044]
[0045]
[0046]
[0047]
[0048] 运是通过在已经经过时间规整后的时序信号所求解的非线性降维函数。
[0049] 2、时间规整矩阵的求解
[0050] 通过将非线性降维后同类时间序列信号进行时间规整，可W得到新的时间规整矩 阵，该时间规整矩阵是基于非线性降维函数能够保持时间序列的尺度信息运一基础上的。 [0051 ] 本发明采用基于DTW(Dynamic time Wa巧ing)的改进算法进行信号的时间规整。 传统进行时间规整的方法通过动态规划进行计算，运种算法的缺点是所需时间较长，因此 可W采用其他方法进行加速。
[0化2] 在本发明中，采用一般线性规整GTW(General time wa巧ing)中的时间规整的部 分进行计算。时间规整的方法将新的时间规整矩阵的求解表示为多条单调递增基函数的线 性组合，通过求解所述的线性组合的系数，得到新的时间规整矩阵。
[0053] 时间规整只有在同类信号才有意义，因此时间规整矩阵只是通过同类信号进行求 解，并不设及不同类别信号的时间规整。
[0054] 与现有技术相比，本发明提出的一种非线性降维的时间序列规整方法，学习时间 序列的时间-空间特征并在低维非线性空间中保持时间序列的尺度信息，通过本方法对时 序信号进行处理，可W将不同长短的高维时间序列进行降维和拉伸变换处理并进行下一步 操作，本发明采用改进的DTW化ynamiC time wa巧ing)算法对时间序列进行时间规整，比传 统的DTW算法节省时间。
【附图说明】
[0055] 图1为本发明的流程图。
【具体实施方式】
[0056] 下面结合附图和具体实施例对本发明进行详细说明。
[0057] 如图1所示，一种深度尺度学习的时间序列规整方法，假设两个时间序列在同一视 角并在同一非线性空间中，采用端到端的学习方法，将不同长短的高维时间序列进行降维 和拉伸变换处理，该方法包括W下步骤：
[0058] (1)在欧式空间下对同类时间序列信号进行时间规整，得到时间规整矩阵；
[0化9] (2)通过时间规整矩阵，粹时巧席別倍鸟徘巧韭純化除維-並憎巾n自编码和正则化 项进行约束，求得非线性降维方若 并进一步求解非 线性降维矩阵，
[0060] 其中，而表示该方程的尺度信息，兩￡为自编码器，、为自编码项的权重系数，入2 为正则化项的权重系数，m表示第m层网络参数，M表示网络的层数。
[0061] 自编码器夫
用于防止非线性降维后的时间序列特征为 奇异解，其中，X功输入时间序列，f为降维方程，g为信号恢复方程，N表示时间序列的个数。
[0062] (3)对同种类别的时间序列进行时间规整，得到新的时间规整矩阵;采用改进的动 态时间规整算法对同种类别的时间序列进行时间规整，并采用一般时间规整方法GTW (General time warping)中的时间规整的部分计算新的时间规整矩阵。新的时间规整矩阵 为多条单调递增基函数的线性组合，通过求解线性组合的系数，得到新的时间规整矩阵。
[0063] (4)如果超过迭代次数或者验证数据组的结果准确率不升反降，结束计算，否则转 到步骤(2)。
[0064] 本发明的假设是两个时间序列在同一视角并在同一非线性空间中。本发明应用于 长度不一致的时间序列分类问题中，比如动作识别，文本、视频分类等。
[0065] 假设时间序列戊L,./:二1，...，欠'，表示K类时间序列，每个类别样本为有ck个，每个 时间序列由维数相同d，长度不同n的矩阵表示天
,
[0066] 本发明通过弱监督的深度学习方法对原始时间-空间特征进行降维并保持其尺度 信息。其监督信号为动作的类别信息，而不是每个时刻都有确定的标签信息。
[0067] 本发明将非线性降维和时间规整矩阵放到同一个目标方程中进行求解，
[006引
[0069] 在上述方程中，求解时间规整矩阵和非线性降维矩阵。
[0070] 1、非线性降维矩阵的求解
[0071]
，其中，而表示该方程的尺度信息，通过 时间序列的类别信息进行监督，其主要思想为保证类内距离最小且类间距离最大。此距离 在时间序列进行非线性变换后统一到同一个低维空间中并可W通过欧式距离进行相互比 较，同时为了防止模型过拟合，该方程的后两项为约束项，为自编码项和正则化项。
[0072] 尺度信息的优化方程主要包含两个部分，第一部分为保证类内距离最小，第二部 分为保证类间距离最大。
[00731
[0074] 其中：
化inge Loss方程。由于此方程非光滑函数不可微分，在本 发明中采用其光滑近似方程
g表示。屯和屯分别为两个尺度关系的 权值系数。
[0075] 其中，自编码器表示化下：
[0076]
[0077] 通过添加自编码器作为约束保证系统能够在低维空间保持信号原始信息，防止非 线性降维后的时间序列特征为奇异解。
[0078] 激励函数采用Leaky ReLlKRectif ied Linear Units):
[0079]
[0080] 采用本函数的目的是因为其能很好的应对输入为负值时，梯度无法向下传递。
[0081 ]需要优化的目标函数如下：
[0082]
[0083]通过反向传播算法，对深度神经网络参数求解其梯度，可得：
[0084]
[0085]
[0086]
[0087]
[008引
[0089]
[0090]
[0091]
[0092]
[0093]
[0094]
[0095]
[0096] 运是通过在已经经过时间规整后的时序信号所求解的非线性降维函数。
[0097] 2、时间规整矩阵的求解
[0098] 通过将非线性降维后同类时间序列信号进行时间规整，可W得到新的时间规整矩 阵，该时间规整矩阵是基于非线性降维函数能够保持时间序列的尺度信息运一基础上的。
[0099] 本发明采用DTW(Dynamic time wa巧ing)的改进算法进行信号的时间规整。传统 进行时间规整的方法通过动态规划进行计算，运种算法的缺点是所需时间较长，因此可W 采用其他方法进行加速。
[0100] 在本发明中，采用一般时间规整方法GTW(General time Wa巧ing)中的时间规整 的部分进行计算。时间规整的方法将新的时间规整矩阵的求解表示为多条单调递增基函数 的线性组合，通过求解线性组合的系数，得到新的时间规整矩阵。
[0101]时间规整只有在同类信号才有意义，因此时间规整矩阵只是通过同类信号进行求 解，并不设及不同类别信号的时间规整。
【主权项】
1. 一种深度尺度学习的时间序列规整方法，假设两个时间序列在同一视角并在同一非 线性空间中，其特征在于，采用端到端的学习方法，将不同长短的高维时间序列进行非线性 降维和拉伸变换处理，该方法包括以下步骤： (1) 在欧式空间下对同类时间序列信号进行时间规整，得到时间规整矩阵； (2) 通过时间规整矩阵，将时间序列信号进行非线性降维，并增加自编码和正则化项进 行约束，求得非线性降维方程，进而求得非线性降维矩阵； (3) 对同种类别的时间序列进行时间规整，得到新的时间规整矩阵； (4) 如果超过迭代次数或者验证数据组的结果准确率不升反降，结束计算，否则转到步 骤⑵。2. 根据权利要求1所述的一种深度尺度学习的时间序列规整方法，其特征在于，根据非 线性降维方gIf求解非线性降维矩阵W(m)， 其中，表示非线性降维方程的尺度信息，么?为自编码器，λ:为自编码项的权重系 数，λ2为正则化项的权重系数，m表示表示第m层网络参数，Μ表示网络的层数。3. 根据权利要求2所述的一种深度尺度学习的时间序列规整方法，其特征在于，所述的 自编码器^用于防止非线性降维后的时间序列特征为奇异解， 其中，为输入时间序列，f为降维方程，g为信号恢复方程，Ν表示时间序列的个数。4. 根据权利要求1所述的一种深度尺度学习的时间序列规整方法，其特征在于，采用改 进的动态时间规整算法对同种类别的时间序列进行时间规整，并采用一般时间规整方法 GTW(General time warping)中的时间规整的方法，计算新的时间规整矩阵。5. 根据权利要求4所述的一种深度尺度学习的时间序列规整方法，其特征在于，所述的 时间规整的方法将新的时间规整矩阵的求解表示为多条单调递增基函数的线性组合，通过 求解所述的线性组合的系数，得到新的时间规整矩阵。
【文档编号】G06F17/11GK105955925SQ201610272860
【公开日】2016年9月21日
【申请日】2016年4月28日
【发明人】尹晓川, 陈启军
【申请人】同济大学