基于无监督学习的人体骨架序列行为识别方法

1.本发明属于计算机视觉、模式识别和神经网络技术领域，具体涉及一种基于无监督学习的人体骨架序列行为识别方法、系统、装置。


背景技术：

2.随着人工智能技术的发展，智能机器人，如谷歌的无人驾驶汽车、百度的无人驾驶自行车等，即将走入人们生活，以及智慧城市、智能交通及智能监控领域等，这些都需要计算机对人的行为进行自动分析。近年来，深度摄像技术结合高精度的人体骨架估计算法，可以提供人体运动过程对应的骨架运动信息，基于骨架运动序列可以进行精确的行为识别。
3.早期基于骨架节点的行为识别算法主要是在手工特征提取基础上设计分类器来实现行为识别，运动动态信息的手工提取非常麻烦，不利于实际应用。而且，传统方法训练及测试多是在小数据集上进行，当数据量增大时，其整体计算复杂度对于一般的硬件条件将难以承受，难以发挥基于骨架的行为识别在实际应用中的价值。随着深度神经网络的发展，以及大规模行为数据库的出现，越来越多的深度行为识别算法被提出来。为了充分建模人体骨架的分层、分块物理特性，2015年出现一种基于分层递归神经网络的行为识别算法，为了更好地对人体骨架的空间结构建模，2018年出现了基于图神经网络的行为识别算法，考虑到目前大部分模型中时间动态和空间结构信息都是分离建模，2019年出现了基于递归图卷积神经网络的行为识别算法，在多个数据集上取得了当前最好结果。现有大多数模型都是在监督学习设置下取得了较好结果，这需要大量标记节点进行训练，然而实际应用场景中，很难获取大量标记的人体骨架序列数据，亟需提出无监督的行为识别方法。基于此，我们基于对比学习和重构思想提出了基于无监督学习的人体骨架序列行为识别方法。


技术实现要素：

4.为了解决现有技术中的上述问题，即为了解决现有行为识别方法需要大量的标记的人体骨架序列数据，在标注数据较少时，造成训练困难以及识别精度较低的问题，本发明第一方面，提出了一种基于无监督学习的人体骨架序列行为识别方法，该方法包括：
5.步骤s10，获取一组待识别的人体骨架序列，作为输入序列集合；
6.步骤s20，从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；
7.步骤s30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；
8.步骤s40，通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序
列的特征向量；
9.步骤s50，对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；
10.步骤s60，基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；
11.所述第一编码器、所述第二编码器基于多层神经网络构建。
12.在一些优选的实施方式中，所述第一编码器、所述第二编码器其训练方法为：
13.步骤a10，获取训练样本数据集，并随机选取一组人体骨架序列，作为第一序列集；所述训练样本数据集为无标签的人体骨架序列数据集；
14.步骤a20，从所述第一序列集中的各人体骨架序列中按时间顺序随机间隔的抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述第一序列集的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述第一序列集中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；
15.步骤a30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，构建位置坐标序列正负样本对、速度坐标序列正负样本对；
16.步骤a40，通过所述第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；基于所述位置坐标序列的特征向量，计算位置坐标序列正负样本对之间的相似度，作为第一相似度；
17.步骤a50，通过所述第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；基于所述速度坐标序列的特征向量，计算速度坐标序列正负样本对之间的相似度，作为第二相似度；
18.步骤a60，基于所述第一相似度、所述第二相似度，分别通过预构建的对比损失函数获取对应的对比损失值；
19.步骤a70，串联所述第一序列集中各人体骨架序列的子序列对应的位置坐标序列的特征向量、速度坐标序列的特征向量，得到各子序列对应的最终特征表示；
20.步骤a80，基于所述最终特征表示，通过预构建的解码器得到重构后的子序列；基于重构后的子序列与其对应的原始子序列，通过预构建的重构损失函数获取重构损失；所述解码器基于多层神经网络构建；
21.步骤a90，基于所述重构损失、所述对比损失，对第一编码器、第二编码器、解码器进行网络参数更新；更新后，循环步骤a10
‑
步骤a80，直至得到训练好的第一编码器、第二编码器。
22.在一些优选的实施方式中，所述样本对之间的相似度，计算方法为：
[0023][0024]
其中，sim(x，y)表示样本对之间的相似度，n表示特征维度，i表示下标，x，y表示样本对的特征向量。
[0025]
在一些优选的实施方式中，所述对比损失函数，其计算方法为：
[0026][0027]
其中，表示对比损失值，z
i
，z
j
，z
t
分别为第i个、第j个、第t个子序列的位置坐标序列的特征向量表示或速度坐标序列的特征向量表示，表示预设的控制参数，1
[t≠i]
表示指示函数，t≠i为1，t＝i为0。
[0028]
在一些优选的实施方式中，所述重构损失函数，其计算方法为：
[0029][0030]
其中，l
rec
表示重构损失值，h
i
表示最终特征表示，x
i
表示重构后的子序列对应的原始子序列，d(
·
)表示解码器，d(h
i
)表示重构后的子序列。
[0031]
在一些优选的实施方式中，所述预处理包括随机旋转、缩放。
[0032]
在一些优选的实施方式中，所述分类器为多分类分类器，通过最近邻或者逻辑斯蒂回归分类方法训练获取。
[0033]
本发明的第二方面，提出了一种基于无监督学习的人体骨架序列行为识别系统，该系统包括序列获取模块、预处理模块、序列提取模块、特征向量获取模块、串联模块、行为识别模块；
[0034]
所述序列获取模块，配置为获取一组待识别的人体骨架序列，作为输入序列集合；
[0035]
所述预处理模块，配置为从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；
[0036]
所述序列提取模块，配置为提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；
[0037]
所述特征向量获取模块，配置为通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；
[0038]
所述串联模块，配置为对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；
[0039]
所述行为识别模块，配置为基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；
[0040]
所述第一编码器、所述第二编码器基于多层神经网络构建。
[0041]
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的基于无监督学习的人体骨架序列行为识别方法。
[0042]
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于无监督学习的人体骨架序列行为识别方法。
[0043]
本发明的有益效果：
[0044]
本发明减少了样本标注的需求，简化了训练的难度，并能在少量标记样本的监督下实现具有较高精度的行为识别。
[0045]
本发明通过大量无标签样本学习得到有效序列表达，进而在少量标记样本的监督下实现具有较高精度的识别任务，非常便于实际应用。近年来随着深度感知技术的发展，可以很容易地获取人体运动骨架序列数据，从而实现高精度的行为识别，对智能视频监控、智能交通管理及智慧城市建设等具有重要意义。
附图说明
[0046]
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
[0047]
图1是本发明一种实施例的基于无监督学习的人体骨架序列行为识别方法的流程示意图；
[0048]
图2是本发明一种实施例的基于无监督学习的人体骨架序列行为识别系统的框架示意图；
[0049]
图3是本发明一种实施例的基于无监督学习的人体骨架序列行为识别方法进行无监督学习和有监督学习过程的简略示意图；
[0050]
图4是本发明一种实施例的无监督学习中对比学习和重构学习的示意图；
[0051]
图5是本发明一种实施例的从原始序列进行子序列随机抽取、随机旋转缩放的示意图；
[0052]
图6是本发明一种实施例的子序列对比学习方法的示意图。
具体实施方式
[0053]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0055]
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0056]
本发明的基于无监督学习的人体骨架序列行为识别方法，如图1所示，包括以下步骤：
[0057]
步骤s10，获取一组待识别的人体骨架序列，作为输入序列集合；
[0058]
步骤s20，从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本
对；
[0059]
步骤s30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；
[0060]
步骤s40，通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；
[0061]
步骤s50，对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；
[0062]
步骤s60，基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；
[0063]
所述第一编码器、所述第二编码器基于多层神经网络构建。
[0064]
为了更清晰地对本发明基于无监督学习的人体骨架序列行为识别方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
[0065]
下列实施例中先对第一编码器、所述第二编码器的训练过程进行详述，再对基于无监督学习的人体骨架序列行为识别方法获取行为类别的过程进行详述。
[0066]
1、第一编码器、第二编码器的训练过程，简略流程图如图3所示，具体步骤如下：
[0067]
步骤a10，获取训练样本数据集，并随机选取一组人体骨架序列，作为第一序列集；所述训练样本数据集为无标签的人体骨架序列数据集；
[0068]
在本实施例中，从无标签的人体骨架序列数据集里随机选取一组人体骨架序列样本。这里的无标签骨架序列可以是由运动捕获系统所获取的人体运动骨架信息，也可以是利用人体骨架估计算法从深度视频序列中提取到的人体运动对应的骨架序列。
[0069]
步骤a20，从所述第一序列集中的各人体骨架序列中按时间顺序随机间隔的抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述第一序列集的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述第一序列集中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；
[0070]
在本实施例中，分别对随机选取一组人体骨架序列中的各单个长序列样本(即人体骨架序列)按照时间顺序进行随机间隔子序列抽取。本发明中，需确保子序列长度不能太小也不能太大，一般可设置在40～60之间的某个固定长度。
[0071]
对这些提取的子序列进行随机旋转、缩放等预处理，如图5所示，从长序列样本中的各人体骨架序列(即图5中的序列样本a0、a1……
a
n
，n为第一序列集中人体骨架序列的总数量)，这里子序列随机旋转角度和缩放尺度也有一个范围，本发明中优选设置为围绕x，y，z三个轴旋转
‑
60～60度，缩放区间为0.5～1.5之间。围绕某个坐标轴随机旋转的公式(这里以x轴为例)如公式(1)所示：
[0072][0073]
缩放的公式如公式(2)所示：
[0074][0075]
其中，[x,y,z]为原始坐标，[x
′
，y
′
，z
′
]为随机旋转后的坐标，[x
″
，y
″
，z
″
]为缩放后的坐标，θ～uniform(
‑
60，60)，s～uniform(0.5，1.5)。
[0076]
并针对其中某个子序列(如图5中的a
00
、a
01
等)，选择一个来自同一长序列(人体骨架序列)的其他子序列，形成子序列正样本对，以及与来自其他长序列(人体骨架序列)的子序列，形成子序列负样本对。
[0077]
步骤a30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，构建位置坐标序列正负样本对、速度坐标序列正负样本对；
[0078]
在本实施例中，速度坐标序列定义为位置坐标序列中相邻前后时刻对应骨架节点的位置坐标差。位置坐标序列表示为[x
t
，y
t
，z
t
]。
[0079]
其中，速度坐标的计算公式，如公式(3)所示：
[0080][0081]
其中，[x
t
，y
t
，z
t
]、[x
t+1
，y
t+1
，z
t+1
]表示t、t+1时刻的位置坐标，[δx
t
，δy
t
，δz
t
]表示t时刻的速度坐标。
[0082]
步骤a40，通过所述第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；基于所述位置坐标序列的特征向量，计算位置坐标序列正负样本对之间的相似度，作为第一相似度；
[0083]
在本实施例中，第一编码器基于多层神经网络构建，多层神经网络并不特指某一类神经网络，可以为递归神经网络、卷积神经网络等各类网络模型。第一编码器即图4中的编码器一。
[0084]
假定位置坐标序列正负样本对经过编码器得到的特征向量表示为{x,y}，则正负样本对之间的相似度的计算过程如公式(4)所示：
[0085][0086]
其中，sim(x，y)表示样本对之间的相似度，n表示特征维度，i表示下标，x，y表示样本对的特征向量。
[0087]
将提取的位置坐标序列正负样本对之间的相似度，作为第一相似度。如图6所示，s
+
表示正样本对的相似度、s
‑
表示负样本对的相似度，为训练样本a
00
与其他样本a
ij
对比学习的损失函数，这里的i，j不同时为0。
[0088]
步骤a50，通过所述第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；基于所述速度坐标序列的特征向量，计算速度坐标序列正负样本对之间的相似度，作为第二相似度；
[0089]
在本实施例中，第二编码器基于多层神经网络构建。通过构建的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量，并通过公式(4)计算速度坐标序列正负样本对之间的相似度，作为第二相似度。第二编码器即图4中的编码器二。
[0090]
步骤a60，基于所述第一相似度、所述第二相似度，分别通过预构建的对比损失函数获取对应的对比损失值；
[0091]
在本实施例中，第一相似度、第二相似度分别通过对比损失函数计算位置序列正负样本对、速度坐标序列正负样本之间的对比损失值。对比损失函数如公式(5)所示：
[0092][0093]
其中，表示对比损失值，z
i
，z
j
，z
t
分别为第i个、第j个、第t个子序列的位置坐标序列的特征向量表示或速度坐标序列的特征向量表示，表示预设的控制参数，1
[t≠i]
表示指示函数，t≠i为1，t＝i为0。
[0094]
步骤a70，串联所述第一序列集中各人体骨架序列的子序列对应的位置坐标序列的特征向量、速度坐标序列的特征向量，得到各子序列对应的最终特征表示；
[0095]
在本实施例中，串联子序列对应的位置坐标序列的特征向量、速度坐标序列的特征向量，形成该子序列的最终特征表示h
i
。
[0096]
步骤a80，基于所述最终特征表示，通过预构建的解码器得到重构后的子序列；基于重构后的子序列与其对应的原始子序列，通过预构建的重构损失函数获取重构损失；所述解码器基于多层神经网络构建；
[0097]
在本实施例中，基于多层神经网络构建解码器。将最终特征表示输入解码器，输出重构的子序列。基于重构子序列与其对应的原始子序列之间的平方误差，作为重构损失值。即重构损失函数用于计算重构子序列与其对应的原始子序列之间的平方误差，如公式(6)所示：
[0098][0099]
其中，l
rec
表示重构损失值，h
i
表示最终特征表示，x
i
表示重构后的子序列对应的原始子序列，d(
·
)表示解码器，d(h
i
)表示重构后的子序列。
[0100]
步骤a90，基于所述重构损失、所述对比损失，对第一编码器、第二编码器、解码器进行网络参数更新；更新后，循环步骤a10
‑
步骤a80，直至得到训练好的第一编码器、第二编码器。
[0101]
在本实施例中，同时最小化位置序列对比损失函数、速度序列对比损失函数和重构损失函数，训练学习第一编码器、第二编码器、解码器的权重参数，直至损失函数收敛至稳定状态。得到训练好的第一编码器、第二编码器。
[0102]
本发明中，位置序列对比损失函数与速度序列对比损失函数的权重系数相同，重构损失函数的权重系数不能偏离前两者的权重系数太大，一般可设置这三者权重系数相等。
[0103]
2、基于无监督学习的人体骨架序列行为识别方法
[0104]
步骤s10，获取一组待识别的人体骨架序列，作为输入序列集合；
[0105]
在本实施例中，先获取一组待识别的人体骨架序列。
[0106]
步骤s20，从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；
[0107]
在本实施例中，从待识别的人体骨架序列按时间顺序随机间隔抽取子序列并进行随机旋转、缩放的预处理，将预处理后的子序列作为第一序列。
[0108]
将输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对。
[0109]
步骤s30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；
[0110]
在本实施例中，提取子序列正负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，构建位置坐标序列正负样本对、速度坐标序列正负样本对。
[0111]
步骤s40，通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；
[0112]
在本实施例中，分别通过上述训练好的第一编码器、第二编码器分别提取位置坐标序列正负样本对中各位置坐标序列、速度坐标序列正负样本对中各速度坐标序列的特征向量。
[0113]
步骤s50，对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；
[0114]
在本实施例中，将各子序列对应的位置坐标序列特征向量、速度坐标序列特征向量进行串联，得到各子序列的最终特征表示。
[0115]
步骤s60，基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；
[0116]
在本实施例中，分类器为多分类分类器，通过最近邻或者逻辑斯蒂回归分类方法训练获取。
[0117]
基于最终特征表示，通过预训练的分类器得到所述待识别的人体骨架序列所属的行为类别。
[0118]
本发明为了验证无监督学习算法学到特征的有效性，采集有标签的骨架序列数据集，重新训练一个分类器，对分类器进行有监督学习，将其训练成可以识别多种行为类别的分类器，如图3所示。
[0119]
另外，为了证明本发明方法的有效性，在ntu rgb+d动作识别数据集上进行实验验证。ntu rgb+d动作识别数据集由56,880个动作样本、60个行为类别组成，包含每个样本的rgb视频、深度图序列、3d骨架数据和红外视频，此数据集由3个microsoft kinect v.2相机同时捕获，rgb视频的分辨率为1920
×
1080，深度图和红外视频均为512
×
424，3d骨架数据包含每帧25个主要身体关节的三维位置。实验中，随机采样的子序列长度为49，随机旋转角度在
‑
60～60度之间随机采样，缩放尺度在0.5～1.5之间随机采样，提出方法中的3个多层
神经网络(两个编码器、一个解码器)均采用三层双向递归神经网络，隐含层和输出层的维度均为1024，其他均采用标准实验设置。实验结果及对比数据如下，可以看到，我们提出的方法在无监督设置下是目前最好结果，而且也越来越接近当前最好的有监督方法。
[0120]
表1
[0121]
综上所述，本发明提出了一种无监督学习的人体骨架序列行为识别方法，本发明无需经过复杂的处理，可以直接通过大量无标签骨架序列样本学习到有效特征表示，进而在少量标记样本的监督下实现具有较高精度的行为识别任务，为未来的实际应用提供了算法条件。
[0122]
本发明第二实施例的一种基于无监督学习的人体骨架序列行为识别系统，如图2所示，包括：序列获取模块100、预处理模块200、序列提取模块300、特征向量获取模块400、串联模块500、行为识别模块600；
[0123]
所述序列获取模块100，配置为获取一组待识别的人体骨架序列，作为输入序列集合；
[0124]
所述预处理模块200，配置为从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；
[0125]
所述序列提取模块300，配置为提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；
[0126]
所述特征向量获取模块400，配置为通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；
[0127]
所述串联模块500，配置为对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；
[0128]
所述行为识别模块600，配置为基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；
[0129]
所述第一编码器、所述第二编码器基于多层神经网络构建。
[0130]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0131]
需要说明的是，上述实施例提供的基于无监督学习的人体骨架序列行为识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0132]
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于无监督学习的人体骨架序列行为识别方法。
[0133]
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于无监督学习的人体骨架序列行为识别方法。
[0134]
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0135]
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0136]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0137]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0138]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。