基于递归神经网络和人体骨架运动序列的行为识别方法
【技术领域】
[0001] 本发明涉及计算机视觉、模式识别和神经网络技术领域，特别涉及一种利用递归 神经网络实现端到端的基于人体骨架运动序列的行为识别方法。
【背景技术】
[0002] 随着人工智能技术的发展，智能机器人，如谷歌的无人驾驶汽车、百度的无人驾驶 自行车等，即将走入人们的生活，以及智慧城市、智能交通及智能监控领域等，这些都需要 计算机对人的行为进行自动分析。近年来，深度摄像技术结合高精度的人体骨架估计算法， 可以提供人体运动过程对应的骨架运动信息，基于骨架运动序列可以进行精确的行为识 别。
[0003] 当前基于骨架节点的行为识别算法主要是在手工特征提取的基础上设计分类器 来实现行为识别，其中运动动态信息的手工提取非常麻烦，不利于实际应用。而且，传统方 法的训练及测试多是在小数据集上进行，当数据量增大时，其整体计算复杂度对于一般的 硬件条件将难以承受，难以发挥基于骨架的行为识别在实际应用中的价值。
【发明内容】
[0004] 为了解决上述现有技术中存在的问题，本发明的目的是提供一种端到端的基于递 归神经网络和人体骨架运动序列的行为识别方法，不需要复杂的处理，即可根据人体骨架 运动序列对其行为进行识别。
[0005] 本发明提出的一种利用递归神经网络解决基于骨架节点的行为识别方法包括以 下步骤：
[0006] 步骤S1，从训练深度视频中估计得到人体运动对应的人体骨架运动序列；
[0007] 步骤S2,对于所述人体骨架运动序列进行归一化；
[0008] 步骤S3,对于归一化后的人体骨架运动序列进行滤波；
[0009] 步骤S4,将所述人体骨架运动序列数据划分为M个部分，并将其分别送入相应数 量的并行的单隐含层双向递归神经网络中进行特征提取；
[0010] 步骤S5,对于M个单隐含层双向递归神经网络在同一时刻的输出进行局部融合， 得到N个序列值，输入到下一层N个并行的单隐含层双向递归神经网络中进行特征提取，提 取得到的特征即为N个单隐含层双向递归神经网络的输出，其中，N〈M;
[0011] 步骤S6,对于得到的新的特征重复步骤S5进行局部融合，直至得到一个关于整个 人体运动的序列值，并将其送入一个由LSTM神经元构成的双向递归神经网络，以得到对于 人体运动动态的表达；
[0012] 步骤S7,将所述步骤S6得到的网络输出送入全连接层，并根据所述全连接层的输 出得到类属概率；
[0013] 步骤S8,根据所述步骤S7中得到的类属概率的最大值来判定输入序列所述的类 别；
[0014] 步骤S9 :如所述步骤S1-S3所述，得到待识别深度视频的人体骨架运动序列，并对 其进行归一化和滤波；
[0015] 步骤S10 :如所述步骤S4-S8所述，将归一化和滤波后的人体骨架运动序列送入层 次化双向递归神经网络，得到所述人体骨架运动序列的类属概率；
[0016] 步骤S11 :根据所述步骤10得到的类属概率最大值判定所述待识别深度视频所属 的行为类别。
[0017] 本发明方法的主要优点是根据人体结构特征及运动的相对性，设计端到端的分析 模式，在实现高精度识别率的同时避免复杂的计算，便于实际应用。近年来随着深度摄像技 术的发展，可以很容易地获取人体运动的深度图像序列，同时结合高精度的骨架估计算法， 可以轻易获取人体骨架运动序列，基于这些序列，可以实现高精度的行为识别，对智能视频 监控、智能交通管理及智慧城市建设等具有重要意义。
【附图说明】
[0018] 图1是本发明基于递归神经网络和人体骨架运动序列的行为识别方法流程图。
[0019] 图2是利用一种常用的人体骨架估计算法得到的骨架节点含义及其所对应的人 体位置示意图。
[0020] 图3是本发明基于递归神经网络和人体骨架运动序列的行为识别方法的模型框 架示意图。
[0021] 图4是本发明一实施例采用的一种特殊神经元一长短时记忆神经元（Long-Short TermMemory)的结构不意图。
[0022] 图5是本发明一实施例采用的双向递归神经网络（BidirectionalRecurrent NeuralNetwork，BRNN)的结构不意图。
[0023] 图6是用于证明本发明有效性的三个数据库所提供的人体骨架节点及四肢和躯 干划分示意图，三个数据库为MSRAction3D、BerkeleyMHAD和HDM05。
【具体实施方式】
[0024] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0025] 图1是本发明基于递归神经网络和人体骨架运动序列的行为识别方法流程图， 如图1所示，所述行为识别方法包括训练和识别两个过程，整个行为识别模型包含9个网 络层，其中包括4个BRNN层个特征融合层（fl「fl3)，一个全连接层和一个 Softmax层，另外，将其中的双向递归神经网络（BRNN)替换为单向递归神经网络，便构成单 向层次化递归神经网络，其可用于基于人体骨架运动序列的实时在线行为识别。
[0026] 所述训练过程可以描述为：对于已经提取得到的人体骨架序列进行适当降采样， 再经节点坐标归一化和滤波之后，送入层次化递归神经网络进行模型训练，使网络在有监 督情况下自主学习人体行为骨架运动特征的层次化表达。所述识别过程可以描述为：对于 新的人体骨架运动序列，对其进行坐标归一化和滤波（当原始数据精度较高时无需平滑滤 波处理）之后，送入所述层次化递归神经网络进行分析，即可得到新的人体骨架运动序列 所属的行为类别。
[0027] 具体地，所述训练过程进一步包括以下步骤：
[0028]步骤S1，从训练深度视频中估计得到人体运动对应的人体骨架运动序列，其中，所 述人体骨架运动序列由不同时刻的人体骨架节点坐标值组成，这些骨架节点运动信息可以 由运动捕获系统从训练深度视频中直接获取，也可以利用人体骨架估计算法从训练深度视 频中提取得到。当采用人体骨架估计算法获取人体骨架节点坐标时，算法的设置不同，估计 得到的人体骨架所包含的节点数目也不尽相同，其中一种常用的设置包含20个节点，即： 头部，左右肩膀，左右肩膀中心点，左右肘关节，左右腕关节，左右手掌，脊柱中心点，脊柱下 端点，左右散关节，左右膝关节，左右踩关节，以及左右脚掌，如图2所不。也就是说，人体骨 架运动序列的获取属于现有技术，本发明对其不再赘述。但需要注意的一点是，训练样本越 多，最终训练得到的模型性能也就越强。
[0029] 在本发明一实施例中，为了在不影响识别算法正确率的情况下减少运算量，所述 步骤1还对于所述人体骨架运动序列进行降采样，需要注意的是，经过降采样后的帧率最 好不低于15帧每秒。另外，所述人体骨架运动序列的序列长度需要保证能够准确地反映对 应运动的特征信息。
[0030] 步骤S2,对于所述人体骨架运动序列进行归一化，以消除人体所处绝对空间位置 变动对识别结果的影响；
[0031] 考虑到通常得到的人体骨架节点坐标采用的是屏幕坐标系或是数据提供者自行 设定的空间坐标系，而人的行为独立于其所处的绝对空间位置，因此，为了消除人所处屏幕