位置对识别结果的影响，需要对原始数据进行坐标归一化，具体操作为：以人体骨架的左右 髋关节节点和脊柱下端点（位于左右髋关节中心点正上方）构成的三角形的几何中心作为 新的坐标系原点：〇 = (Jhip _tOT+Jhipleft+JhipHght)/3,对于所述人体骨架运动序列中的各节 点坐标值进行平移，得到归一化后的人体骨架节点坐标值，其中，Jhip__te表示脊柱下端点 坐标值，几^^表示左髋关节节点的坐标值，?1__& 1?表示右髋关节节点的坐标值。
[0032] 步骤S3,对于归一化后的人体骨架运动序列进行滤波，以提高网络输入数据信噪 比；
[0033] 考虑到经典的人体骨架估计算法是基于单帧图像来估计人体的骨架节点坐标，其 精度通常不高，为了提高骨架节点轨迹的信噪比，同时避免复杂的预处理，本发明对于归一 化后的人体骨架运动序列进行滤波处理。
[0034] 在本发明一实施例中，采用简单的Savitzky-Golay五点三次平滑滤波器来对归 一化后的人体骨架运动序列数据进行平滑滤波，Savitzky-Golay五点三次平滑滤波器函数 表示为：
[0035] fi=(-3X/^,
[0036] 其中，&为第i时刻滤波器的输出，Xi= (Xi，yi，Zi)表示第i时刻骨架节点的坐标 值。
[0037] 步骤S4,根据人体物理结构，将所述人体骨架运动序列数据划分为M个部分，并将 其分别送入相应数量的并行的单隐含层双向递归神经网络中进行特征提取；
[0038] 在本发明一实施例中，根据人体的物理结构，结合人体运动的相对性，将所述人体 骨架运动序列数据中每一帧对应的数据分为五个部分：两条胳膊，两条腿和躯干，并将经过 滤波后的骨架节点坐标按照这五个部分依次排列，其中单个节点的x、y、z坐标分量也依次 进行排列。然后将分割好后的数据分别同步地送入五个并行的单隐含层双向递归神经网络 进行局部运动特征提取，需要说明的是，这里的"运动特征"是由自组织网络通过非线性映 射关系提取的，整个提取过程是自适应的，不需要任何先验知识，不同于传统的手工特征设 计，这里可以直观地认为每个子网络都是一个黑盒子，给定一个输入，就会对应一个输出， 对于输出中包含物理量，只能定性地估计应该是包含了低阶和高阶统计量。如图3所示，每 个单隐含层双向递归神经网络包含9个层，4个双向递归神经网络（BRNN)层（bli-bljd个 特征融合层（flrflj，一个全连接层（fc)和一个Softmax层，其中，BRNN层blfbh由具 有双曲正切激活函数（tanh)的神经元构成，BRNN层bl4由长短时记忆（LSTM)神经元构成。 假设单隐含层双向递归神经网络中第i个BRNN层（i= 1，2, 3)中第q个子网络的输入为 &，网络前向层和反向层的隐含状态分别为&和，则有：
【主权项】
1. 一种基于递归神经网络和人体骨架运动序列的行为识别方法，其特征在于，该方法 包括以下步骤： 步骤S1，从训练深度视频中估计得到人体运动对应的人体骨架运动序列； 步骤S2,对于所述人体骨架运动序列进行归一化； 步骤S3,对于归一化后的人体骨架运动序列进行滤波； 步骤S4,将所述人体骨架运动序列数据划分为M个部分，并将其分别送入相应数量的 并行的单隐含层双向递归神经网络中进行特征提取； 步骤S5,对于M个单隐含层双向递归神经网络在同一时刻的输出进行局部融合，得到N个序列值，输入到下一层N个并行的单隐含层双向递归神经网络中进行特征提取，提取得 至IJ的特征即为N个单隐含层双向递归神经网络的输出，其中，N〈M; 步骤S6,对于得到的新的特征重复步骤S5进行局部融合，直至得到一个关于整个人体 运动的序列值，并将其送入一个由LSTM神经元构成的双向递归神经网络，以得到对于人体 运动动态的表达； 步骤S7,将所述步骤S6得到的网络输出送入全连接层，并根据所述全连接层的输出得 到类属概率； 步骤S8,根据所述步骤S7中得到的类属概率的最大值来判定输入序列所述的类别； 步骤S9 :如所述步骤S1-S3所述，得到待识别深度视频的人体骨架运动序列，并对其进 行归一化和滤波； 步骤S10 :如所述步骤S4-S8所述，将归一化和滤波后的人体骨架运动序列送入层次化 双向递归神经网络，得到所述人体骨架运动序列的类属概率； 步骤S11 :根据所述步骤10得到的类属概率最大值判定所述待识别深度视频所属的行 为类别。
2. 根据权利要求1所述的方法，其特征在于，所述步骤S1还包括对于所述人体骨架运 动序列进行降采样的步骤。
3. 根据权利要求1所述的方法，其特征在于，所述步骤S2中的归一化为：以人体骨架 的左右髋关节节点和脊柱下端点构成的三角形的几何中心作为新的坐标系原点，对于所述 人体骨架运动序列中的各节点坐标值进行平移。
4. 根据权利要求1所述的方法，其特征在于，所述人体骨架运动序列数据中每一帧对 应的数据分为五个部分：两条胳膊，两条腿和躯干。
5. 根据权利要求1所述的方法，其特征在于，每个单隐含层双向递归神经网络包含9个 层：4个双向递归神经网络层个特征融合层（flfflj，一个全连接层（fc)和 一个Softmax层。
6. 根据权利要求5所述的方法，其特征在于，bli-bl3层由具有双曲正切激活函数的神 经元构成，bljg由长短时记忆神经元构成。
7. 根据权利要求1所述的方法，其特征在于，所述局部融合为：以M个部分中的其中一 个为中心，将M个单隐含层双向递归神经网络在同一时刻的输出进行串接。
8. 根据权利要求1所述的方法，其特征在于，所述类属概率表示为：
其中，C表示行为类别，p(Ck)表示当前输入骨架序列在所有C个类别中属于类别k的 概率，化表示全连接层第i个神经元的输出沿时间轴累加后的结果。
9. 根据权利要求1所述的方法，其特征在于，所述步骤S8还包括根据判定结果对于所 述神经网络进行优化的步骤。
10. 根据权利要求9所述的方法，其特征在于，采用的优化目标为最小化最大似然损失 函数-
其中，S( ?)为Kronecker函数，Q为整个训练样本集,r为样本\对应的行为类别，M为训练集Q中的样本总数。
【专利摘要】本发明公开一种基于递归神经网络的人体骨架运动序列行为识别方法，包括以下步骤：对已经提取好的人体骨架姿态序列中节点坐标进行归一化，以消除人体所处绝对空间位置对识别过程的影响，利用简单平滑滤波器对骨架节点坐标滤波以提高信噪比，最后将平滑后的数据送入一个层次化双向递归神经网络进行深度特征提取及识别，同时提供了一种层次化单向递归神经网络模型以应对实际中的实时在线分析需求。该方法主要优点是根据人体结构特征及运动的相对性，设计端到端的分析模式，在实现高精度识别率的同时避免复杂的计算，便于实际应用。该发明对于基于深度摄像机技术的智能视频监控、智能交通管理及智慧城市等领域具有重要意义。
【IPC分类】G06K9-00, G06N3-02
【公开号】CN104615983
【申请号】CN201510043587
【发明人】王亮, 王威, 杜勇
【申请人】中国科学院自动化研究所
【公开日】2015年5月13日
【申请日】2015年1月28日