基于人体骨架序列的行为与身份联合识别方法及装置与流程

本发明涉及计算机视觉技术领域，特别涉及基于深度学习的视觉领域，具体涉及一种基于人体骨架序列的行为与身份联合识别方法及装置。

背景技术

随着计算机图形视觉技的发展以及人机交互技术的发展，及时的将检测或监控到人物的行为动作、身份信息及时准确的显示出来，变得越来越重要。行为识别和身份识别在自动驾驶、人机交互、智慧城市、智能交通及智能监控等领域都有应用。

随着近几年的深度相机(比如，kinect)和高精度高效率的人体姿态估计算法的发展，基于人体骨架序列的行为识别越来越受欢迎。骨架序列直接反映了人体的运动，又具有输入数据小，没有背景干扰等优点。基于深度神经网络的方法，可以从原始的骨架序列中自动学习特征并识别行为；但是，忽略了基于人体骨架序列的身份识别。

一个人在时间上的动作序列既可以反映他的行为，也可以反映他的身份，比如，步态识别研究可以根据一个人走路的状态判断他的身份。但是，目前对于个人的行为和身份的识别为单独进行识别，无法利用同一动作序列同时识别行人的动作和行人的身份。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决在人体骨架数据识别中，不能同时对身份信息和行为动作识别的技术问题。为此目的，本发明提供了一种基于人体骨架序列的行为与身份联合识别方法及装置，以解决上述技术问题。

第一方面，本发明提供的基于人体骨架序列的行为与身份联合识别方法包括如下步骤：获取待识别人体的人体骨架序列；根据上述人体骨架序列，利用基于预先构建的识别模型，并根据上述人体骨架序列，预测每个预设的身份类别的概率和每个预设的行为类别的概率；根据所预测的身份类别的概率，判断上述待识别人体的身份类别；根据所预测的行为类别的概率，判断上述待识别人体的行为类别；其中，上述识别模型是基于深度递归神经网络构建的身份类别与行为类别概率预测模型。

进一步地，本发明提供的一个优选技术方案中，在“基于预先构建的识别模型，并根据上述人体骨架序列，预测每个预设的身份类别的概率和每个预设的行为类别的概率”的步骤之前，上述方法还包括：基于预设的参考坐标系，对预设的人体骨架序列训练样本进行坐标转换，得到第一参考骨架序列；获取预设的人体中心点在上述第一参考骨架序列对应的每个时刻的位置坐标；将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列；根据预设的旋转角度，对上述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列；根据上述第三参考骨架序列，获取每个上述关节点的坐标变化特征；对所获取的坐标变化特征进行融合，得到特征序列；基于预设的模型损失函数，并根据上述特征序列对上述识别模型进行模型训练。

进一步地，本发明提供的一个优选技术方案中，在“将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列”的步骤之前，上述方法包括：获取人体骨架的多个预设的中心点的坐标；根据所获取的坐标，计算多个上述中心点的坐标均值；在此情况下，“将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列”的步骤是将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的中心点的坐标均值相减，得到第二参考骨架序列。

进一步地，本发明提供的一个优选技术方案中，“根据预设的旋转角度，对上述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列”的步骤包括：利用如下变换公式对各关节节点进行三维坐标变换：

r＝rz(γ)ry(β)rx(α)

其中，r为三维旋转变换矩阵，rx(α)，ry(β)，rz(γ)为x，y，z三个坐标轴方向的旋转矩阵，其形式如下：

α，β，γ为x，y，z三个坐标轴方向的旋转角度。

进一步地，本发明提供的一个优选技术方案中，“对所获取的坐标变化特征进行融合，得到特征序列”的步骤包括：将坐标变换后的每一时刻的各个上述关节点的坐标连接成一个特征向量，得到特征序列。

进一步地，本发明提供的一个优选技术方案中，上述模型损失函数如下式所示：

l＝λl⁽¹⁾+(1-λ)l⁽²⁾

其中，λ为预设的加权系数，0≤λ≤1，l⁽¹⁾和l⁽²⁾分别是对行为识别和身份识别对应的损失函数：

其中，为第n个样本的行为和身份的类别标签，n为总样本数目；

“基于预设的模型损失函数，并根据上述特征序列对上述识别模型进行模型训练”的步骤包括：根据上述第三参考骨架序列，并利用bptt算法对上述识别模型进行模型训练。

进一步地，本发明提供的一个优选技术方案中，上述中心点包括左髋节的中心点、右髋节的中心点和髋部的中心点，或者上述中心点包括左肩节的中心点、右肩节的中心点和胸部的中心点。

进一步地，本发明提供的一个优选技术方案中，上述深度递归神经网络是多层双向递归神经网络或单向递归神经网络；上述多层双向递归神经网络包括多个长短时记忆网络。

进一步地，本发明提供的一个优选技术方案中，上述识别模型的网络结构中的全连接层包括第一全连接层和第二全连接层；上述第一全连接层用于根据上述人体骨架序列，预测每个预设的行为类别的概率；上述第二全连接层用于根据上述人体骨架序列，预测每个预设的身份类别的概率。

第二方面，本发明提供的一种存储装置，上述存储装置承载有一个或者多个程序，上述程序适于由处理器加载并执行，当上述一个或者多个程序被该装置执行时可以是实现上述技术方案所述的基于人体骨架序列的行为和身份联合识别方法。

第三方面，本发明提供的一种处理装置包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；其中，上述程序适于由处理器加载并执行以实现上述技术方案所述的基于人体骨架序列的行为和身份联合识别方法。

与最接近的现有技术相比，上述技术方案至少具有如下有益效果：

本发明提供的基于人体骨架序列的行为与身份联合识别方法，通过预先构建的识别模型对待识别的人体骨架序列进行身份类别概率和行为类别的概率的预测，并根据所预测的身份类别的概括了和行为类别的概率判断出对应于该人体骨架序列的人体的身份信息各行为动作，实现对于人体骨架序列的身份与行为的联合识别；多层双向递归神经网络的使用，提高了身份类别的概率和行为类别的概率的预测精度。

附图说明

图1是本发明实施例中一种基于人体骨架序列的行为与身份联合识别的主要步骤示意图；

图2是本发明实施例中识别模型神经元的网络结构示意图；

图3是本发明实施例中识别模型的双向递归神经网络的主要结构示意图；

图4是本发明实施例中利用识别模型识别人体骨架序列对应人体的行为动作和身份信息的示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

参阅附图1，图1示例性示出了本实施例中一种基于人体骨架序列的行为与身份联合识别的主要步骤。该基于人体骨架序列的行为与身份联合识别方法，包括以下步骤：

步骤1，获取待识别人体的人体骨架序列。

在本实施例中，可以应用基于人体骨架序列的行为和身份联合识别方法的电子设备或应用平台，获得待进行行为识别和身份验证的人体骨架序列。可以从与上述电子设备或应用平台连接的终端设备获得人体骨架序列；具体地，上述终端设备可以通过与其连接的kinect传感器获得识别区域内人物的人体骨架的骨架数据。上述人体骨架序列为同一人按照时间顺序的人体骨架的骨架数据序列。

上述骨架数据可以是kinect传感器所检测到的人体的图像数据，上述kinect传感器所检测到每帧图像数据可以是表述上述人体的躯干和各关节点的数据；上述骨架数据中包括上述人体骨架的关节点坐标。

步骤2，基于预先构建的识别模型，并根据上述人体骨架序列，预测每个预设的身份类别的概率和每个预设的行为类别的概率。

本实施例中，基于步骤1中所获取的人体骨架序列，上述电子设备或应用平台利用预先构建的识别模型对上述人体骨架序列进行识别，预测每个预设的身份类别的概率和每个预设的行为类别的概率。这里，上述识别模型可以是基于深度递归神经网络构建的模型身份类别与行为类别概率的预测模型，例如可以是siamese网络模型，利用siamese网络模型完成待检测人体骨架序列的身份验证和行为动作识别。上述识别模型输入为人体骨架数据的序列，输出为所输入的人体骨架序列所对应人体的身份类别的概率和行为类别的概率。上述电子设备或应用平台的存储单元或数据库中预先存储有人体的身份信息、行为动作信息。具体地，可以为上述识别模型预测上述人体骨架序列对应上述预先存储的人体的身份信息中各身份类别的概率；上述识别模型预测上述人体骨架序列对应上述预先存储的人体的行为动作中各个动作的行为类别的概率。

步骤3，根据所预测的身份类别的概率，判断所述待上述人体的身份类别；根据所预测的行为类别的概率，判断上述待识别人体的行为类别。

在本实施例中，根据上述步骤2中所预测的身份类别的概率和行为类别的概率，可以依据概率的大小判断上述人体骨架序列对应人体的身份类别，以及判断上述人体骨架序列对应人体的行为类别。上述身份类别可以是区分人体身份的信息，上述行为类别可以是区分人体行为动作的信息。

进一步地，本实施例提供的一个优选技术方案中，在“基于预先构建的识别模型，并根据上述人体骨架序列，预测每个预设的身份类别的概率和每个预设的行为类别的概率”的步骤之前，上述方法还包括：基于预设的参考坐标系，对预设的人体骨架序列训练样本进行坐标转换，得到第一参考骨架序列；获取预设的人体中心点在上述第一参考骨架序列对应的每个时刻的位置坐标；将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列；根据预设的旋转角度，对上述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列；根据上述第三参考骨架序列，获取每个上述关节点的坐标变化特征；对所获取的坐标变化特征进行融合，得到特征序列；基于预设的模型损失函数，并根据上述特征序列对上述识别模型进行模型训练。

上述预先构建的识别模型的训练方法包括：将训练用的人体骨架序列的坐标转换到参考坐标系下，得到参考骨架序列；对上述参考骨架序列的各参考骨架的各关节节点坐标与预先指定的中心点的坐标比较，得到各上述参考骨架的各关节节点的相对坐标；对各上述关节节点的相对坐标进行三维坐标变换，并将经三维坐标变换后的上述参考骨架序列作为训练数据，对初始的识别模型进行训练，得到优化后的识别模型。

上述对样本数据进行预处理，还包括对人体骨架序列中的各骨架数据进行坐标绝对处理，即，对一个骨架序列不同时间的所有关键点的坐标，减去相对应时间的坐标的均值得到各个关节节点坐标。

具体地，上述数据预处理中，如果上述人体骨架序列是基于图像平面坐标系，且已知相机参数，可以通过计算相机变换矩阵进行坐标系转化；如果相机参数未知，就对平面二维的坐标增加一个数值为1的维度，并处理后的三维坐标做尺度变换，使得x，y，z的坐标的数值在预定范围内；优选地，x，y，z的坐标的数值在[-3,3]的范围内。

上述三维坐标变换可以为利用预设的旋转变换矩阵对上述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列。

进一步地，本实施例提供的一个优选技术方案中，在“将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列”的步骤之前，上述方法包括：获取人体骨架的多个预设的中心点的坐标；根据所获取的坐标，计算多个上述中心点的坐标均值；在此情况下，“将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的人体骨架坐标均值相减，得到第二参考骨架序列”的步骤是将上述第一参考骨架序列中每个时刻对应的关节点的位置坐标与相应的中心点的坐标均值相减，得到第二参考骨架序列。

具体地，上述中心点包括左髋节的中心点、右髋节的中心点和髋部的中心点，或者上述中心点包括左肩节的中心点、右肩节的中心点和胸部的中心点。

进一步地，本实施例提供的一个优选技术方案中，“根据预设的旋转角度，对上述第二参考骨架序列进行三维坐标变换，得到第三参考骨架序列”的步骤包括：

在本实施例的一些可选的实现方式中，上述“对各上述关节节点的相对坐标进行三维坐标变换”的步骤包括利用如下变换公式对各关节节点进行三维坐标变换变换：

r＝rz(γ)ry(β)rx(α)(1)

其中，rx(α)，ry(β)，rz(γ)为x，y，z三个坐标轴方向的旋转矩阵，其形式如下：

上式中，r为三维旋转变换矩阵，α，β，γ为x，y，z三个坐标轴方向的旋转角度。上述三维变换为旋转矩阵，用于三维变换的旋转矩阵r只依赖于三个参数α，β，γ。当上述参数α，β，γ的数值都为0时，上述旋转矩阵r为单位矩阵，相当于没有做坐标变换。在进行识别模型训练时，随机生成α，β，γ的数值，随机生成的范围根据任务而定，比如，对于跨视角的识别中，可以设定α∈[-π/2，π/2]，β∈[-π/2，π/2]，γ＝0。

进一步地，一个优选技术方案中，上述“对所获取的坐标变化特征进行融合，得到特征序列”的步骤包括：对上述不同关节点的坐标变化特征进行连接，得到特征序列。

对模型基于坐标变换后的特征序列所学习到的描述动作的特征在时间维度上做融合，得到描述运动的向量，并作为网络中两个全连接层的输入。上述坐标变化特征进行融合的方法可以采用最大池化法(maxpooling)或平均池化法(meanpooling)实现。

进一步地，一个优选技术方案中，上述预设的模型损失函数如下式所示：

l＝λl⁽¹⁾+(1-λ)l⁽²⁾(5)

其中，λ为预设的加权系数，0≤λ≤1，l⁽¹⁾和l⁽²⁾分别是对行为识别和身份识别对应的损失函数，l⁽¹⁾和l⁽²⁾可表示为：

其中，中为第n个样本的行为和身份的类别标签，n为总样本数目；

“基于预设的模型损失函数，并根据上述特征序列对上述识别模型进行模型训练”的步骤包括：根据上述第三参考骨架序列，并利用bptt算法对上述识别模型进行模型训练。上述bptt算法为基于时序的反向传播算法，为back-propagationthroughtime的缩写。

进一步地，在本实施例的一个优选技术方案中，上述深度递归神经网络是多层双向递归神经网络或单向递归神经网络；上述多层双向递归神经网络包括多个长短时记忆网络。

在本实施例的一些可选的实现方式中，上述识别模型基于深度递归神经网络构建。上述识别模型可以采用多层双向递归神经网络，其中，上述递归神经网络可以采用短时记忆网络(long-shorttermmemory，lstm)。

参阅附图2，图2示例性示出了本实施例中一种识别模型神经元的网络结构。如图2所示，在识别模型神经元的网络结构中，给定输入序列{xt}，长短时记忆网络的输出序列为{ht}，长短时记忆网络的迭代过程如下所示：

it＝σ(wxixt+whiht-1+wcict-1+bi)(7)

ft＝σ(wxfxt+whfht-1+wcfct-1+bf)(8)

ct＝ftct-1+ittanh(wxcxt+whcht-1+bc)(9)

ot＝σ(wxoxt+whoht-1+wcoct+bo)(10)

ht＝ottanh(ct)(11)

其中，it，ft，ot，ct分别表示输入控制门(inputgate)、遗忘门(forgetgate)、输出控制门(outputgate)和记忆单元(cell)在时间t的状态，w，b分别表示连接权重和偏置向量。

进一步地，在本实施例的一个优选技术方案中，上述深度递归神经网络是多层双向递归神经网络或单向递归神经网络；上述多层双向递归神经网络包括多个长短时记忆网络。

参阅附图3，图3示例性示出了本实施例中一种识别模型神经元的双向递归神经网络的主要结构。如图3所示的双向递归网络的网络结构中，应用于本识别模型的双向递归网络的网络结构如图3所示，对于一个输入的人体骨架序列，网络有两个隐含层：前向层和反向层，分别学习输入序列的在时间上的两个相反方向的变化特性。双向递归神经网络的输出是把前向层和反向层的在同一个时间上的输出连接起来，形成一个新的时间序列。

在本实施例的一些可选的实现方式中，上述识别模型的网络结构中的全连接层包括第一全连接层和第二全连接层，上述第一全连接层用于根据上述人体骨架序列，预测每个预设的行为类别的概率，从而进行人体动作行为的识别，上述第二全连接层用于根据上述人体骨架序列，预测每个预设的身份类别的概率，进而进行人体身份的识别。

这里，进行分类的全连接层包括两个全连接层，需要对深度递归神经网络学习到的特征在时间维度上做融合，得到这个序列的表示。融合方法采用最大池化(maxpooling)或平均池化(meanpooling)。记{ot}为多层双向递归神经网络的输出，t∈{1，2，...，t}，t表示序列长度，最大池化的输出为max{ot}，平均池化的输出为∑ot/t。

上述第一全连接层的隐含层的节点数为待识别行为的数目，通过激活函数的如下类属概率的最大值判定输入序列所属行为类别：

其中，ai为全连接层的输出，行为的类别数为m，pi为第i种行为类别的预测概率。

上述第二全连接层的隐含层的节点数为待识别身份的数目，通过激活函数的如下类属概率的最大值判定输入序列所属身份类别：

其中，bj为全连接层的输出，身份的类别数为n，qj为第i种身份类别的预测概率。

可以理解，上述待识别行为可以预先设置，行为类别的数目可以由实际任务决定；其中，每个动作对应一个行为类别。上述身份的信息可以预先设置，身份类别的数目可以由实际任务中待识别的人体的数目决定；其中，每个人体对应一个身份类别。

作为示例，参阅附图4，图4示例性示出了本实施例中利用识别模型识别人体骨架序列对应人体的行为动作和身份信息的示意图。如图4所示，人体骨架序列输入识别模型后，识别出人体的行为和身份。其中，识别模型经数据预处理、三维坐标变换、深度递归神经网络和分类预测联合识别出人体的行为动作和身份信息。这里，预先设有60个行为类别，40个身份类别；根据人体骨架序列，利用上述识别模型，可以识别出60个行为动作和40个身份不同的人。

本发明还提供了一种存储装置，上述存储装置承载有一个或者多个程序，上述程序适于由处理器加载并执行，当上述一个或者多个程序被该装置执行时可以是实现上述实施例中的任一方法。

本发明还提供了一种处理装置，该处理装置包括处理器，适于执行各条程序；以及存储设备，适于存储多条程序；其中，上述程序适于由处理器加载并执行以实现上述实施例中的任一方法。

本发明上述实施例所提供的方法通过预先构建的识别模型对人体骨架序列进行识别，识别出人体的行为动作和身份信息。本发明中，识别模型的全连接层包括用于身份识别的全连接层以及用于行为识别的全连接层，识别模型的递归神经网络对学习到的特征在时间维度上作融合，识别模型可以同时预测人体骨架序列的行为类别的概率和人的身份类别的概率，根据上述所预存的概率判断出人体的身份类别和行为类别。因此，应用本发明提供的方法可以快速、准确识别出人体骨架序列对应人体的身份信息和行为动作。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。