一种基于Kinect的在线连续人体行为识别方法与流程

本发明涉及一种智能人机交互、智能机器人技术领域，具体是一种基于Kinect的在线连续人体行为识别方法。

背景技术：

21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感。已知的绝大部分人体行为识别算法都是针对已经根据行为类别分割好的数据序列进行的，严格的来说是进行人体行为分类，而非人体行为识别。尽管有若干人体行为识别算法是针对连续的人体行为序列进行的，但这些方法仍是“先检测每种行为的开始和终止时间点以实现人体行为分割，在进行人体行为识别”。针对上述问题，本发明旨在提出一种不需要事先进行人体行为分割且可以直接在连续的且包含多种人体行为的数据序列上进行人体行为识别的在线连续人体行为识别方法。

技术实现要素：

本发明的目的在于提供一种以从Kinect采集到的连续RGB-D图像中提取到的人体骨架信息为基础，对该数据序列中包含的多种人体行为进行在线识别的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线的人体行为识别，包括具体以下步骤：

(1)本发明包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行人体行为的识别；

(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；

(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个步骤，最终实现对每一个特征片段的人体行为识别；

(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；

(5)在线分割过程中计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；

(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；

(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配操作，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；

(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。

作为本发明进一步的方案：所述步骤1中，模型训练过程是针对每种人体行为分别进行的；而在线连续人体行为识别过程是针对连续图像序列在线进行的，图像序列中包含的人体行为的种类、个数、以及每种人体行为的起始和终止时间点都是未知的。

作为本发明再进一步的方案：所述步骤2中，需要在得到每种行为的由在线分割算法计算出的全部特征片段后再利用聚类算法提取关键姿态和原子动作。

作为本发明再进一步的方案：所述步骤3中，当利用在线分割算法计算得到一个新的特征片段后，并不对该片段进行聚类操作，而是利用在线模式匹配算法计算该特征片段被识别成各类行为的各个关键姿态或原子动作的似然概率，然后在基于计算得到的似然概率利用变长最大熵马尔科夫模型分类算法对该特征片段进行人体行为识别。

作为本发明再进一步的方案：所述步骤4中，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：

式中，L_i和L_j为关节点i和关节点j在世界坐标系内的三维坐标向量，||.||为欧式距离算子。

作为本发明再进一步的方案：所述步骤5中，特征序列的势能和势差的计算方式分别为：

E_p(i)＝||F_i-F_r||²

E_d(i)＝E_p(i)-E_p(i-1)

式中，F_i为第i帧归一化相对方位特征向量，F_r为参考帧的归一化相对方位特征向量，E_p(i)为第i帧特征向量的势能，E_d(i)为第i帧特征向量的势差。另外，令E_min为预设的阈值，定义势差的符号为：

则所述步骤5中的在线分割算法是根据特征序列的势差符号进行特征片段分割的，每个特征片段内的特征向量都具有相同符号的特征向量势差。

作为本发明再进一步的方案：所述步骤6中，利用高斯混合模型(GMM)算法从姿态特征片段中聚类得到关键姿态，从与每两个关键姿态关联的动作特征片段中分别提取“半山腰-波峰-半山腰”或“半山腰-波谷-半山腰”三个有序特征向量，构成与该两个关键姿态关联的原子动作。

作为本发明再进一步的方案：所述步骤7中，在对特征片段进行在线模式匹配时是基于该特征片段与每种行为的关键姿态或原子动作的欧式距离进行似然概率的计算的。

作为本发明再进一步的方案：所述步骤8中，基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别，分别计算出该特征片段被识别成每种行为的总概率，识别结果为总概率显著的那种人体行为。

与现有技术相比，本发明的有益效果是：本发明提出了一种基于Kinect的在线连续人体行为识别方法，本方法无需先对连续数据序列中每种人体行为的开始和结束时间点进行检测，可以对在线分割算法分割得到的特征片段直接进行人体行为识别，识别结果是以特征片段为基本单位的；本方法利用变长最大熵马尔科夫模型进行人体行为识别，变长特征不但可以保证相似人体行为间的可识别性，而且可以保证差异较大的人体行为的快速识别；本方法是以人体骨架数据为基本数据，以特征片段为单位进行人体行为识别，执行效率高，可以实现在线实时执行。

附图说明

图1为本发明的算法流程图

图2为本发明中人体各关节的归一化相对方位特征示意图。

图3为本发明中某特征向量序列的势差示意图。

图4为本发明中连续人体行为的特征向量序列的在线分割结果示意图。

图5为传统的最大熵马尔科夫模型示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～5，本发明提出的基于Kinect的在线连续人体行为识别方法，算法流程如图1所示，具体特征提取、在线分割、关键姿态和原子动作的提取、在线模式匹配、以及基于变长最大熵马尔科夫模型的分类的实现过程，按照以下步骤实施：

a)特征提取

一般情况下，传统的姿态特征表征方法计算人体各个关节点相对于躯干中心节点或髋中心节点的，本发明采用的归一化相对方位特征充分考虑了人体各个关节的实际运动模型，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，如图2中⑥所示的左肘关节的归一化相对方位特征是相对于左肩进行计算的，计算方式为：

式中，L_i和L_j为关节点i和关节点j在世界坐标系内的三维坐标向量，||.||为欧式距离算子。本发明的特征提取过程对全身各个关节的特征分别进行提取，如图2中所示的特征，然后把这些特征组合成一个特征向量来表征人体全身的姿态特征，该特征向量的维度为3×19＝57。

b)在线分割

定义S＝(F₁,F₂,...,F_i,...)为归一化相对方位特征序列，其中F_i特征向量包含了a)中涉及到的19个归一化特征向量，因此F_i特征向量的维度为57。定义特征向量的势能为：

E_p(i)＝||F_i-F_r||²

定义特征向量F_i的势差为：

E_d(i)＝E_p(i)-E_p(i-1)

进一步定义特征向量F_i的势差E_d(i)的符号为：

其中，E_min为预设的阈值。根据上述定义，如果一个特征片段中所包含的所有特征向量的势差的符号都为S_i＝0，则该特征片段可以被标记为姿态特征片段；相应地如果一个特征片段中所包含的所有特征向量的势差的符号都为S_i＝1或S_i＝-1，则该特征片段可以被标记为动作特征片段。

基于上述准则，特征向量序列的在线分割过程可以描述如下：

运用上述在线分割算法，对公开数据集CAD-60中喝水动作特征向量序列的势差结果示意图如图3所示，对公开数据集CAD-60中四种行为的连续特征向量序列的在线分割结果如图4所示。其中，横直线部分表示姿态特征片段，曲线部分表示动作特征片段，上方垂直点线表示姿态特征片段的分界线，下方垂直虚线表示每种行为之间的分界线。由图4也可以看出不同行为间的分界线也刚好是不同特征片段的分界线。只要把每个特征片段都能正确识别出其行为类别，则整体的连续人体行为识别就可以得到精确的识别结果。

c)关键姿态和原子动作的提取

在模型训练过程中，对每种行为的数据序列进行特征提取，然后利用在线分割算法提取姿态特征片段和动作特征片段。当姿态特征片段和动作特征片段都分割完毕后，可以利用聚类算法进行关键姿态和原子动作的提取。

对于所有的姿态特征片段，利用高斯混合模型进行关键姿态的提取，关键姿态的个数为K_p。对于人体行为类别c，当其关键姿态被提取到之后，对其每一个姿态特征片段利用最近邻算法进行标记，即利用关键姿态对每一个姿态特征片段进行标记，得到标记序列{L(s)∈[1,...,K_p]|s＝1,2,...}。然后，基于统计结果计算每两个关键姿态之间的转移概率，即

原子动作的提取和关键姿态有关。从图3中也可以看出，动作特征片段位于两个姿态特征片段之间，原子动作表征的是两个关键姿态之间的变化过程。令s＝1,2,...为姿态特征片段的序号，则动作特征片段s位于姿态特征片段(s-1)和s之间。原子动作的提取过程可以总结如下：

1)对每一个姿态特征片段利用最近邻算法进行标记，每个姿态特征片段的左半片段被标记为右半片段被标记为需要指出的是，由于E_min大于0，因此不一定L_lhalf(s)＝＝L_rhalf(s)。

2)把符合条件L_rhalf(s-1)＝a和L_lhalf(s)＝b的动作特征片段聚类到同一个动作特征聚簇中MC(a,b),a∈(1,2,...,K_p),b∈(1,2,...,K_p)。

3)从每一个动作特征聚簇MC(a,b)中提取原子动作。每个原子动作由三个有序特征向量组成，即“半山腰-波峰-半山腰”或“半山腰-波谷-半山腰”三个有序特征向量，如图3中L、P、R指示的三个位置的特征向量。如果聚簇MC(a,b)中包含多个动作特征片段，则最终的原子动作为从每个片段中提取到的有序特征向量的均值。原子动作的最大个数为K_p×K_p。

d)在线模式匹配

在线模式匹配过程实际上是计算当前特征片段被识别成每个关键姿态或原子动作的似然概率的过程。假设该数据序列中最多包含C类不同的人体行为，则姿态特征片段s被识别成人体行为c的各个关键姿态的似然概率为：

其中为姿态特征片段s中的第i个特征向量，该片段中特征向量的个数为N_s，为第c类人体行为的第k个关键姿态，PDist_s(c,k)为姿态特征片段s与第c类人体行为的第k个关键姿态之间的欧式距离，为姿态特征片段s被识别成第c类人体行为的第k个关键姿态的似然概率。

类似地，动作特征片段s被识别成第c类人体行为的第＜k₁,k₂＞个原子动作的似然概率为：

其中，MV_s为动作特征片段s的由三个有序特征向量组成的运动向量，如图3中的L、P、R所示。是与第c类人体行为的第k₁和第k₂个关键姿态关联的原子动作，N_s为动作特征片段的特征向量的帧数，N_mv＝3为每个原子动作包含的帧数。MDist_s(c,k₁,k₂)为欧式距离，为动作特征片段s被识别成第c类人体行为中与第k₁和第k₂个关键姿态关联的那个原子动作的似然概率。

e)基于变长最大熵马尔科夫模型的分类算法

图5展示了传统的最大熵马尔科夫模型的示意图，为图5展示的最大熵马尔科夫模型对应的最大概率，其中属于第c个类别的某一个子类。本发明提出的变长最大熵马尔科夫模型不直接计算P_1:n(c)，其具体过程如下所示：

令表示第n-l+1个到第n个特征片段中包含的全部特征向量，表示第s个动作特征片段中包含的特征向量，表示第s个姿态特征片段中包含的特征向量。则上述算法流程中的概率P_n-l+1:n(c)可以计算如下：

其中为第c类人体行为的关键姿态之一。根据最大熵马尔科夫原理，联合概率密度可以计算如下：

根据贝叶斯原理，可以得出

假设在给定的的情况下独立于和则可以得出

关键姿态转移概率在第c)步的关键姿态和原子动作的提取步骤中计算得到。概率可以计算如下：

为了保证在线人体行为识别算法的实时性，在线分割算法把较长的姿态特征片段分割成短的姿态特征片段，因此存在若干个连续相邻的姿态特征片段，如图4中所示。在此种情况下，为空，上式退化为：

综上，计算联合概率所需的和于在线模式匹配过程中计算得到，关键姿态转移概率于模型训练过程的关键姿态和原子动作的提取过程中计算得到。至此，本发明提出的基于变长最大熵马尔科夫模型的分类算法的具体执行过程描述完毕。

综上所述，本节步骤a)～e)中已经分别详细地描述了本发明所包含的几个关键步骤的具体执行过程，图1中也展示了本发明的模型训练和在线连续人体行为识别两个阶段的详细算法流程，因此这里不再文字赘述每个阶段的详细过程。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。