一种基于高斯过程隐变量模型的人体动作识别方法
【专利摘要】本发明请求保护一种基于高斯过程隐变量模型和隐条件随机场的判别式人体动作识别方法，主要包括以下三个部分：在获取运动数据方面，通过动作捕捉技术或Kinect体感技术获取人体的骨骼结构和运动信息；在提取运动特征方面，采用加入动态过程和稀疏近似的高斯过程隐变量模型来得到高维运动信息在低维隐空间中的流行结构，以表示运动特征；在人体动作识别方面，利用判别式的隐条件随机场对时序运动数据的特征进行建模，并对动作进行分类。本发明不仅可以实现人体运动特征的可视化，还可以有效利用运动时序数据之间的信息，对人体运动进行高精度识别，适用于人体动作的实时识别领域。
【专利说明】
一种基于高斯过程隐变量模型的人体动作识别方法
技术领域
[0001]本发明属于动作识别领域，具体是一种基于高斯过程隐变量模型的人体动作模型和隐条件随机场的判别式识别方法。
【背景技术】
[0002]在过去的二十年里，人体动作识别已经成为计算机视觉、人工智能和模式识别领域研究的一个热点问题。人们希望计算机可以像人脑那样思考和理解一些信号，像是理解我们的日常活动，这样计算机就可以和人类进行更为自然的交互。它的目标是要从一个未知的图像序列中分析出人体所表现的动作。最近，人体动作识别被广泛应用在视频监测、人机交互、医疗保健、智能安防、虚拟现实等领域，它的研究具有重要的实践价值和意义。
[0003]人体动作的识别很容易受到外界条件的影响，在很多方面还存在改进的必要。在特征提取方面，它容易受到遮挡、视角、光照、动态背景和摄像头移动等因素的影响;在分类器设计方面，对于时序数据处理的算法研究仍不够深入，无法克服对数据独立性和普遍性等苛刻的要求。目前，大量的研究集中在基于视频的人体动作识别，特征提取多为图像处理过程，而忽略了人体的链式骨骼结构在识别过程中的重要作用。因此，亟需一种既能克服外界多变环境又能实时获得高准确率的动作识别方法。
【发明内容】
[0004]针对以上技术的不足，提出了一种基于高斯过程隐变量模型的人体动作识别方法。本发明的技术方案如下:一种基于高斯过程隐变量模型的人体动作识别方法，其包括以下步骤:
[0005]101、采用动作捕捉技术和Kinect体感技术获取人体的骨骼结构和运动信息；
[0006]102、采用高斯过程隐变量模型对步骤101采集到的人体骨骼结构信息和运动信息进行建模，主要包括特征提取和特征降维的步骤；
[0007]103、采用判别式的隐条件随机场识别算法来识别人体的动态运动过程。
[0008]进一步的，所述步骤101中，采用动作捕捉技术(11)采集的骨骼有31个有效关节点，有效关节点指的是可以表示出人体骨骼信息和运动信息的关节点，或者是反映人体的层次结构和运动特征的关节点，所得31个有效关节点是反映人体的层次结构特征的关节；而Kinect体感技术(12)采集的骨骼有20个关节点，所述20个关节点是反映人体运动特征的
-V- -K-
夫Tl O
[0009]进一步的，所述采用动作捕捉技术(11)记录了人体的运动信息AMC和人体骨骼信息ASF，人体骨骼信息ASF定义了人体的骨骼层次结构，大致可以分为三层，父节点为root关节点，第二层为lhipjoint、rhip joint和1werback三个关节点；第三层中，Ihipjoint的子节点至根节点依次为lfemur、ltibia、Ifoot、ltoes ;rhip joint的子节点至根节点依次为rfemur、rtibia、rfoot、rtoes ； 1werback的子节点为upperback与upperneck，upperback的TtSSlclavicleNlowerneck^rclaviclejIffiupperneck^Tti^^heado
[0010]进一步的，步骤101所述Kinect体感技术获取人体的骨骼结构和运动信息具体包括步骤:
[0011]输入Kinect获得的深度图像，并分别对深度图像进行预处理(41)，图像分割(42)，通过分析采集的深度图像中所提取的人体骨骼关节点的多少来确定有几个人，对身体部位进行分类(44)，三维关节点位置提案(45) ,Kinect可以提供实际空间、深度图像和提取的骨架的三维坐标，它们之间是可以相互转换的；所建立的三维骨骼模型是结合深度图像和实际空间的三维坐标共同确定的，提案就是它们结合后的结果;建立三维骨骼模型(46)，然后结合所建立的骨骼模型(47)和各个关节点的位置信息(48)进行规则化处理(49)，具体的步骤依次为构造人体结构向量(491)，计算向量角度和模比值(492)，提取关节点的相对位置变化量(493)，并以结构向量之间的角度为主要信息，选取部分向量之间的模比值和关节点的相对位置变化量作为辅助信息，来获取运动的表示特征量(50)。
[0012]进一步的，步骤102中基于高斯过程隐变量模型的特征提取和特征降维具体包括步骤:
[0013](I)下载数据，包括人体骨骼信息和运动信息，所述采集方法包括采用动作捕捉技术进行采集或采用Kinect体感技术进行采集；
[0014](2)预处理，即对运动数据进行归一化、重采样、滤波，采用零均值规格化方法；
[0015](3)建立人体骨骼模型，根据不同采集方式得到的骨骼层次结构建立树状结构体，并计算运动信息中各个关节点相对于骨骼信息中的相对位置；
[0016](4)建立高斯过程隐变量模型:首先，选择信息向量机中的信息熵最大值原理来选择运动的关键帧，对运动特征进行稀疏近似;其次，选择感知机的后约束方法实现从高维运动空间到低维流行空间的平滑映射；
[0017](5)加入动态过程，放置一个高斯过程在隐含空间，将时间点t作为输入，以缓解动作变化所产生的分歧点；
[0018](6)优化模型参数，求取输入为低维流行空间的样本X，输出为高维运动空间的样本Y的后验概率最大时的超参数；
[0019](7)根据步骤(6)计算得到的超参数计算最近邻错误。
[0020]进一步的，所述步骤103的隐条件随机场识别算法包括:训练过程和识别过程；训练过程是根据梯度上升法来搜索最佳参数的过程;识别过程是通过结合一个新的测试集的观察序列X和训练过程的估计参数，推理出对应的动作类别标签的过程。
[0021]本发明的优点及有益效果如下:
[0022]本发明所提供的方法针对体感技术采集到的深度图像和人体骨骼模型，实现了人体动作的分类，并取得很好的识别效果，克服了传统识别方法忽略人体链式结构和动作序列之间信息的问题，它不仅可以实现人体运动特征的可视化，还可以结合上下文信息，有效利用运动时序数据之间的信息，对人体运动进行实时识别。
【附图说明】
[0023]图1是本发明提供优选实施例人体动作识别流程图；
[0024]图2本发明基于动作捕捉技术运动特征提取示意图；
[0025]图3本发明ASF/AMC格式定义的人体骨骼层次图；
[0026]图4本发明基于Kinect体感技术运动特征提取示意图；
[0027]图5本发明基于高斯过程隐变量模型的特征提取和特征降维流程图；
[0028]图6本发明隐条件随机场识别算法结构示意图。
【具体实施方式】
[0029]以下结合附图，对本发明作进一步说明:
[0030]如图1所示，参照图1，基于高斯过程隐变量模型的人体动作建模和识别方法，包括步骤:获取运动数据(I)、提取运动特征(2)、识别人体动作(3)。其中，(I)包含两种数据采集方式:基于动作捕捉技术(11)和基于Kinect体感技术(12)，它们均同时采集人体的骨骼信息和运动信息，需要有效结合这两种信息才能实现人体动作识别。其区别在于动作捕捉技术(11)采集的骨骼有31个有效关节点，所得数据是各个骨段比较于根节点的相对位置，更侧重于人体的层次结构特征;而Kinect体感技术(12)采集的骨骼有20个关节点，是通过分析深度图像重构出的人体骨骼，既保留了真实世界的三维坐标运动数据，又保留了重构世界的三维坐标运动数据，更侧重于人体的运动特征。
[0031]参照图2，更为详细地介绍了所述基于动作捕捉技术(11)运动特征的提取方法。从不同方向的摄像机采集的人体信息中，每一帧图像都有骨骼信息与运动信息相对应，他们共同记录了该时刻人体运动的状态。其中人体骨骼信息(ASF)定义了人体的骨骼层次结构，大致可以分为三层，父节点为root关节点，第二层为Ihip joint、rhip joint和1werback三个关节点。第三层中，Ihip joint的子节点至根节点依次为If emur、I tibia、If oot、ltoes ；rhip joint的子节点至根节点依次为rfemur、rtibia、rfoot、rtoes ； 1werback的子节点为upperback与upperneck，upperback^^^P^^l clavicle n lowerneck、rclavicle，而upperne ck的子节点为head，详见图3。而人体的运动信息(AMC)则是时刻与人体骨骼信息(ASF)相对应的，主要记录了两个部分的内容:根节点的平移信息和其余骨段的旋转信息。这样设置的好处是每个骨段都具有空间变换不变性，使得骨骼信息和运动信息分离。
[0032]参照图4，基于Kinect体感技术运动特征提取示意图，其特征为:输入Kinect获得的深度图像，并分别对深度图像进行预处理(41)，图像分割(42)，检索人体(43)，对身体部位进行分类(44)，三维关节点位置提案(45)，建立三维骨骼模型(46)，然后结合所建立的骨骼模型(47)和各个关节点的位置信息(48)进行规则化处理(49)，这是运动表示特征量提取的关键环节，处理后的数据更具有鲁棒性。具体的步骤依次为构造人体结构向量(491)，计算向量角度和模比值(492)，提取关节点的相对位置变化量(493)，并以结构向量之间的角度为主要信息，选取部分向量之间的模比值和关节点的相对位置变化量作为辅助信息，来获取运动的表示特征量(50)。
[0033]参照图5，基于高斯过程隐变量模型的特征提取和特征降维流程图。所述方法的基本流程为:
[0034](I)下载数据，包括人体骨骼信息和运动信息，所述采集方法可以是动作捕捉技术(图2)或Kinect体感技术(图4)。
[0035](2)预处理，即对运动数据进行归一化、重采样、滤波等操作。这里由于运动数据的采集是不完备的，往往运动数据的最大值和最小值是未知的，故采用零均值规格化方法。
[0036](3)建立人体骨骼模型，根据图3所述的骨骼层次结构，结合结构体建立各个关节点之间的树状结构，并对各个关节点按照图2或图4中的标注方法进行标号，设置其相应的参数，如三维坐标、旋度、坐标顺序等。同时，依据所建立的骨骼模型，整合步骤I中的骨骼信息和运动信息，将所得结果作为运动特征。
[0037](4)建立高斯过程隐变量模型。首先，选择信息向量机中的信息熵最大值原理来选择运动的关键帧(活动集)，对步骤3中提取的运动特征进行稀疏近似。其次，选择感知机的后约束方法实现从高维运动空间到低维流行空间的平滑映射。
[0038](5)加入动态过程。放置一个高斯过程在隐含空间，将时间点t作为输入，，以缓解动作变化所产生的分歧点。
[0039](6)优化模型参数。求取输入为低维流行空间的样本X，输出为高维运动空间的样本Y的后验概率最大时的超参数。
[0040](7)计算最近邻错误。给出k=l时在动作标签在隐空间中的错误个数，作为衡量和调整选择活动集大小、后约束模型和动态过程参数的依据。
[0041]参照图6，所述隐条件随机场识别算法的结构示意图，主要包含了三个方面的内容:
[0042](I)输入观察序列X，为运动时间序列样本即每帧采集到的运动特征值。
[0043](2)隐状态集合H，可能是观察序列的子动作，也可能是身体部分。
[0044](3)输出动作类别Y，为通过隐条件随机场推断出的动作标签集合。
[0045]所述人体动作识别过程可以看作是给每一个动作序列的观察值预测一个类别标签的过程。所述隐条件随机场模型以局部观察值图像作为输入，它对观察值的要求并不苛亥IJ，不需要相互独立，有时还会在时间和空间中有所重叠，具有条件随机场模型表达的长距离依赖性和交叠性特征的能力，克服了 HMM事件检测模型的局部观察独立性假设，在有限样本情况下仍具有优良性能。
[0046]所述隐条件随机场识别算法可以分为两个过程:训练过程和识别过程。其中，训练过程是根据梯度上升法来搜索最佳参数的过程;识别过程是通过结合一个新的测试集的观察序列X和训练过程的估计参数，推理出对应的动作类别标签的过程。
[0047]以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
【主权项】
1.一种基于高斯过程隐变量模型的人体动作识别方法，其特征在于，包括以下步骤: 101、采用动作捕捉技术和Kinect体感技术获取人体的骨骼结构和运动信息； 102、采用高斯过程隐变量模型对步骤101采集到的人体骨骼结构信息和运动信息进行建模，主要包括特征提取和特征降维的步骤； 103、采用判别式的隐条件随机场识别算法来识别人体的动态运动过程。2.根据权利要求1所述的基于高斯过程隐变量模型的人体动作识别方法，其特征在于，所述步骤101中，采用动作捕捉技术(11)采集的骨骼有31个有效关节点，有效关节点指的是可以表示出人体骨骼信息和运动信息的关节点，或者是反映人体的层次结构和运动特征的关节点，所得31个有效关节点是反映人体的层次结构特征的关节;而Kinect体感技术(12)采集的骨骼有20个关节点，所述20个关节点是反映人体运动特征的关节。3.根据权利要求2所述的基于高斯过程隐变量模型的人体动作识别方法，其特征在于，所述采用动作捕捉技术(11)记录了人体的运动信息AMC和人体骨骼信息ASF，人体骨骼信息ASF定义了人体的骨骼层次结构，大致可以分为三层，父节点为root关节点，第二层为Ihipjoint、rhipjoint和1werback三个关节点；第三层中，Ihipjoint的子节点至根节点依次为 Ifemur、ltibia、Ifoot、ltoes ;rhip joint 的子节点至根节点依次为rfemur、rtibia、rfoot、rtoes; I o wer back 的子节点为upper back与 upp erne ck，upper back 的子节点为lclavicle、lowerneck、rclavicle，]ffiupperneck^Tti^^head04.根据权利要求2所述的基于高斯过程隐变量模型的人体动作识别方法，其特征在于，步骤101所述Kinect体感技术获取人体的骨骼结构和运动信息具体包括步骤: 输入Kinect获得的深度图像，并分别对深度图像进行预处理(41)，图像分割(42)，通过分析采集的深度图像中所提取的人体骨骼关节点的多少来确定有几个人，对身体部位进行分类(44)，三维关节点位置提案(45) ,Kinect可以提供实际空间、深度图像和提取的骨架的三维坐标，它们之间是可以相互转换的；所建立的三维骨骼模型是结合深度图像和实际空间的三维坐标共同确定的，提案就是它们结合后的结果;建立三维骨骼模型(46)，然后结合所建立的骨骼模型(47)和各个关节点的位置信息(48)进行规则化处理(49)，具体的步骤依次为构造人体结构向量(491)，计算向量角度和模比值(492)，提取关节点的相对位置变化量(493)，并以结构向量之间的角度为主要信息，选取部分向量之间的模比值和关节点的相对位置变化量作为辅助信息，来获取运动的表示特征量(50)。5.根据权利要求2所述的基于高斯过程隐变量模型的人体动作识别方法，其特征在于，步骤102中基于高斯过程隐变量模型的特征提取和特征降维具体包括步骤: (1)下载数据，包括人体骨骼信息和运动信息，所述采集方法包括采用动作捕捉技术进行采集或采用Kinect体感技术进行采集； (2)预处理，即对运动数据进行归一化、重采样、滤波，采用零均值规格化方法； (3)建立人体骨骼模型，根据不同采集方式得到的骨骼层次结构建立树状结构体，并计算运动信息中各个关节点相对于骨骼信息中的相对位置； (4)建立高斯过程隐变量模型:首先，选择信息向量机中的信息熵最大值原理来选择运动的关键帧，对运动特征进行稀疏近似;其次，选择感知机的后约束方法实现从高维运动空间到低维流行空间的平滑映射； (5)加入动态过程，放置一个高斯过程在隐含空间，将时间点t作为输入，以缓解动作变化所产生的分歧点； (6)优化模型参数，求取输入为低维流行空间的样本X，输出为高维运动空间的样本Y的后验概率最大时的超参数； (7)根据步骤(6)计算得到的超参数计算最近邻错误。6.根据权利要求2所述的基于高斯过程隐变量模型的人体动作识别方法，其特征在于，所述步骤103的隐条件随机场识别算法包括:训练过程和识别过程;训练过程是根据梯度上升法来搜索最佳参数的过程;识别过程是通过结合一个新的测试集的观察序列X和训练过程的估计参数，推理出对应的动作类别标签的过程。
【文档编号】G06K9/00GK105930770SQ201610226853
【公开日】2016年9月7日
【申请日】2016年4月13日
【发明人】蔡林沁, 洪洋, 虞继敏, 崔双杰, 杨洋, 陈双双
【申请人】重庆邮电大学