一种深度图像中的姿势识别方法及装置制造方法
【专利摘要】本发明涉及一种深度图像中的姿势识别方法及装置，包括以下步骤：从深度图像中提取人体三维轮廓；计算所述三维轮廓的局部特征；将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。本发明在原有随机森里的基础上，通过预设的人体结构模型进行姿势识别，该方法特征维度低，描述能力强；同时通过人体结构模型，针对不同身高的个体，统一学习人体的姿势，降低学习的能力，提高算法的实用性和准确率；与原有概率图模型相比，本发明提出的方法推理姿势更快，适用于实时的姿势捕捉系统。
【专利说明】一种深度图像中的姿势识别方法及装置
【技术领域】
[0001]本发明涉及图像处理【技术领域】，尤其涉及一种深度图像中的姿势识别方法及装置。
【背景技术】
[0002]姿势识别是人机交互的关键技术之一。目前主要是利用部件识别的方法识别出人体的各个部分，如四肢、头部等部分，再将各个部件连接起来构成人体姿势。但是仅仅利用部件检测的结果进行姿势识别往往丢失大量的人体结构信息，导致姿势识别结果不够理想，在由部件构件人体姿势的过程中引入概率图模型。然而，这种模型计算复杂度高，难以满足实时应用的要求。此外，在图像类型方面有两种，一种是彩色图像，另一种是深度图像。彩色图像容易受到光照、人体服饰的应用，影响姿势识别的性能；而深度图像表示的是采样点到摄像机之间的距离，可以更好地描述场景中景物的结构信息，因此可以提供更好的人体分割结构。本发明即利用深度图像通过结合随机森林和概率图模型提出了一种准确、稳定、实时的姿势识别方法。
【发明内容】
[0003](一)要解决的技术问题
[0004]本发明所要解决的技术问题是:现有技术中利用部件检测的结果进行姿势识别往往丢失大量的人体结构信息，导致姿势识别结果不够理想，在由部件构建人体姿势的过程中引入概率图模型，然而这种模型计算复杂度高，难以满足实时应用的要求。
[0005](二)技术方案
[0006]为此目的，本发明提出了一种深度图像中的姿势识别方法，包括以下步骤:
[0007]从深度图像中提取人体三维轮廓；
[0008]计算所述三维轮廓的局部特征；
[0009]将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
[0010]根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
[0011]优选地，所述从深度图像中提取人体三维轮廓，具体包括:
[0012]实时采集输入场景的深度图像；
[0013]对所述深度图像进行前景分割得到人体前景图像；
[0014]采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
[0015]优选地，所述计算所述三维轮廓的局部特征，具体包括:
[0016]以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
[0017]统计落在同心球中的所述三维轮廓的点的位置信息；[0018]根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
[0019]优选地，所述同心球的最外侧球的半径为三维轮廓中任意两个轮廓点之间相对距离的平均值。
[0020]优选地，所述人体结构模型为利用随机森林学习得到的。
[0021]优选地，所述根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果，具体包括:
[0022]利用mean-shift算法在三维空间中计算每一个人体关节点的位置；
[0023]根据所述每一个人体关节点的位置得到人体的姿势识别结果。
[0024]此外，本发明还提供了 一种用于在深度图像中进行姿势识别的装置，包括:
[0025]提取模块、第一计算模块、估计模块和第二计算模块；
[0026]提取模块，用于从深度图像中提取人体三维轮廓；
[0027]第一计算模块，用于计算所述提取模块提取的所述三维轮廓的局部特征；
[0028]估计模块，用于将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
[0029]第二计算模块，用于根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
[0030]优选地，所述提取模块包括:采集单元、生成单元和提取单元；
[0031]采集单元，用于实时采集输入场景的深度图像；
[0032]生成单元，用于对所述深度图像进行前景分割得到人体前景图像；
[0033]提取单元，用于采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
[0034]优选地，所述第一计算模块包括:特征提取单元、统计单元和计算单元；
[0035]特征提取单元，用于以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
[0036]统计单元，用于统计落在同心球中的所述三维轮廓的点的位置信息；
[0037]计算单元，用于根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
[0038](三)有益效果
[0039]本发明在原有随机森里的基础上，通过预设的人体结构模型进行姿势识别，该方法特征维度低，描述能力强；同时通过人体结构模型，针对不同身高的个体，统一学习人体的姿势，降低学习的能力，提高算法的实用性和准确率；与原有概率图模型相比，本发明提出的方法推理姿势更快，适用于实时的姿势捕捉系统。
【专利附图】
【附图说明】
[0040]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0041]图1是本发明一种深度图像中的姿势识别方法的流程图；
[0042]图2是本发明一种用于在深度图像中进行姿势识别的装置模块图。【具体实施方式】
[0043]下面将结合附图对本发明的实施例进行详细描述。
[0044]本发明实施例提出了一种深度图像中的姿势识别方法，如图1所示，包括以下步骤:
[0045]SlOl从深度图像中提取人体三维轮廓；
[0046]S102计算所述三维轮廓的局部特征；
[0047]S103将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
[0048]S104根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
[0049]所述条件空间分布即当父节点位置确定后子节点的空间分布。
[0050]优选地，所述从深度图像中提取人体三维轮廓，具体包括:
[0051]S201实时采集输入场景的深度图像；
[0052]S202对所述深度图像进行前景分割得到人体前景图像；
[0053]S203采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
[0054]优选地，所述计算所述三维轮廓的局部特征，具体包括:
[0055]S301以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
[0056]S302统计落在同心球中的所述三维轮廓的点的位置信息；
[0057]S303根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
[0058]本发明实施例中同心球表示的是局部特征提取的算法，以轮廓中某个点为中心，按照一定的比例将所述三维轮廓的三维空间划分若干个同心球，并按照一定的角度将每一个同心球划分成若干段，通过统计轮廓点落在同心球中不同位置的数量表示一个局部轮廓特征，对于轮廓中的每一个点，均可以计算一个局部特征即特征向量，并利用该特征来估计人体关节点的位置。
[0059]优选地，所述同心球的最外侧球的半径为三维轮廓中任意两个轮廓点之间相对距离的平均值。
[0060]任意两个轮廓点之间具有一个相对距离，计算所有相对距离之间的平均值m，所述同心球的最外侧球的半径即设置为m。
[0061]优选地，所述人体结构模型为利用随机森林学习得到的。
[0062]优选地，所述根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果，具体包括:
[0063]利用mean-shift算法在三维空间中计算每一个人体关节点的位置；
[0064]根据所述每一个人体关节点的位置得到人体的姿势识别结果。
[0065]Mean Shift算法，一般是指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束。
[0066]本实施列中根据三维轮廓中每一个点的特征向量送入利用随机森林学习到的人体结构模型中，并得到人体节点位置的绝对空间分布和条件空间分布，利用mean-shift算法在三维空间中求出每一个关节点的位置，从而得到人体的姿势估计结果。
[0067]本发明实施列中人体结构模型相邻的两个节点之间用有向边连接，如i_>j表示模型除了学习节点j的分布之外，还将学习一个节点j对于节点i的相对分布，即学习一种结构分布模型。
[0068]此外，本发明实施例还提供了 一种用于在深度图像中进行姿势识别的装置，如图2所示，包括:
[0069]提取模块1、第一计算模块2、估计模块3和第二计算模块4 ；
[0070]提取模块1，用于从深度图像中提取人体三维轮廓；
[0071]第一计算模块2，用于计算所述提取模块提取的所述三维轮廓的局部特征；
[0072]估计模块3，用于将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
[0073]第二计算模块4，用于根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
[0074]优选地，所述提取模块I包括:采集单元、生成单元和提取单元；
[0075]采集单元，用于实时采集输入场景的深度图像；
[0076]生成单元，用于对所述深度图像进行前景分割得到人体前景图像；
[0077]提取单元，用于采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
[0078]优选地，所述第一计算模块2包括:特征提取单元、统计单元和计算单元；
[0079]特征提取单元，用于以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
[0080]统计单元，用于统计落在同心球中的所述三维轮廓的点的位置信息；
[0081]计算单元，用于根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
[0082]通过采用本发明公开的一种深度图像中的姿势识别方法及装置，在原有随机森里的基础上，通过一种融合人体结构学习的训练方法得到人体结构模型，该方法特征维度低，描述能力强；同时本发明提出的人体结构模型，针对不同身高的个体，可以统一的学习人体的姿势，降低学习的能力，提高算法的实用性和准确率；与原有概率图模型相比，本发明提出的方法推理姿势更快，适用于实时的姿势捕捉系统。
[0083]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是⑶-R0M，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0084]本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0085]本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0086]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0087]以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
【权利要求】
1.一种深度图像中的姿势识别方法，其特征在于，包括以下步骤: 从深度图像中提取人体三维轮廓； 计算所述三维轮廓的局部特征； 将所述三维 轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布； 根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
2.根据权利要求1所述的方法，其特征在于，所述从深度图像中提取人体三维轮廓，具体包括: 实时采集输入场景的深度图像； 对所述深度图像进行前景分割得到人体前景图像； 采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
3.根据权利要求1所述的方法，其特征在于，所述计算所述三维轮廓的局部特征，具体包括: 以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段； 统计落在同心球中的所述三维轮廓的点的位置信息； 根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
4.根据权利要求3所述的方法，其特征在于，所述同心球的最外侧球的半径为三维轮廓中任意两个轮廓点之间相对距离的平均值。
5.根据权利要求1所述的方法，其特征在于，所述人体结构模型为利用随机森林学习得到的。
6.根据权利要求1所述的方法，其特征在于，所述根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果，具体包括: 利用mean-shift算法在三维空间中计算每一个人体关节点的位置； 根据所述每一个人体关节点的位置得到人体的姿势识别结果。
7.一种用于在深度图像中进行姿势识别的装置，其特征在于，包括:提取模块、第一计算模块、估计模块和第二计算模块； 提取模块，用于从深度图像中提取人体三维轮廓； 第一计算模块，用于计算所述提取模块提取的所述三维轮廓的局部特征； 估计模块，用于将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布； 第二计算模块，用于根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
8.根据权利要求7所述的装置，其特征在于，所述提取模块包括:采集单元、生成单元和提取单兀； 采集单元，用于实时采集输入场景的深度图像； 生成单元，用于对所述深度图像进行前景分割得到人体前景图像；提取单元，用于采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
9.根据权利要求7所述的装置，其特征在于，所述第一计算模块包括:特征提取单元、统计单元和计算单元； 特征提取单元，用于以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球,并按照预设的角度将每一个同心球划分成若干段； 统计单元，用于统计落在同心球中的所述三维轮廓的点的位置信息； 计算单元，用于根据所述位 置信息计算落在同心球中的所述三维轮廓的点的特征向量。
【文档编号】G06T7/00GK103745218SQ201410037994
【公开日】2014年4月23日 申请日期:2014年1月26日 优先权日:2014年1月26日
【发明者】王贵锦, 何礼 申请人:清华大学