一种结合旋转不变性特征的单张图片人体姿态估计方法
【技术领域】
[0001] 本发明属于计算机物体识别领域。
【背景技术】
[0002] 从图像或视频中对人体姿态进行估计为机器理解人类非语言活动提供了一种有 效的途径，其不仅对学习人类如何感知、学习、行为具有较高的科学价值，且对人类的社会 活动及关系分析具有深远的意义。基于图像及视频进行人体姿态估计，进而对人体运动、行 为进行分析已被广泛应用于人机交互、智能监控、影视制作、医学疗理等领域。
[0003] 然而，由于人体结构和运动本身的复杂性，同时，基于单目图像中的三维信息丢 失、人体外观服饰不一、自遮挡、人体胖瘦等原因，尚存在识别准确度低、姿态估计不准确等 很多问题。当前基于普通单目图像进行人体姿态估计方法主要分为两大类：基于模型的方 法和基于非模型的方法。
[0004] 其中基于模型的方法使用先知的人体知识对人体姿态进行估计，其过程包括建模 和估值两个步骤，建模过程需要依据相机视点模型、图像描述符、人体结构模型、匹配函数 和人体约束等信息构造似然函数，估值过程则根据似然函数找到最大可能性的人体姿态。
[0005] 相比基于模型的方法，非模型的方法没有使用已知的人体模型，而是直接建立图 像信息和人体姿态间的关系。主要包括基于学习的方法和基于样例的方法。基于学习的方 法通常从训练数据中直接构建从图像空间到姿态空间的映射函数。而基于样例的方法在避 免此类映射的同时通过收集样本以及相应的姿态描述符建立数据库，在给定输入图像的情 况下在数据库中进行相似性搜索并通过对候选姿态插值获取姿态估计结果。非模型方法在 处理某类特定运动（如行走，跑步等）时具有较高的效率和准确性，并且由于该模型不需要 进行初始化，从而无需处理初始化问题，因而其结果可以被用在基于模型的方法的初始化 步骤中。然而，非模型的方法过于依赖背景提取等预处理过程的效果，且对于运动姿态的泛 化能力弱，在存在多样化运动的复杂场景中存在局限和不足。
[0006] 作为目前主要的研究方法，基于模型的方法因为其从人们的先验知识中学习从而 对人体姿态进行估计，通过考虑人体表象信息及结构、视点信息和人体运动相关性来降低 搜索空间，得到广泛应用。其大多数基于HOG特征进行人体部件特征描述，使用图案结构模 型（Pictorial Structure Model，PSM)对部件间关系进行构建，然而由于人体姿态复杂多 样，部件可能以任意角度出现，传统的使用非旋转不变特征一一HOG特征对人体部件进行描 述不能有效地编码部件在不同角度下的相似性，因此，本发明目的是引入旋转不变性特征 对人体部件进行描述，同时结合传统的柔性混合模型进行人体姿态估计。
【发明内容】
[0007] 本发明的目的：引入旋转不变性特征对人体部件进行描述，增加其对人体部件物 体的描述能力，从而应用到人体姿态估计当中。
[0008] 为了达到上述目的，本发明提出了 一种结合旋转不变性特征的单张图片人体 姿态估计方法，该方法能同时结合HOG特征对局部非旋转属性的描述能力，同时结合 FourierHOG对相同部件旋转不变属性进行描述，从而构建出一个人体姿态估计模型，完成 单张图像的人体姿态估计任务。
[0009] -种结合旋转不变性特征的单张图片人体姿态估计方法，其特征在于包括以下步 骤：
[0010] 步骤（1)、对旋转图像进行分析，构建基于傅里叶分析的旋转不变性特征，并结合 HOG特征构建人体部件表象模型；
[0011] 步骤（2)、结合人体部件的混合类型及位置标注，构建基于姿态先验的人体形变模 型一一柔性混合模型，对人体部件间约束进行描述；
[0012] 步骤（3)、在单张图像的人体姿态估计应用中，根据步骤（1)中图像特征的表象模 型和步骤（2)中的姿态先验形变模型估计当前输入图像的表象评分，并以该评分结果为指 导进行人体二维姿态估计。
【附图说明】
[0013] 图1为本发明的结合旋转不变性特征的单张图片人体姿态估计方法的整体过程 示意图。
【具体实施方式】
[0014] 下面结合附图与表对本发明作进一步详细描述：
[0015] 本发明实施过程包括三个步骤：人体部件表象模型的构建，人体形变模型的构建 与训练，人体姿态估计过程中基于表象模型及人体形变模型的姿态估计。图1展示了本发 明的整体过程示意图。
[0016] 步骤一：建立人体部件表象模型：
[0017] 第一阶段：计算图像梯度并进行局部归一化处理，然后将其映射到傅里叶空间，公 式如下：
[0019] 其中D(X)为图像I的梯度，SP D(X) =▽ I，I |D(X) I I为图像梯度幅值，K为一个 平滑卷积核；
[0020] Fni(X) = IlD(X)IIe1m0aiw)
[0021] 将前面得到的归一化梯度映射到傅里叶空间，其中Φ (D(x))为图像梯度方向，m 我们选择傅里叶空间前7个域m e {〇, 1，2, 3, 4, 5, 6}，其中Fni(X)维度为IslzexX Islzey*7, Islzex及iSiZf3y为图像I在X和y方向的大小。
[0022] 第二阶段：分别针对每个傅里叶空间计算区域旋转不变性特征，对每个（Al)中得 至_傅里叶空间域内的梯度信息计算图像的区域特征：
[0023] B1=Ujik^Fn
[0024] 其中Uj, k为傅里叶基底函数，其中0%妁=外~，r为构建傅里叶基函 数的径向距离，供为相对于中心的角度，j表示傅里叶基底函数的第j个半径，而k表示 基底函数的第k个角度，其中j对应三个不同尺度下的傅里叶基底函数，各尺度间的相隔 半径为9个像素。在卷积过程中，取-6彡k-m彡6,其组合数为64种，从而得到B大小为 ISizeJix ISizey*64*3。
[0025] 第三阶段：根据图像梯度在不同傅里叶基函数下的卷积结果，可将图像中每点的 区域特征分为实数部分及虚数部分，对区域特征实数部分和虚数部分分别取实数值，从而 构建出对于图像I中每个像素点区域的旋转不变性特征，大小为IslzexXIslzey*384,名为 FourierHOG 特征；
[0026] 第四阶段：对图像同时计算HOG特征，将前面的FourierHOG与HOG特征连接成一 个特征向量，使整个特征向量既包含对图像非旋转属性的描述，又包括旋转不变性属性的 描述，使图像特征对人体部件具有较好的表征能力，从而构建出人体部件表象模型。
[0027] 步骤二：定义人体姿态能量函数，构造出人体形变模型：
[0028] 第一阶段：针对部件共现模型构建部件布局能量函数：
[0030] 其中摩为部件i对应的类型t下的能量值，而部件间的能量值表示为两个部件i 和j共现情况下的能量值' V及E代表人体部件间的关系，即G= (V，E)，代表人体是 ij^E 由多个关节点组成的树状图，也用其来表示部件之间的约束关系。
[0031] 第二阶段：建立完部件间