一种基于混合回归的头部姿态估计方法
【专利摘要】该发明公开了一种基于混合回归的头部姿态估计方法，属于计算机视觉和机器学习【技术领域】，特别涉及视觉映射中的头部姿态估计方法。该方法提取头部图像的梯度方向直直方图特征，并利用混合回归模型建立图像特征与头部姿态之间的非线性映射关系，最终利用已建立的混合回归模型对待估计头部图像进行姿态估计。通过上述方法，既能准确地对头部图像对应的姿态进行准确连续的估计，也避免了较大的计算复杂度。
【专利说明】一种基于混合回归的头部姿态估计方法
【技术领域】
[0001] 本发明属于计算机视觉和机器学习【技术领域】，涉及视觉映射中的头部姿态估计问 题。
【背景技术】
[0002] 头部姿态估计是指根据包含头部的数字图像，利用机器学习和计算机视觉的方法 准确快速地估计该图像中对应头部的偏转角度，也称为头部姿态。它是近年来计算机视觉 和机器学习领域研究的热门问题，在人机交互、安全驾驶和关注度分析等方面都有非常广 泛的应用。例如：在人机交互领域，头部的偏转角度可以用于控制电脑或机器显示的方向和 位置；在安全驾驶领域，头部姿态可用于辅助视线估计，从而提示驾驶员正确的视线方向。 近年来，头部姿态估计在流形学习和子空间理论发展的基础上，有了进一步的发展。现有头 部姿态估计方法可以分为三个大的类别：1.基于容貌的方法，2.基于分类的方法和3.基于 回归的方法。
[0003] 基于容貌的头部姿态估计方法的基本原理是将输入的头部图像与数据库中 已有的图像进行一一比对，并将找到的最相似的图像所对应的角度作为待估计图像的 头部姿态（即角度）。该类方法最大的缺陷在于其只能输出离散的头部偏转角度，并 且由于需要与所有已有图像进行依次比对，运算量巨大。参见文献：D.J.Beymer，Face Recognition under Varying Pose,IEEE Conference on Computer Vision and Pattern Recognition，pp. 756-761，1994 和 J. Sherrah，S. Gong，and E. J. Ong, Face Distributions in Similarity Space under Varying Head pose Image and Vision Computing，vol. 19， no. 12, pp. 807-819, 2001。
[0004] 基于分类的头部姿态估计方法是指根据输入图像的特征和对应头部偏转角度 训练分类器，并利用学习好的分类器区分待估计图像头部偏转角度所属的类别，从而确 定头部姿态的大致范围。该类方法中常用的分类器包括支持向量机（Support Vector Machine，SVM)，线性判决分析（Linear Discriminative Analysis，LDA)，核线性判决分析 (Kernel Linear Discriminative Analysis，KLDA)，这类方法的主要缺点是无法估计输出 连续的头部姿态，参见文献：J. Huang，X. Shao, and H. Wechsler，Face Pose Discrimination using Support Vector Machines(SVM)， International Conference on Pattern Recognition，pp. 154-156, 1998。
[0005] 基于回归的头部姿态估计方法是目前最常用的估计方法，该方法的基本原理是利 用已有图像特征和对应的头部角度建立映射函数，并利用映射函数估计待处理图像对应的 头部姿态。该类方法解决了前述两种方法无法估计输出连续姿态的问题，同时减少了运算 复杂度，参见文献 G.Fanelli，J. Gall，and L Van Gool，Real Time Head Pose Estimation with Random Regression Forests, IEEE Conference on Computer Vision and Pattern Recognition，2011，pp. 617-624 和文献 H. Ji，R. Liu，F. Su，Z. Su，and Y. Tian, Convex Regularized Sparse Regression for Head Pose Estimation, IEEE International Conference on Image Processing，pp. 3617-3620,2011。
【发明内容】
[0006] 本针对【背景技术】的不足解决的技术问题是提供一种基于混合回归的头部姿态估 计方法。该方法提取头部图像的梯度方向直直方图特征，并利用混合回归模型建立图像特 征与头部姿态之间的非线性映射关系，最终利用已建立的混合回归模型对待估计头部图像 进行姿态估计。通过上述方法，既能准确地对头部图像对应的姿态进行准确连续的估计，也 避免了较大的计算复杂度。
[0007] 为了方便地描述本
【发明内容】
，首先对一些术语进行定义。
[0008] 定义1:头部姿态。在三维空间中头部旋转的角度通常由一个向量表示，该向量由 三个元素构成，第一个元素为俯仰角，第二个元素为偏航角，第三个元素为旋转角。
[0009] 定义3:俯仰角。在图2(b)所示的x-y-z坐标系中，俯仰角是指以x轴为中心旋 转的角度Q。
[0010] 定义3 :偏航角。在图2 (a)所不的x-y-z坐标系中，偏航角是指以z轴为中心旋 转的角度小。
[0011]定义4:旋转角。在图2(c)所示的x-y-z坐标系中，旋转角是指以z'为中心旋转 的角度W。
[0012] 定义5 :梯度方向直方图特征。利用像素强度梯度或边缘的方向分布描述一幅图 像中的物体的表象和形状的视觉特征提取方法。其实现方法先将图像分成小的叫做方格单 元的连通区域；然后采集方格单元中各像素点的梯度方向或边缘方向直方图；最后把这些 直方图组合起来就可以构成特征描述子。为了提高精确度，还可以把这些局部直方图在图 像的更大的区间（block)中进行对比度归一化（contrast-normalized),此方法通过先计 算各直方图在这个区间（block)中的密度，然后根据这个密度值对区间中的各个方格单元 做归一化。通过该归一化能对光照变化和阴影有更强的鲁棒性。
[0013] 定义6:高斯分布。又名正态分布，是一个在数学、物理及工程等领域都 非常重要的概率分布。具体是指：对于任意随机变量X，若其概率密度函数满足
【权利要求】
1. 一种基于混合回归的头部姿态估计方法，该方法包括： 步骤1 :采集N幅包含不同个体姿态各异的头部图像，并根据采集每幅图像时头部的姿 态，记录N幅图像各自对应的头部俯仰角、倾斜角和旋转角度，即头部姿态向量:yn e妒，yn 的第一维表示俯仰角，第二维表示倾斜角，第三维表示旋转角，下标η表示第η幅图像对应 的姿态； 步骤2:对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像 则无需在进行转化处理； 步骤3 :截取出采集图像的头部区域，再对剪裁出的区域进行下采样，变换成大小为 64X64像素的图像，对每一幅采集图像提取梯度方向直方图特征，并记第η幅图像对应的 梯度方向直方图特征向量Xn ; 步骤4 :将所有的N幅图像对应的梯度方向直方图特征向量在列方向上按顺序排列得 到输入数据矩阵X，即X = [X^ χ2,...，χη]; 步骤5 :将N幅图像对应的头部姿态向量在列方向上按顺序排列为数据矩阵Y，即Y = [yi，5^2，· · ·，yJ ; 步骤6:设所有输入特征伏η})=1;和输出姿态合服从混合高斯分布，各高斯 分布中心、协方差和混合系数，分别用符号y k，E ,和Jik表示，其中下角标k表示第k个高 斯分布，k = 1，2, ... K ;
其中zn e 9^为κ维隐变量,其元素取值为〇或1,并且只有一个元素取值为1,取值为1 的元素的位置决定了第η个观测样本{xn，yn}属于哪一个高斯，例如：第k个元素为1，则代 表第η个观测样本{x n，yn}属于第k个高斯，ρ(ζη| Θ)代表第η个观测样本{xn，yn}属于任 意一个高斯的概率，简记为nk，k= 1，...Κ，Θ表示此混合回归模型中的所有参数，S卩：〇 ={yk，Σ k，nk，Ak，bk，3k}，p(x n，yn|zn，Θ)表示已知观测样本{xn，yn}属于任意一个高斯 条件下的概率分布，该分布为以U k为中心，协方差为Σ k的高斯分布，用 表不； 已知lxn，yn}属于任意一个高斯分布的条件下，\和7"之间存在线性回归关系，回归关 系由回归矩阵Ak，偏差bk，和噪声方差水平β k共同决定：
得到输入梯度方向直方图特征也分别服从混合高斯分布，即：
其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关 系，可知：
步骤7 :根据步骤6中的假设，定义输入特征和输出姿态的似然函数为：
当上述似然函数取得最大值时候的参数Θ即为最佳混合回归模型的参数；为了方便 求解参数Θ，需要对上述似然函数作取对数运算，即：
按照期望最大值算法求解步骤7中定义的似然函数最大值对应的参数Θ ; 期望最大值方法的具体求解步骤为： 估计步骤： 计算在当前参数设置?°ld下每一观测样本对lxn，yn}针对k个高斯分布中每一个高斯 的后验概率^(21>"，7"，?°1<1)，
这里用 Wnk 简记 Pk(znI xn, yn，Θ。1' ； 最大化步骤： 根据当前参数?°ld建立Q函数， /I--O- 4-71
该函数的等价形式为：
对Q函数关于各参数求导，并令导数为〇,可以求得当前使得Q函数最大的参数，
同时得到各回归参数的取值如下，
这里X = [X, 1[]，1【是一个包含N个1的向量，Wk = diag{wnk，η = 1，2,…，N}; 重复上述的估计步骤和最大化步骤，直到似然函数取得最大值为止，此时的参数取值 为最佳参数取值； 步骤8 :对于任一待估计图像按照步骤3中的方法截取头部区域并下采样成大小为 64X64像素的图像，并提取梯度方向直方图特征向量Xt，根据步骤7中得到的分布参数 AtL Σ?，31P计算待估计图像对应特征向量xt属于k个高斯分布中每一个的概率p k(zk = 11xt, Θ),
将上述概率简计为π k (X); 步骤9 :计算Xt属于各个高斯分布条件下，对应的输出头部姿态^^;^ + !^，并利用步骤 8中求得的概率加权平均，得到最后姿态估计，
2.如权利要求书1所述的一种基于混合回归的头部姿态估计方法，其特征在于所述步 骤3中在对梯度方向直方图特征计算的过程中，区域个数的参数设置为2X2,每一区域中 图像单元的个数参数设置为8X8,方向柱的个数设置为9,最后得到任意一幅图像对应的 梯度方向直方图特征的维数为4086。
【文档编号】G06K9/62GK104392241SQ201410619368
【公开日】2015年3月4日 申请日期:2014年11月5日 优先权日:2014年11月5日
【发明者】潘力立 申请人:电子科技大学