用于估计头部姿势的设备和方法
【专利摘要】提供一种用于估计头部姿势的设备和方法，所述设备包括：头部区域提取单元，用于从输入的深度图像提取头部区域；头部俯仰角估计单元，用于在头部区域中估计头部俯仰角；头部偏转角估计单元，用于在头部区域中估计头部偏转角；头部姿势合成单元，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。根据所述设备和方法，可不受光照变化影响而取得良好的头部姿势识别效果。
【专利说明】用于估计头部姿势的设备和方法
【技术领域】
[0001]本申请涉及对人体的头部姿势的估计，尤其涉及一种基于深度图像来估计头部姿势的设备和方法。
【背景技术】
[0002]随着计算机视觉技术以及模式识别技术的发展，人体姿势识别在许多领域得以广泛地应用。例如，人体姿势识别技术可应用于人机交互，从而更为直观地操控设备。具体说来，基于头部姿势识别技术的人机交互方式可在游戏的虚拟场景中增加玩家的乐趣，也可在安全驾驶支持系统中很好地反映出用户的关注点。此外，头部的姿势识别结果可被用于头部驱动的动画中，也可被用于实现自然的三维(3D)交互操作。在很多情况下，对于视线的检测是进行人机交互的关键，而头部的姿势识别又是视线检测的基础，其中，头部的姿势识别结果可作为视线检测的重要参考。
[0003]在现有的头部姿势识别技术中，很大一部分是从彩色图像或红外图像中识别出头部姿势。当从彩色图像识别头部姿势时，姿势识别结果受光照变化的影响很大，而且在背景内容比较复杂时，姿势识别效果也会明显受到影响。而当从红外图像识别头部姿势时，虽然姿势识别结果完全不受光照影响，但复杂的背景内容却会严重影响姿势识别结果。
[0004]实际中，不论从何种类型的图像数据来识别头部姿势，主要采用以下三种方式来实现头部姿势识别:
[0005]第一、基于机器学习的头部姿势识别方式，该方式主要包括获取各种头部姿势的大量头部图像以构建头部姿势数据库，并基于该数据库训练出多样化空间以表示不同的头部姿势。在完成训练过程之后，输入的头部图像则可被映射到所述多样化空间以得出与其相应的头部姿势，作为识别的结果。然而，根据这种方式，为了描述数据库中的不同头部姿势，需要提取局部特征，因此，输入的头部图像的分辨率必须足够高，以满足局部特征提取的要求。此外，在基于机器学习的头部姿势识别方式中，由于需要基于头部姿势数据库训练出多样化空间来表示不同的头部姿势，所以头部姿势识别结果的准确性取决于构建的头部姿势数据库所包括的样本情况。综上所述，基于机器学习的头部姿势识别的性能在很大程度上受限于输入图像的分辨率是否够高以及构建数据库的样本是否充足。
[0006]第二、基于特征点匹配的头部姿势识别方式，该方式主要包括检测并匹配相邻头部图像的二维特征点，随后通过将所述特征点从二维头部图像映射到三维头部图像来计算各个相邻头部图像之间的头部姿势偏离，并通过对初始头部姿势与先前头部姿势偏离进行累加来获取最终头部姿势，作为识别的结果。由于需要提取头部图像的局部特征点来描述头部图像的各个代表性细节，因此，头部图像的分辨率必须足够高，以满足特征点检测和匹配的要求。此外，在基于特征点匹配的头部姿势识别方式中，由于需要从初始头部姿势开始，不断对先前头部姿势偏离进行累加来估计最终头部姿势，因此，必须进行头部姿势初始化，并且所述累加运算依赖于头部图像帧的连续输入。
[0007]第三、基于全局几何特征的头部姿势识别方式，该方式主要为提取头部图像的全局特征，并随后基于全局特征的几何关系来估计头部姿势，作为识别的结果。然而，现有的基于全局几何特征的头部姿势识别方案在光照变化较大或图像分辨率较低时往往难以取得良好的识别效果。
[0008]因此，需要一种能够不受光照变化影响而取得良好识别效果的头部姿势识别方案。
【发明内容】
[0009]本发明的目的在于提供一种能够在不受光照变化影响的情况下，有效地识别头部姿势的方法和设备。
[0010]根据本发明的一方面，提供一种用于估计头部姿势的设备，所述设备包括:头部区域提取单元，用于从输入的深度图像提取头部区域；头部俯仰角估计单元，用于在头部区域中估计头部俯仰角；头部偏转角估计单元，用于在头部区域中估计头部偏转角；头部姿势合成单元，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。
[0011]头部区域提取单元可包括:头部检测器，用于基于头部的深度特征从输入的深度图像检测出头部区域；背景去除器，用于从检测出的头部区域去除背景部分；头部区域精化器，用于基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
[0012]头部俯仰角估计单元可包括:俯仰线提取器，用于在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；拟合器，用于将提取的头部俯仰线拟合为直线；俯仰角计算器，用于计算所述直线偏离垂直方向的角度，作为头部俯仰角。
[0013]拟合器可将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
[0014]头部偏转角估计单元可包括:偏转线提取器，用于在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；偏转角计算器，用于基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
[0015]头部姿势合成单元可基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
[0016]根据本发明的另一方面，提供一种用于估计头部姿势的方法，包括:从输入的深度图像提取头部区域；在头部区域中估计头部俯仰角；在头部区域中估计头部偏转角；基于估计的头部俯仰角和头部偏转角来合成头部姿势。
[0017]提取头部区域的步骤可包括:基于头部的深度特征从输入的深度图像检测出头部区域；从检测出的头部区域去除背景部分；基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
[0018]估计头部俯仰角的步骤可包括:在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；将提取的头部俯仰线拟合为直线；计算所述直线偏离垂直方向的角度，作为头部俯仰角。
[0019]将提取的头部俯仰线拟合为直线的步骤可包括:将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
[0020]估计头部偏转角的步骤可包括:在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
[0021]基于估计的头部俯仰角和头部偏转角来合成头部姿势的步骤可包括:基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
[0022]根据所述设备和方法，可基于深度图像来估计头部姿势，从而可不受光照变化影响，此外，可通过估计头部俯仰角和偏转角来驱动3D模型，从而取得良好的识别效果，即使在距离较远或分辨率较低的情况下，也能获取比较强健的识别姿势。此外，本发明运算比较简单，能够很好地满足实时性的要求。
【专利附图】
【附图说明】
[0023]通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其它目的和特点将会变得更加清楚，其中:
[0024]图1示出根据本发明示例性实施例的头部姿势估计设备的框图；
[0025]图2示出根据本发明示例性实施例的头部姿势估计方法的流程图；
[0026]图3示出根据本发明示例性实施例的头部区域提取单元的框图；
[0027]图4示出根据本发明示例性实施例所提取的头部区域的示例；
[0028]图5示出根据本发明示例性实施例的头部俯仰角估计单元的框图；
[0029]图6示出根据本发明示例性实施例所提取的头部俯仰线的示例；
[0030]图7示出根据本发明示例性实施例来计算头部俯仰角的示例；
[0031]图8示出根据本发明示例性实施例的头部偏转角估计单元的框图；
[0032]图9示出根据本发明示例性实施例所提取的头部偏转线的示例；
[0033]图10示出根据本发明示例性实施例来计算头部偏转角的示例；
[0034]图11示出根据本发明示例性实施例来合成头部姿势的示例；以及
[0035]图12示出根据本发明示例性实施例输出的合成的头部姿势。
【具体实施方式】
[0036]现将详细描述本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
[0037]图1示出根据本发明示例性实施例的头部姿势估计设备的框图。如图1所示，根据本发明示例性实施例的头部姿势估计设备包括:头部区域提取单元10，用于从输入的深度图像提取头部区域；头部俯仰角估计单元20，用于在头部区域中估计头部俯仰角；头部偏转角估计单元30，用于在头部区域中估计头部偏转角；头部姿势合成单元40，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。这里，输入的深度图像可产生于诸如TOF(time-of-flight,飞行时间)相机或基于结构光的Prime Sense相机的拍摄装置。此夕卜，在根据本发明的示例性实施例中，在拍摄深度图像时，被拍摄的人并不需要做出特别的姿势或呈现特别的面貌，也不需要位于拍摄装置前的预定距离，此外，也不要求用户必须在特定的背景屏幕前进行拍摄。
[0038]作为优选方式，所述头部姿势估计设备可还包括头部姿势输出单元50，用于输出合成的头部姿势。
[0039]根据本发明的示例性实施例，头部的姿势主要由头部俯仰和头部偏转两者来体现，相应地，可在深度图像中的头部区域分别估计头部的俯仰角和偏转角，从而基于所述俯仰角和偏转角来合成相应的头部姿势。以下，将结合图2来描述根据本发明示例性实施例由头部姿势估计设备进行头部姿势估计的示例。
[0040]图2示出根据本发明示例性实施例的头部姿势估计方法的流程图。
[0041]如图2所示，在步骤S100，由头部区域提取单元10从输入的深度图像提取头部区域。
[0042]作为示例，图3示出根据本发明示例性实施例的头部区域提取单元10的框图。如图3所示，头部区域提取单元10包括:头部检测器110，用于基于头部的深度特征从输入的深度图像检测出头部区域。作为示例，头部检测器110可基于头部特征的训练样本来执行头部区域的检测。所述头部区域提取单元10还包括:背景去除器120，用于从检测出的头部区域去除背景部分。具体说来，在深度图像中，背景部分与前景部分在深度值上具有明显的差异，因此，背景去除器120可基于头部与背景部分之间的深度差异从头部区域中去除背景部分，以获取位于前景的头部区域。作为优选方式，为了进一步提高头部区域检测的精确性，所述头部区域提取单元10可额外包括:头部区域精化器130，用于基于头部的轮廓特性对去除背景的头部区域进行精细化处理。具体说来，人体头部的两侧与顶部构成的轮廓通常具有较为统一的形状特性，并且，头部底部(即，下颌部位)与周围的身体部位在深度值上具有明确的差异，因此，头部区域精化器130可基于头部两侧与顶部构成的轮廓特性来确认头部区域中的头部两侧与项部的位置，并在此基础上进一步基于从头部到身体的深度差异来确认头部底部的位置。
[0043]以上结合图3描述了头部区域提取单元10如何从输入的深度图像提取头部区域的方法流程，相应地，图4示出根据本发明示例性实施例所提取的头部区域的示例。然而，应理解，本发明的头部区域提取单元10并不受限于上述细化的结构及其相应的操作，任何能够从输入的深度图像提取头部区域的方式均可应用于本发明以解决其技术问题。
[0044]继续参照图2，在步骤S200，由头部俯仰角估计单元20在头部区域中估计头部俯仰角。
[0045]作为示例，图5示出根据本发明示例性实施例的头部俯仰角估计单元20的框图。如图5所示，头部俯仰角估计单元20包括:俯仰线提取器210，用于在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；拟合器220，用于将提取的头部俯仰线拟合为直线；俯仰角计算器230，用于计算所述直线偏离垂直方向的角度，作为头部俯仰角。
[0046]根据本发明的示例性实施例，头部的姿势被主要划分为头部的俯仰和偏转两部分。这里，头部的俯仰是指诸如抬头和低头等动作，而头部的偏转是指诸如转头等动作。在拍摄深度图像时，人体面向拍摄装置，因此，俯仰动作将导致深度值沿垂直方向(即，Y轴方向)的变化，而偏转动作将导致深度值沿水平方向(即，X轴方向)的变化，其中，Z轴表示纵深方向。
[0047]具体说来，俯仰线提取器210在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值。作为示例，当提取头部俯仰线时，俯仰线提取器210可从三维空间中的头部区域仅提取头部沿垂直方向的深度值，从而忽略头部在偏转方向的深度值变化。也就是说，俯仰线提取器210将三维头部区域映射到Y-Z平面，其中，Y轴指示头部的垂直方向，Z轴指示头部的纵深方向。具体说来，对于头部俯仰线上的任一点(y，z)，俯仰线提取器210可将三维头部区域中与y值对应的水平方向上的最大深度值确定为深度值z ;或者，作为优选方式，俯仰线提取器210可将三维头部区域中与y值对应的水平方向上的深度平均值确定为深度值z，以获取更为平滑的头部俯仰线。图6示出根据本发明示例性实施例所提取的头部俯仰线的示例。如图6所示，第一行示出在抬头情况下提取的头部俯仰线，可以看出，深度值沿Y轴上升(即，额头相对于下颌更加远离拍摄装置)；第二行示出在平视情况下提取的头部俯仰线，可以看出，深度值沿Y轴变化不大(即，额头与下颌基本处于同一深度平面上)；第三行示出在低头情况下提取的头部俯仰线，可以看出，深度值沿Y轴变小(即，额头相对于下颌更加靠近拍摄装置)。
[0048]在提取了头部俯仰线之后，拟合器220将提取的头部俯仰线拟合为直线。具体说来，头部俯仰角可表示为面部平面与身体平面之间的夹角，而拟合器220则用于将面部平面拟合为Y-Z平面中的直线，该直线与Y轴之间的夹角即代表面部平面与身体平面之间的夹角，即，头部俯仰角。
[0049]拟合器220可采用任何适当的方法(例如，最小平方方法)将提取的头部俯仰线拟合为直线。这里，作为优选方式，考虑到下颌部位与额头部位的弯曲情况，本发明提出由拟合器220使用RANSAC(随机抽样一致性)算法来执行拟合操作的优选方式，以获得更为理想的拟合效果。
[0050]以下将详细描述拟合器220采用RANSAC算法将提取的头部俯仰线拟合为直线的处理。具体说来，就整个面部区域而言，下颌部位与额头部位的弯曲相对次要，因此，RANSAC算法可良好地适用于这一情况。
[0051]首先，拟合器220在头部俯仰线上抽取N个拟合线样点，其中，N为正整数。然后，假设拟合线可表示为ay+bz+c = O,则计算每一样点(yn, zn)(其中，η为样点的序号，
I≤n ≤ N)与假设的拟合线ay+bz+c = O之间的距离，当两者之间的距离小于预定的阈值Tdis(其中，Tdis的值根据经验或实验来确定)时，相应的样点(yn，zn)被认为是有效样点，当两者之间的距离大于或等于所述预定的阈值Tdis时，相应的样点(yn，zn)被认为是无效样点。相应地，拟合器220按照如下等式来确定样点(yn，zn)与假设的拟合线之间的距离DSn:
[0052]
【权利要求】
1.一种用于估计头部姿势的设备，包括: 头部区域提取单元，用于从输入的深度图像提取头部区域； 头部俯仰角估计单元，用于在头部区域中估计头部俯仰角； 头部偏转角估计单元，用于在头部区域中估计头部偏转角； 头部姿势合成单元，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。
2.如权利要求1所述的设备，其中，头部区域提取单元包括:头部检测器，用于基于头部的深度特征从输入的深度图像检测出头部区域；背景去除器，用于从检测出的头部区域去除背景部分；头部区域精化器，用于基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
3.如权利要求1所述的设备，其中，头部俯仰角估计单元包括:俯仰线提取器，用于在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；拟合器，用于将提取的头部俯仰线拟合为直线；俯仰角计算器，用于计算所述直线偏离垂直方向的角度，作为头部俯仰角。
4.如权利要求3所述的设备，其中，拟合器将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
5.如权利要求1所述的设备，其中，头部偏转角估计单元包括:偏转线提取器，用于在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；偏转角计算器，用于基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
6.如权利要求1所述的设备，其中，头部姿势合成单元基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
7.一种用于估计头部姿势的方法，包括: 从输入的深度图像提取头部区域； 在头部区域中估计头部俯仰角； 在头部区域中估计头部偏转角； 基于估计的头部俯仰角和头部偏转角来合成头部姿势。
8.如权利要求7所述的方法，其中，提取头部区域的步骤包括:基于头部的深度特征从输入的深度图像检测出头部区域；从检测出的头部区域去除背景部分；基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
9.如权利要求7所述的方法，其中，估计头部俯仰角的步骤包括:在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；将提取的头部俯仰线拟合为直线；计算所述直线偏离垂直方向的角度，作为头部俯仰角。
10.如权利要求9所述的方法，其中，将提取的头部俯仰线拟合为直线的步骤包括:将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
11.如权利要求7所述的方法，其中，估计头部偏转角的步骤包括:在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
12.如权利要求7所述的方法，其中，基于估计的头部俯仰角和头部偏转角来合成头部姿势的步骤包括:基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头 部姿势。
【文档编号】G06K9/46GK103793680SQ201210420900
【公开日】2014年5月14日 申请日期:2012年10月29日 优先权日:2012年10月29日
【发明者】刘荣, 陈茂林, 张帆 申请人:北京三星通信技术研究有限公司, 三星电子株式会社