人脸检测装置、方法
【技术领域】
[0001]本发明涉及根据拍摄到的图像来检测人脸的状态的人脸检测装置、方法。
【背景技术】
[0002]近年来，对所拍摄到的静态图像或动态图像中所含的人脸的位置、朝向以及眼睛及嘴等人脸器官(构成人脸的各器官)的状态进行检测的人脸检测技术的开发正在进展。例如，在车辆中，能够通过进行驾驶员的脸部检测，来检知心不在焉地开车、打瞌睡开车，并进行警告等的规定的动作。为了进行这种检知需要持续进行实时地人脸检测，但在车辆的内部，光的强度及方向容易变化，而且驾驶员的脸部容易由于车体的晃动而运动。为此，尤其在车辆中的人脸检测中，要求能够进行实时的处理并且光及抗由人脸的状态的变化等引起的噪声。
[0003]非专利文献I中公开了如下的人脸检测技术(ASM:Active Shape Model ;主动形状模型，AAM:Active Appearance Model ;主动外观模型):使用最速下降法等使统计性的人脸形状模型与图像中的人脸对应，即通过进行模型拟合来生成图像中的人脸的模型。使用该技术生成图像中的人脸的模型，并继续使该模型适合图像中的人脸，即进行追踪，由此能够随时间推移来确定人脸的位置及朝向以及各人脸器官的状态。
[0004]另外，在专利文献I中，公开了如下的人脸器官检测技术:使用帧间的差分图像检测由眨眼引起的图像的变化作为动态区域，将面积最大的动态区域确定为眼睛的位置。在眼睛位置检测所用的一般的方法中，大多将眼镜框或眉毛误检测为眼睛位置，但通过使用专利文献I的技术，能够抑制将眼镜框或眉毛误检测为眼睛位置，能够高精度地进行眼睛位置检测。
[0005]专利文献
[0006]专利文献1:日本特开2008-192100号公报
[0007]非专利文献
[0008]非专利文献l:Stan Z.L1.Anil K.Jain, “Handbook of Face Recognit1n，，，Springer.2011 年，p.124-133
[0009]在非专利文献I所记载的技术中，模型拟合的精度根据模型的初始状态、即最初将模型配置在图像的何处并设定成怎样的角度、形状而受到较大的影响。模型的初始状态大大偏离实际的人脸的状态时，存在相应于实际的人脸而生成模型所用的模型拟合的计算落入局部最优解，从而模型偏离实际的人脸而收敛的情况。将该情况称为误拟合，在发生误拟合时，人脸的模型的精度降低。尤其是，容易出现模型的眼睛的位置错误地收敛在眼镜框或眉毛的位置的情况。此外，在进行模型的追踪期间，有时模型与实际的人脸之间产生偏差而模型的精度降低的情况。在非专利文献I中，关于在上述情况下修正模型的方法，并未有所教导启示。
[0010]另外，在专利文献I所记载的技术中，差分图像容易受到光的强度及方向的变化以及人脸的运动引起的噪声的影响，因此仅仅用差分图像难以始终持续检测眼睛位置。为此，在专利文献I所记载的技术中，在噪声较多的图像持续期间，可能无法进行眼睛位置检测，而无法保持模型的随时间推移的精度。
【发明内容】
[0011]本发明是为了解决上述的问题点而做出的，目的在于，提供能够随时间推移而保持人脸的模型的精度的人脸检测装置、方法。
[0012]本发明的一个形态，是用于根据拍摄部拍摄的包括人脸的图像来进行人脸检测的人脸检测装置，该人脸检测装置的特征在于，具备:模型拟合部，其基于来自所述拍摄部的第一图像，生成所述人脸的第一模型；追踪部，其使所述第一模型适合来自所述拍摄部的第二图像；位置检测部，其基于所述第二图像而检测所述人脸的人脸器官的位置；比较部，其判断由所述追踪部进行适合处理后的所述第一模型中的所述人脸器官的位置与由所述位置检测部检测出的所述人脸器官的位置之间是否产生了偏差；在所述比较部判断为产生了所述偏差的情况下，所述模型拟合部基于所述第二图像而生成所述人脸的第二模型。
[0013]本发明的一个形态是人脸检测方法，其特征在于，包括:从拍摄单元取得包括人脸的第一图像的步骤；模型拟合单元基于所述第一图像而生成所述人脸的第一模型的步骤；从所述拍摄单元取得包括所述人脸的第二图像的步骤；追踪单元使所述第一模型适合所述第二图像的步骤；与所述适合处理的步骤并行地，位置检测单元基于所述第二图像而检测所述人脸的人脸器官的位置的步骤；比较单元判断在进行所述适合处理的步骤中进行适合处理的所述第一模型中的所述人脸器官的位置与在进行所述检测的步骤中检测出的所述人脸器官的位置之间是否产生了偏差的步骤；在进行所述判断的步骤中所述比较单元判断为产生了所述偏差的情况下，所述模型拟合单元基于所述第二图像而生成所述人脸的第二模型的步骤。
[0014]本发明的一个形态，是用于根据由拍摄单元拍摄的包括人脸的图像进行人脸检测的程序，该程序的特征在于使计算机作为以下单元发挥功能:模型拟合单元，其基于来自所述拍摄单元的第一图像，生成所述人脸的第一模型；追踪单元，其使所述第一模型适合来自所述拍摄单元的第二图像；位置检测单元，其与由所述追踪单元进行的所述第一模型的适合处理并行地，基于所述第二图像而检测所述人脸的人脸构成的位置；及比较单元，判定在由所述追踪单元进行了适合处理的所述第一模型中的所述人脸构成的位置与由所述位置检测单元检测到的所述人脸构成的位置之间是否产生了偏差，在所述比较单元判定为产生了所述偏差的情况下，所述模型拟合单元基于所述第二图像生成所述人脸的第二模型。
[0015]发明的效果
[0016]根据本发明，在模型的眼睛的位置与根据图像检测到的眼睛的位置之间产生了偏差的情况下进行再次模型拟合，因此能够降低模型相对于实际的人脸的偏差而保持在精度较高的状态。
【附图说明】
[0017]图1是本发明的一实施方式所涉及的车辆的车厢的示意图。
[0018]图2是本发明的一实施方式所涉及的人脸检测装置的概略框图。
[0019]图3是本发明的一实施方式所涉及的人脸检测装置的功能框图。
[0020]图4A是用于说明模型的示意图。
[0021]图4B是用于说明模板的示意图。
[0022]图5A是对本发明的一实施方式所涉及的人脸检测处理进行表示的示意图(从正面观察到的包括对象人的人脸的图像)。
[0023]图5B是对本发明的一实施方式所涉及的人脸检测处理进行表示的示意图(模型的眼睛位置与对象人的眼睛位置一致的情况)。
[0024]图5C是对本发明的一实施方式所涉及的人脸检测处理进行表示的示意图(模型的眼睛位置与对象人的眼睛位置不一致的情况)。
[0025]图6是对本发明的一实施方式所涉及的人脸检测处理的流程进行表示的图。
[0026]图7是本发明的一实施方式所涉及的初始模型拟合处理的流程进行表示的图。
[0027]图8是对本发明的一实施方式所涉及的追踪处理的流程进行表示的图。
[0028]图9是对本发明的一实施方式所涉及的眼睛位置检测处理的流程进行表示的图。
[0029]图1OA是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图(对象人处于闭眼状态的情况)。
[0030]图1OB是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图(对象人处于睁眼状态的情况)。
[0031]图1OC是对本发明的一实施方式所涉及的眼睛位置检测方法进行表示的示意图(睁眼状态的图像与闭眼状态的图像的差分图像)。
[0032]图11是对本发明的一实施方式所涉及的眼睛位置比较方法进行表示的示意图。
[0033]图12是对本发明的一实施方式所涉及的再次模型拟合处理的流程进行表示的图。
[0034]附图标记说明
[0035]I人脸检测装置
[0036]2拍摄部
[0037]3 A/D变换部(模拟/数字变换部)
[0038]4 接口(I/F)
[0039]5 ROM
[0040]6 RAM
[0041]7输出部
[0042]8 运算部(CPU)
[0043]9存储部
[0044]11模型拟合部
[0045]12追踪部
[0046]13位置检测部
[0047]14眼睛位置比较部
[0048]15动作部
[0049]100 车辆
[0050]101驾驶席(驾驶位置)
【具体实施方式】
[0051]以下，参照附图对本发明的实施方式进行说明，但本发明并不限定于本实施方式。另外，在以下说明的附图中，具有相同功能的结构标注相同的附图标记，有时也省略其重复的说明。
[0052]图1是对具有本实施方式所涉及的人脸检测装置I的车辆100的车厢进行表示的示意图。车辆100具备具有拍摄部2的人脸检测装置I。人脸检测装置I可以设置在车辆100内的任意场所。人脸检测装置I既可以是单独的装置，而且也可以装入到车辆100内的其他系统(例如，车载导航系统)中。
[0053]拍摄部2在车厢内设置在驾驶席101的前方(即，车辆100的行进方向侧)。拍摄部2构成为至少能够拍摄包括坐在驾驶席101的成为人脸检测的对象人的驾驶员的脸部的区域。在本实施方式中，拍摄部2设置在仪表板上，但只要能够从正面方向拍摄驾驶员的脸部即可，也可以设置在方向盘、顶棚或车厢内后视镜上。
[0054]图2是本发明的实施方式所涉及的人脸检测装置I的概略框图。人脸检测装置I具备用于拍摄驾驶员的脸部的拍摄部2。拍摄部2具备具有透镜23的摄影机21和控制部22。摄影机21可以是通常的可见光用CXD摄影机或CMOS摄影机，而且也可以是近红外线用CCD摄影机。近红外线用CCD摄影机与可见光用CCD摄影机相比较，不受人的个别的肌色所左右。另外，与可见光用CCD摄影