专利名称：面部图像检测设备的制作方法
技术领域：
本公开涉及一种面部图像检测设备，该设备在捕获的图像中检测人类面部图像。
背景技术：
专利文献I JP H08-159733A专利文献2 JP H09-021611A (US 5801763)专利文献3 JP 2005-301742A (US 2005/0226472)专利文献4 JP 2005-354155A (US 2005/0270413)专利文献5 JP 2010-176382A根据所公开的驾驶员状态检测设备，设置在车厢中的摄像装置捕获驾驶员的面部。该设备处理捕获的面部图像并且提取面部的特征点，诸如眼睛、鼻子以及嘴。基于特征点位置或者眼睛的睁开或者闭合的状态，该设备检测驾驶状态，诸如驾驶员的面部朝向和疲劳驾驶。驾驶员状态检测设备使用红外闪光灯或者LED照亮并且捕获驾驶员的面部。红外闪光灯或者LED具有近红外波长并且设置在摄像装置附近。可以获取眼球中视网膜反射图像和角膜反射图像的位置作为图像信息来测量来自车辆驾驶员的眼球的反射图像。在强烈的外部光(诸如日光)下，瞳孔收缩并且减小通过瞳孔到达视网膜的光强。这使得难以获得来自视网膜的反射图像并且降低了在眼睛方向上的测量精度。在专利文献I中所公开的车载眼睛方向测量设备通过加快快门速度和增加照明光的峰值功率来降低由于外部光引起的噪声。该设备可以精确地提取反射图像而不增加测量时间。根据在专利文献2中所公开的面部图像捕获设备，眼睛检测装置基于由二维捕获装置捕获的测试对象的面部图像而检测测试对象的眼睛。如果眼睛检测装置没有检测到测试对象的眼睛，则激活红外照明装置以捕获驾驶员的面部图像。甚至驾驶员戴着他的或者她的眼镜，红外照明装置也可以最小化在眼镜的透镜表面中反射的光的影响。红外照明装置利用通过光学滤波器的红外光照亮至少测试对象的面部。提供红外照明装置以使二维捕获装置的光轴和红外光的光轴形成角度，该角度大于或者等于预定的角度。在专利文献3中所公开的驾驶员外貌识别系统可以延长红外照明装置的使用寿命。为此，不同的外貌识别处理将由摄像装置捕获的面部图像的照度改变为所需照度。在专利文献4中所公开的运动图片捕获设备可以根据对象的亮度的改变而自适应地调整在低照度环境下发光设备的发光量。在专利文献5中所公开的发光设备使驾驶员摆脱奇怪的感觉。车辆可使它的照明部工作并且停止它的发动机。在这种情况下，照明设备主要基于由环境光检测部检测到的环境光照明来调整照射光强。车辆可使它的照明部和发动机工作。在这种情况下，发光设备主要基于从识别部通知的识别结果来调整照射光强。如在专利文献I中所描述的，例如，可在强烈的、以致在驾驶员的眼镜中反射周围风景的外部光下检测驾驶员的面部上的特征点。在这种情况下，照明优选地比日光更强。例如，可与图像捕获时序同步地以脉冲激活诸如LED的光源。与稳定的发光相比，这可以更强烈地照射光。依照LED光源的波长，通常使用不可见的近红外光以使驾驶员免受不愉快的感觉或者防止夜间的驾驶麻烦。从近红外光中选择短波长LED以确保图像捕获系统的灵敏度是实际的。通常地，这样的LED包含取决于驾驶员的视觉特征可能被感知为红色的可见组分。取决于图像捕获时序，驾驶员可能感觉到可感知的闪烁，尤其是在夜间或者在黑暗中。稳定地激活照明可以防止闪烁。然而，标称的LED电流幅值产生弱的发射强度并且其过小而无法防止眼镜反射风景。例如，可以以阵列形式设置多个LED以确保足够的发射强度。然而这会增加成本。在专利文献2至专利文献5中所公开的技术根据检测到的眼睛状态、乘员外貌识别处理、对象亮度、或者照明部和发动机的操作状况调整发射光(LED)的发射强度(光强)。然而，专利文献2至专利文献5没有公开或者暗示关于视觉感官的考虑，诸如防止闪烁或者发射强度调整。
发明内容
考虑到前述情况做出了本公开。因此，本公开的目的是提供一种面部图像检测设备，该设备能够抑制照射到乘员的面部的光的闪烁并且减少在驾驶员的眼镜中反射周围风景。为实现以上目的，根据本公开的第一方面，提供了如下面部图像检测设备。包括投光器(projector)，以将光投射到包括车辆中乘员的面部的投射区域。包括图像捕获控制器，以设定用于捕获包括乘员的面部的预定的捕获区域的图像捕获条件。包括图像捕获部，以基于由图像捕获控制器设定的图像捕获条件来执行图像捕获以捕获包括面部的预定的捕获区域。包括环境光检测部，以检测照射到车辆和乘员中的一个的环境光。包括操作模式确定部，以执行模式确定以从至少两种操作模式中确定操作模式，两种操作模式中的一个为第一模式，在第一模式中，由环境光检测部检测到的环境光的光强大于预定的光强阈值，两种操作模式中的另外一个为第二模式，在第二模式中，由环境光检测部检测到的环境光的光强不大于预定的光强阈值。包括光发射模式设置部，以基于由操作模式确定部确定的操作模式来设定用于投光器的光源的发射模式。包括投光器控制器，以基于由光发射模式设置部设定的光发射模式来控制投光器激活光源。根据以上配置，根据环境光情况确定操作模式。基于操作模式设定用于投光器的光发射模式。本控制可以允许驾驶员几乎感知不到作为光源的投光器的闪烁。上述配置可以通过设置光发射模式以相对地增加投光器光强，减少在高强度环境光下的照明闪烁。在日间当风景经常反射在眼镜中时，这也可以减少在眼镜中风景的反射而不会使驾驶员感知到闪烁。另一方面，低强度环境光导致在眼镜中反射风景的影响较小。可以降低投光器光强以延长光发射时间。光发射模式可以被配置成减小光发射周期以使闪烁是不可感知的。结果，可以减少照明闪烁。可以确保必要的光强(发射强度)而不必为投光器设置阵列形式的多个LED。
根据参考附图在下面进行的详细说明，本公开的以上和其他的目的、特征、以及优点将会变得更加明显。在附图中图1是示出根据本公开的实施例的面部图像检测设备的配置的框图；图2是示出根据实施例的投光器控制处理的流程图；图3是示出照度阈值设置的示例的图；图4是示出投光器的投射模式和图像捕获部的图像捕获时序之间的关系的图；图5是示出在操作模式中的投射模式的示例的图；图6是示出摄像装置控制的示例的图；图7是示出根据相关技术的投光器控制处理的流程图。图8是示出基于相关技术数据而准备的、脉宽和以脉冲驱动LED的最大正向电流之间的关系的图；以及图9是示出根据实施例的另一个投光器控制处理的流程图。
具体实施例方式将参考附图描述根据本公开的实施例的面部图像检测设备。根据本实施例，图1示出了车辆中的面部图像检测设备I的配置。面部图像检测设备I包括与环境光检测部3、投光器4、图像捕获部5以及操纵部6相连的主控制电路2。面部图像检测设备I可以通过局域网(LAN) 15与导航设备11可通信地相连。主控制电路2被配置为如同计算机硬件，根据公知的技术，计算机硬件包括CPU、ROM,RAM以及外围电路(诸如AD转换器电路和输入/输出电路)。CPU执行存储在ROM中的控制程序和数据以提供面部图像检测设备I的各种功能。主控制电路2包括操作模式确定部21、光发射模式设置部22、投光器控制器23、图像捕获控制器24、识别部25、设置部27以及存储部28。这些部被表示为等同于以上提及的计算机硬件的功能模块。操作模式确定部21基于从外部源获得的信息确定操作模式并且输出结果。光发射模式设置部22设定对应于操作模式的、用于投光器4的光发射模式。投光器控制器23接收来自光发射模式设置部22的输出并且基于设定的光发射模式来激活或者禁用投光器4的光源4a。图像捕获控制器24接收来自投光器控制器23或者光发射模式设置部22的输出，并且控制图像捕获部5的操作(诸如打开或者关闭快门5a)。例如，图像捕获控制器24还设定图像捕获条件，诸如图像捕获元件的曝光时间、增益以及Y曲线。识别部25包括公知的图像处理电路。识别部25将通过图像捕获部5捕获的图像数据放大到能够进行图像处理的状态。识别部25使用一般的数字化处理或者特征点提取处理提取乘员的面部图像。基于提取结果，识别部25确定是否识别了乘员的面部。设置部27基于操纵部6 (将要描述)的操纵来配置关于面部图像检测设备I的操作的设置。存储部28包括公知的非易失性存储介质，诸如闪速存储器。存储部28存储面部图像检测设备I工作需要的数据，诸如设置部27的内容或者摄像装置控制(也称为摄像装置控制表格)(参见图6)。主控制电路2还可包括用于输出时间和日期信息的时钟IC 29和等同于连接到LANl5的通信接口电路的LAN接口 26。环境光检测部3检测照射到车辆或者车辆的乘员的光(环境光)。环境光包含照射到车辆或者乘员的日光或者路灯灯光、以及车厢中从面部图像检测设备I之外发射出的光。环境光检测部3使用光学传感器或者包含公知的CdS元件的照明光度计。车辆可设置有车载空调(未示出)，该车载空调对车厢进行空气调节。车载空调可包括公知的日光照射传感器，该传感器检测施加到车辆的日光照射的量。环境光检测部3可使用日光照射传感器。投光器4包括诸如红外LED的光源4a，该红外LED可以以脉冲形式照射包含近红外波长的光。投光器控制器23激活光源4a。被激活的光源4a朝向包括其周围的乘员面部照射近红外光。投光器4放置在合适位置以使从光源4a照射的近红外光的光轴近似地与图像捕获部5的光轴一致。图像捕获部5包括例如公知的C⑶或者CMOS摄像装置。图像捕获部5捕获包括乘员的面部的预定区域。图像捕获部5设置有快门5a，快门5a基于预定的时序和曝光时间工作。操纵部6包括钥匙(key)或者开关。例如，操纵部6根据用户操纵指定照度阈值(将在后面详细描述)。众所周知地，导航设备11根据车辆行驶使用GPS (全球定位系统)检测当前位置。导航设备11在显示设备上连同道路地图一起显示当前位置。导航设备11设定从起始点到目的地的合适的路线。导航设备11使用显示设备或者音频输出设备提供引导。导航设备11包括位置检测部Ila和地图数据lib。参考图7，下面描述与本公开相比较的根据相关技术的投光器控制处理。应当注意，在本申请中的流程图或者流程图的处理包括部分(也称为步骤)，部分中的每个表示为例如S11。另外，每个部分可以分为几个子部分，而几个子部分可以组合成单个部分。另外，这样被配置的部分中的每个也可以称为部、设备、模块或者装置。此外，以上说明的部分中的每个或者任意组合可以实现为(i )结合硬件单元(例如，计算机)的软件部分或者(ii)硬件部分，包括或者不包括相关设备的功能；此外，硬件部分可以构建在微型计算机内部。基于来自投光器控制器23的控制指令，投光器4以不变的频率朝向包括其周围的乘员面部照射脉冲近红外光。基于来自图像捕获控制器24的控制指令，图像捕获部5捕获包括乘员的面部的预定区域(S31)。识别部25根据捕获的图像数据识别乘员的面部(S32)。基于识别结果，识别部25可能需要改变控制值(在S33为是)。在这种情况下，识别部25改变控制值(S34)。例如，控制值表示投光器4的光强或者图像捕获部5的快门速度(将在后面详细描述)。处理返回到S31并且照射光和捕获图像。为了改进识别乘员的面部的精度，在图7中所示的配置仅需要执行以下中的至少一个延长照射近红外光的时间、增加近红外光的发射强度(光强)、以及延长曝光时间。例如，稳定光发射延长照射近红外光的时间(即脉宽)。该方法能够防止闪烁的发生。然而，在这一点上，如从基于常规的数据而准备的图8所见，标称的LED电流幅值不能提供足够的发射强度。例如，在环境温度(Ta) ( 60摄氏度，占空比(Tw/T) ( 0. 1，以及脉宽(Tw)(0. OOlsec时，最大正向电流IfkmMAX可以达到0. 4A。参考图2，下面描述根据本实施例的投光器控制处理。本处理包含在以上提及的控制程序中。主控制电路2的CPU反复地执行投光器控制处理和其他处理。
投光器控制处理使用下面方法中的至少一种来获得环境光信息(照度)(S11)。-该处理从包括在环境光检测部3中的光学传感器或者照明光度计获得值，并且使用获得的值作为环境光信息。-该处理将由以上提及的日光照射传感器检测到的日光照射的量转换为照度。-该处理根据从时钟IC29获得的时间和日期信息指定时段(诸如早上、中午、傍晚、以及夜间)并且基于时段估计照度。-如果车窗包含在由图像捕获部5捕获的图像中，则该处理根据捕获的车窗的状态(诸如窗户的亮度)估计照度。-该处理根据由图像捕获部5捕获的图像检测乘员的瞳孔直径并且根据瞳孔直径估计照度(瞳孔直径越大，照度越小)。-该处理从导航设备11获得当前位置信息并且根据当前位置估计照度。例如，当车辆行驶通过隧道时照度降低。操作模式确定部21确定获得的照度是否超过预定的照度阈值。图3例示了照度阈值设置。首先，按照环境光照度从高到低的顺序指定三个区域(参见图3的左侧)。最高的区域是大多数人感知不到闪烁的区域。第二高的区域是一些个人可感知到闪烁的区域。最低的区域是大多数人可感知到闪烁的区域。将照度阈值设置为高于最高的区域和第二高的区域之间的照度分界线。然后，指定明亮(bright)模式和黑暗(dark)模式以使分界线将明亮模式和黑暗模式相互分开(参见图3的右侧)。因此，如果获得的照度超过照度阈值(在S12为是)，则操作模式确定部21将操作模式设置为明亮模式(S13)。如果获得的照度小于照度阈值(在S12为否)，则操作模式确定部21将操作模式设置为黑暗模式(S24)。因为人类对于光的灵敏度随个人而变化，所以照度阈值可以是可变的。为此，乘员根据预定的程序操纵操纵部6。设置部27检测操纵并且在存储部28中存储操纵的内容(即，照度阈值)。设置内容被输出到操作模式确定部21。操作模式确定部21确定操作模式是否发生改变，即，确定的操作模式是否与在之前处理中确定的操作模式相同。如果操作模式发生改变(在S14为是)，则操作模式确定部21将延迟阈值n设置为n2 (S15)。如果操作模式保持没有改变(在S14为否)，则操作模式确定部21将延迟阈值n设置为nl (S25)。假定nl和n2为0或者正整数，并且nl大于n2(nl > n2)。光发射模式设置部22设定对应于操作模式的光发射模式(S16)。参考图4，下面描述用于投光器4的光发射模式和用于图像捕获部5的快门5a的开/关控制时序。根据图4的示例，快门5a以曝光的周期Tl反复地打开和关闭。投光器4与快门5a开/关时序(周期Tl)同步地以脉冲发射光。投光器4开始发射光(开)。从光发射开始起经过预定的时间后，快门5a打开。在曝光时间到时后，快门5a关闭。投光器4停止发射光(关)。曝光时间(打开快门5a的时间)随捕获对象而变化(将详细描述)。当在曝光结束后经过预定的时间时，投光器4可停止发射光。明显地，可参考投光器4的光发射时序来控制图像捕获部5的图像捕获。参考图5,下面描述在各个操作模式中用于投光器4 (或者光源4a)的光发射模式的示例。图像捕获部5的快门5a以例如30Hz的周期重复曝光。在明亮模式中，投光器4与快门5a的曝光同步地被提供有电流I并且发射光(同步曝光-发射(也称为曝光-同步发射))。光发射模式导致脉冲发射。脉冲发射波形可以是锯齿形、三角形、或者正弦曲线形以及矩形或者方形。投光器控制器23和投光器4的配置确定这些波形的使用。图5中的示例示出了对应于黑暗模式I至黑暗模式7的光发射模式。使用这些模式中的一个。明显地，优选的是设定多个照度阈值以细分在图3中所示的黑暗模式区域并且将七个光发射模式中的一个应用于细分区域中的每个。下面描述对应于黑暗模式的光发射模式。在黑暗模式I中，投光器4以60Hz的周期重复光发射。即，投光器4以与快门5a的曝光同步的时序(也称为时间间隔)(同步曝光-发射)和与快门5a的曝光异步的时序(异步曝光-发射(也成为曝光异步发射))以脉冲形式发射光。这可以抑制闪烁的发生。以上描述使用60Hz的光发射周期作为代表性的示例。然而，由于车辆震动，即使60Hz的周期也可能允许感知到闪烁。在黑暗模式I中，可以使用公知的震动传感器(未示出)以检测在车辆中的各个位置处的震动。用于异步曝光-发射的光发射周期可以根据震动频率变化。本配置提供了检测车辆中震动的震动检测部。光发射模式设置部根据检测到的震动频率设定用于异步曝光-发射的光发射模式。在高震动频率的情况下容易感知到闪烁。因此，相应地提高光发射频率以使闪烁难以感知。有关的震动表示投光器本身的震动和驾驶员的震动之间的相对值。驾驶员的震动难以测量。可以使用在他或者她的头部的震动频率。使用人体模型根据座椅震动估计此震动频率。在黑暗模式2中，与黑暗模式I类似，投光器4以60Hz的周期重复脉冲光发射。当发射光时，与时序与快门5a的曝光同步的电流I相比，黑暗模式2允许时序与快门5a的曝光异步的电流(即，光发射强度)12较小。这可以抑制闪烁的发生。另外，与黑暗模式I相t匕，黑暗模式2使投光器4能够减少更多的消耗电流。当发射光时，与黑暗模式2中的电流12相比，黑暗模式3允许时序与快门5a的曝光异步的光发射电流13较小。与黑暗模式2相比，黑暗模式3使用较长的光发射时间。这可以抑制闪烁的发生。另外，与黑暗模式I相比，黑暗模式3使得投光器4能够减少更多的消耗电流。在黑暗模式4中，与明亮模式类似，投光器4以30Hz的周期重复光发射。另外，与明亮模式相比，黑暗模式4使用较长的光发射时间而同时保持电流值不变。这可以抑制闪烁的发生。在黑暗模式5中，与明亮模式类似，投光器4以30Hz的周期重复光发射。在快门5a的曝光之后，黑暗模式5使用电流15保持光发射，其中电流15与用于曝光的电流I不同(例如，小于电流I)。光发射持续预定的间隔(例如，短于光发射周期)。这可以抑制闪烁的发生。另外，与黑暗模式4相比，黑暗模式5使投光器4能够减少更多的消耗电流。在黑暗模式6中，无论快门5a的曝光时序如何投光器4都稳定地发射光。与明亮模式中的电流值I相比，光发射电流16较小。这可以抑制闪烁的发生。另外，与黑暗模式4相比，黑暗模式6使得投光器4能够减少更多的消耗电流。黑暗模式7组合了明亮模式与黑暗模式6。在快门5a停止曝光后，投光器4使用光发射电流17稳定地发射光，其中电流17小于用于曝光的电流I。这可以抑制闪烁的发生。另外，与黑暗模式4相比，黑暗模式7使投光器4能够减少更多的消耗电流。
考虑到对应的光发射模式，与其他模式相比，黑暗模式1、黑暗模式2以及黑暗模式6更加高效。现在返回参考图2，投光器控制器23基于设定的光发射模式和图像捕获时序控制投光器4的光发射。图像捕获控制器24控制图像捕获部5的操作以捕获图像(S17)。识别部25根据由图像捕获部5捕获的图像数据识别乘员的面部(S18)。基于识别结果，识别部25确定是否需要改变控制值。例如，图像识别部25从捕获的乘员的面部图像中检测等同于皮肤的区域(诸如前额或者面颊)作为预定的面部部分区域。识别部25比较乘员的皮肤的颜色(过滤后的像素值)和已经存储在存储部28中的预定的参考颜色。基于比较结果(例如，两个颜色之间的数字化差异)，识别部25确定是否需要改变控制值。如果不需要改变控制值(在S19为否)，则处理增加延迟计数M的值(S23)。处理返回到S17并且使用当前的控制值重复光发射和图像捕获。如果需要改变控制值(在S19为是)，则处理比较延迟计数M的值和延迟阈值n。如果M>n为真(在S20为是)，则处理将延迟计数M设置为0 (S21)。处理返回到Sll并且再次确定操作模式。如果M>n为假(在S20为否)，则处理改变控制值(S22)并且增加延迟计数M的值(S23)。处理返回到S17并且执行光发射和图像捕获。紧接在操作模式改变之后，如上所述，延迟阈值n包含小于延迟阈值nl的n2，其中nl用于保持操作模式不变的正常操作。操作模式确定部21基于特定时间间隔验证操作模式的改变。相比于用于操作模式不变的特定时间间隔，用于操作模式改变的特定时间间隔被设置为较短。操作模式确定部21可以确定操作模式是否发生临时改变。如果车辆行驶在桥梁下或者在建筑物后面，由于在相对短的时间段内照度的改变，操作模式可能发生改变。在这种情况下，可以快速恢复到发生改变之前的操作模式。这可以缩短无法精确识别乘员面部的时间。参考图6，下面详细描述控制值。参考之前存储在存储部28中的摄像装置控制或者摄像装置控制表格确定控制值。摄像装置控制表格包含至少一个控制表格(表格I)。例如，“dB”参数表示从捕获的乘员的面部图像的颜色和参考颜色之间的比较得出的数字化差异或者指数。“dB”参数的初始值为“O”。在这种情况下，“快门时间”被设置为300y sec。“快门时间”等同于快门5a打开的时间(曝光时间)。在这种情况下，“增益”加倍。“增益”表示放大因子，图像捕获部5以该放大因子来放大捕获的图像数据(模拟信号)。S卩，控制值包括“快门时间”和“增益”。控制值包含相同的“增益”参数和不同的“快门时间”参数。因此，控制值是可调整的。明显地，控制值可包含相同的“快门时间”参数和不同的“增益”参数。如果与参考颜色相比捕获的面部图像的颜色较暗，则发射强度较小。在这种情况下，例如基于两种颜色之间的差异，控制值改变为与大于当前“dB”值的“dB”值对应的“快门时间”和“增益”。另一方面，如果与参考颜色相比捕获的面部图像的颜色较亮，则发射强度足够大。在这种情况下，基于两种颜色之间的差异，控制值改变为与小于当前“dB”值的“dB”值对应的“快门时间”和“增益”。当操作模式发生改变时，图像捕获可以使用对应于当前“dB”值的控制值或者对应于设置为“ 0 ”的“ dB ”值的控制值。
可以提供从表格I至表格3的多个摄像装置控制表格。可以根据捕获的面部图像的颜色和参考颜色之间的比较结果(颜色差异)而选择并且使用从表格I至表格3中的任一个。可以根据选择的表格确定控制值。可以为光发射模式中的每个提供摄像装置控制表格。参考图9，下面描述根据本公开的本实施例的投光器控制处理的另外一个示例。本处理是以上描述的图2中的处理的变型。在图9和图2中互相对应的处理步骤以相同的参考标记表示并且出于简化的目的省略详细的描述。从Sll至S18等同于图2中的这些步骤。在S18，识别部25根据由图像捕获部5捕获的图像数据识别乘员的面部。识别部25比较延迟计数M的值和延迟阈值n。如果M>n为真(在S19a为是)，则处理将延迟计数M设置为0 (S21)。处理返回到Sll并且再次确定操作模式。如果M>n为假(在S19a为否)，则识别部25确定是否需要改变控制值。如果不需要改变控制值(在S20a为否)，则处理增加延迟计数M的值(S23a)。处理返回到S17并且使用当前控制值重复光发射和图像捕获。如果需要改变控制值(在S20a为是)，则处理改变控制值(S22a)。处理增加延迟计数M的值(S23a)并且返回到S17以执行光发射和图像捕获。尽管已经在前述概述中阐述了本公开的第一方面，其他可选的方面可如下阐述。例如，作为第二方面，面部图像检测设备可包括识别部，该识别部根据由图像捕获部捕获的图像数据识别乘员的面部并且检测乘员的面部中预定的面部部分区域的像素值。在此，图像捕获控制器可以调整当投光器使用光发射模式发射光时、图像捕获部的曝光时间和增益中的至少一个以使识别部检测到的预定的面部部分区域的像素值接近预定的参考值，并且针对图像捕获部的下次图像捕获，将调整后的参数反映在图像捕获条件上，以再次设定已再次设定后的图像捕获条件以捕获预定的捕获区域。图像捕获部可基于已再次设定后的图像捕获条件执行下次图像捕获以捕获包括面部的预定的捕获区域。作为第三方面，在来自识别部的识别结果表明乘员的面部中的预定的面部部分区域的像素值不在距离预定参考值的预定的范围中的情况下，图像捕获控制器可以直到从之前设定图像捕获条件起经过预定的设定时间间隔后才再次设定已再次设定后的图像捕获条件以捕获预定的捕获区域。换言之，当满足再次设定条件时，图像捕获控制器可以再次设定已再次设定后的图像捕获条件以捕获预定的捕获区域。再次设定条件可以是这样的条件(i)来自识别部的识别结果表明乘员的面部中的预定的面部部分区域的像素值不在距离预定的参考值的预定的范围中，并且同时地，(ii)从之前设定图像捕获条件开始经过预定的设定时间间隔。例如，只要识别结果表明乘员的面部中的预定的面部部分区域的像素值不在距离预定的参考值的预定的范围中，图像捕获控制器就可以首先反复地再次设定已再次设定后的图像捕获条件。在这种情况下，因为识别结果被反馈，所以图像捕获条件会过于频繁地改变。因此，可能不能正确地识别乘员的面部。所以，当经过预定的设定时间间隔时，图像捕获控制器可以使用在识别部中的识别结果，从而再次确定图像捕获条件(即，再次设定后的图像捕获条件)。作为第四方面，操作模式确定部可直到从之前确定操作模式开始经过预定的确定时间间隔后，才基于由环境光检测部检测到的环境光的状态执行模式再次确定，以再次确定已再次确定后的操作模式。换言之，当满足再次确定条件时，操作模式确定部可基于由环境光检测部检测到的环境光状态执行模式再次确定，以再次确定已再次确定后的操作模式。确定条件可能是这样的条件从之前确定操作模式开始经过了预定的确定时间间隔。在本配置下，节省了再次确定操作模式的时间和努力，并且可以迅速地和正确地识别乘员的面部。另外，可提供本配置以克服下面的问题。即，可周期性地测量环境光的状态以确定操作模式。由于在车辆的行驶环境下时刻改变的环境光的影响的反馈，操作模式会过于频繁地发生改变。另外，如果当识别到的乘员面部的状态接近参考状态时操作模式改变，则正相反，之后的识别的状态可能与参考状态更加不同，并且可能不会收敛到用于识别乘员面部的最优控制。因此，不能正确地识别乘员的面部。作为第五方面，当从之前确定操作模式起经过了预定的确定时间间隔时，或者当在从之前确定操作模式起经过预定的时间间隔后，用于再次确定已再次确定后的图像捕获条件的请求发生时，操作模式确定部可执行模式再次确定以再次确定已再次确定后的操作模式。换言之，当满足第一条件和第二条件中的一个时，操作模式确定部可执行模式再次确定以再次确定已再次确定后的操作模式。第一条件可以是这样的条件从之前确定操作模式起刚刚经过预定的确定时间间隔。第二条件可以是这样的条件在从之前确定操作模式起经过预定的确定时间间隔后，用于再次确定已再次确定后的图像捕获条件的请求发生。以上配置可以防止操作模式的再次确定过于频繁地发生，使得能够迅速且正确地识别乘员的面部。作为第六方面，光发射模式设置部可基于环境光的状态改变用于光源的光发射模式，其中由环境光检测部以预定的检测时间间隔检测到环境光的状态，从而减少乘员感知到的闪烁。本配置优先减少闪烁而不是乘员的面部的识别。因此，可以防止光源的光发射(即，闪烁)成为驾驶的阻碍或者恶化车厢环境。作为第七方面，当操作模式被指定为等同于第一模式的明亮模式时，其中在第一模式中由环境光检测部检测到的环境光的光强大于预定的光强阈值，光发射模式设置部可以将光发射模式设定为包括曝光-同步发射，其中曝光-同步发射等同于与图像捕获部的曝光时间间隔同步的脉冲光发射。在风景或者景色反射在眼镜上的情形中存在大量的环境光。因此，即使执行投光器(即，光源)的脉冲光发射并且增加光发射的量，驾驶员也很难感知到闪烁。因此，上述配置可以在明亮模式中相对于环境光的量增加光发射的量(即，增加S/N比)，同时抑制闪烁的产生。因此,能够正确识别乘员的面部。作为第八示例，当操作模式被指定为等同于第二模式的黑暗模式时，其中在第二模式中由环境光检测部检测到的环境光的光强不大于预定的光强阈值，光发射模式设置部可以将光发射模式设定为包括曝光-同步发射和曝光-异步发射。曝光-同步发射为与图像捕获部的曝光时间间隔同步的脉冲光发射。曝光-异步发射为与图像捕获部的曝光时间间隔异步的光发射模式。本配置可在黑暗模式中增加脉冲发射的重复次数(即，频率)，从而减少乘员感知到的闪烁。作为第九示例，光发射模式设置部可以将在曝光-异步发射中的光发射模式设定为脉冲光发射。
在曝光-异步发射中的光发射模式被设定为脉冲光发射；因此，表面上脉冲的频率变高。当抑制了光源的闪烁时，可在曝光-同步发射下进行图像捕获时获得足够的光量。因此，能够正确地识别乘员的面部。应当注意，当环境光弱时，风景或者景色难以反射在眼镜上。另外，执行曝光-异步发射；因此投光器需要执行不必要的光发射。如果考虑到在标称电流内使用光源，与在明亮模式中的光量相比，需要将在曝光-同步发射中的光量设置为相对低的值。然而，在黑暗模式中根本上存在很少的环境光；因此，保持S/N足够高。作为第十方面，光发射模式设置部可以将在曝光-异步发射中的光发射模式设定为稳定的光发射。本配置可以通过使得投光器执行稳定的光发射来抑制光源的闪烁。另外，可以延长曝光时间；因此，在图像捕获时可以获得足够的光量。因此，能够正确地识别乘员的面部。另外，稳定的光发射要求投光器在曝光时间之外的时间期间执行无用的光发射。如果考虑到在标称电流内使用光源，则需要将光发射的量设置为相对的低。然而，在黑暗模式中根本上存在很少的环境光；因此，保持S/N足够高。延长曝光时间没有提供缺点。作为第十一方面，光发射模式设置部可根据曝光-同步发射和曝光-异步发射中的每个而使用施加到光源的电流的单独的值。本配置表面上增加了光发射的频率。当抑制了光源的闪烁时，在图像捕获时可以获得足够的光量。因此，能够正确地识别乘员的面部。另外，以上配置减少了在曝光-异步发射中施加的电流，因此减少了光源消耗的电流。作为第十二方面，从光源发射的光可包括近红外波长。可以通过使用传统的面部图像检测设备而不需要较大程度地改变传统的设备实现本配置，该传统的面部图像检测设备使用红外频闪仪或者具有近红外波长区的LED来捕获驾驶员的面部的图像。虽然参考本公开的优选实施例描述了本公开，但应当理解本公开不限于优选的实施例和结构。本公开旨在涵盖各种变型和等价的布置。另外，尽管公开了优选的各种组合和配置，但是包括更多、更少或者仅有一个元件的其他组合和配置也在本公开的范围和精神内。
权利要求
1.一种面部图像检测设备(1)，包括: 投光器(4)，将光投射到包括车辆中乘员的面部的投射区域； 图像捕获控制器(24)，设定用于捕获包括所述乘员的所述面部的预定的捕获区域的图像捕获条件； 图像捕获部(5)，基于由所述图像捕获控制器设定的所述图像捕获条件，执行图像捕获以捕获包括所述面部的所述预定的捕获区域； 环境光检测部(3)，检测照射到所述车辆和所述乘员中的一个的环境光； 操作模式确定部(21)，执行模式确定以从至少两种操作模式中确定操作模式，所述两种操作模式中的一个是第一模式，在所述第一模式中，由所述环境光检测部检测到的所述环境光的光强大于预定的光强阈值，所述两种操作模式中的另外一个是第二模式，在所述第二模式中，由所述环境光检测部检测到的所述环境光的光强不大于所述预定的光强阈值； 光发射模式设置部(22)，基于由所述操作模式确定部确定的所述操作模式，设定用于所述投光器的光源的光发射模式；以及 投光器控制器(23)，基于由所述光发射模式设置部设定的所述光发射模式，控制所述投光器激活所述光源。
2.根据权利要求1所述的面部图像检测设备，包括: 识别部(25)，根据由所述图像捕获部捕获的图像数据识别所述乘员的所述面部，并且检测所述乘员的所述面部中预定的面部部分区域的像素值， 其中: 所述图像捕获控制器: 调整当所述投光器使用所述光发射模式发射光时、所述图像捕获部的曝光时间和增益中的至少一个，以使由所述识别部检测到的所述预定的面部部分区域的所述像素值接近预定的参考值，以及 针对所述图像捕获部的下一次图像捕获，将调整后的参数反映在所述图像捕获条件上，以再次设定已再次设定后的图像捕获条件以捕获所述预定的捕获区域；以及 所述图像捕获部基于再次设定后的图像捕获条件执行所述下一次图像捕获，以捕获包括所述面部的所述预定的捕获区域。
3.根据权利要求2所述的面部图像检测设备，其中: 在来自所述识别部的识别结果表明所述乘员的所述面部中的所述预定的面部部分区域的像素值不在距离所述预定的参考值的预定的范围内的情况下， 所述图像捕获控制器直到从之前设定所述图像捕获条件起经过预定的设定时间间隔后才再次设定所述已再次设定后的图像捕获条件以捕获所述预定的捕获区域。
4.根据权利要求 1所述的面部图像检测设备， 其中，所述操作模式确定部直到从之前确定所述操作模式起经过预定的确定时间间隔后，才基于由所述环境光检测部检测到的环境光的状态执行模式再次确定，以再次确定已再次确定后的操作模式。
5.根据权利要求4所述的面部图像检测设备， 其中，当从之前确定所述操作模式起刚刚经过所述预定的确定时间间隔时或者当从之前确定所述操作模式起经过所述预定的时间间隔后用于再次设定已再次设定后的图像捕获条件的请求发生时，所述操作模式确定部执行所述模式再次确定，以再次确定所述已再次确定后的操作模式。
6.根据权利要求1所述的面部图像检测设备， 其中，所述光发射模式设置部基于所述环境光的状态改变用于所述光源的所述光发射模式，从而减少所述乘员感知到的闪烁，其中由所述环境光检测部以预定的检测时间间隔检测所述环境光的状态。
7.根据权利要求1所述的面部图像检测设备， 其中，当所述操作模式被指定为等同于所述第一模式的明亮模式时，在所述第一模式中由所述环境光检测部检测到的所述环境光的光强大于所述预定的光强阈值，所述光发射模式设置部将所述光发射模式设定为包括曝光-同步发射，所述曝光-同步发射等同于与所述图像捕获部的曝光时间间隔同步的脉冲光发射。
8.根据权利要I至权利要求7中的任一项所述的面部图像检测设备，其中: 当所述操作模式被指定为等同于所述第二模式的黑暗模式时，在所述第二模式中由所述环境光检测部检测到的所述环境光的光强不大于所述预定的光强阈值，所述光发射模式设置部将所述光发射模式设定为包括曝光-同步发射和曝光-异步发射， 所述曝光-同步发射为与所述图像捕获部的曝光时间间隔同步的脉冲光发射， 所述曝光-异步发射为与所述图像捕获部的曝光时间间隔异步的光发射模式。
9.根据权利要求8所述的面部图像检测设备， 其中，所述光发射模式设置部将所述曝光-异步发射中的光发射模式设定为脉冲光发射。
10.根据权利要求8所述的面部图像检测设备， 其中，所述光发射模式设置部将所述曝光-异步发射中的光发射模式设定为稳定的光发射。
11.根据权利要求8所述的面部图像检测设备， 其中，所述光发射模式设置部根据所述曝光-同步发射和所述曝光-异步发射中的每个而使用用于施加到所述光源的电流的单独值。
12.根据权利要求1至权利要求7中的任一项所述的面部图像检测设备， 其中，从所述光源发射的光包括近红外波长。
全文摘要
本发明提供了一种面部图像检测设备。车载式面部图像检测设备(1)如下工作。投光器(4)投射光。捕获控制器(24)设定用于捕获包括乘员的面部的预定区域的捕获条件。捕获部(5)基于捕获条件捕获预定的区域。环境光检测部(3)检测照射到车辆或者乘员的环境光。操作模式确定部(21)确定第一模式或者第二模式，其中在第一模式中环境光的强度大于阈值，在第二模式中环境光的强度不大于阈值。光发射模式设置部(22)基于操作模式设定用于投光器的光源的光发射模式。投光器控制器(23)基于光发射模式控制投光器激活光源。
文档编号H04N5/235GK103077370SQ20121030104
公开日2013年5月1日 申请日期2012年8月22日 优先权日2011年8月25日
发明者渡边泰斗, 大见拓宽 申请人:株式会社电装