面部图像获取装置的制作方法

专利名称：面部图像获取装置的制作方法
技术领域：
本发明通常涉及用于获取驾驶员的面部图像的面部图像获取装置。
背景技术：
已知驾驶员监视装置使用感应模块来获得驾驶员的面部图像，以检测 驾驶员在驾驶操作期间的不利状态，例如瞌睡和不专心的驾驶。需要以上 驾驶员监视装置来在任何时间，例如白天或者夜间，可靠地获取面部图像。 从而，通常，将包括近红外线的光做为参考光从照明器施加到驾驶员的面 部，以便建立用于获取面部图像的可靠情形。然后，通过图像处理对在以 上情形下所获取的面部图像进行处理，以便检测到驾驶员的面部并且检测 到面部。
然而，事实上，由于日光的不利影响、建筑物的反射光和驾驶员的眼 镜所反射的照明器反射光，难以充分地执行图像处理并且不利的是还不能 实现以上检测。
为了解决以上劣势，对应于US 6952498的JP-A-2002-352220中所描述 了一种技术，该技术用于在当来自两个方向的照明施加于驾驶员时，获取 驾驶员的面部部分的图像，并且从所获取到的图像中去除反射的图像，以 检测视网膜反射的图像。在以上中，获取的图像之一中的反射图像所位于 的位置与另一个获取的图像中的反射图像的位置不同，并且将以上的反射 图像确定为与眼镜的平滑反射平面相对应的图像。
以上JP-A-2002-352229中所描述的技术中，可以获得没有平滑反射平
面所反射的反射图像的图像，然而，可能无法去除诸如日光的环境光的影 响。

发明内容
鉴于以上劣势做出本发明。从而，本发明的目的是为了解决至少一个以上劣势。
根据本发明的一个方面，提供了一种面部图像获取装置，其包括照相 机、同轴照明器、离轴照明器，照明控制设备，图像获取控制设备和亮度 计算处理设备。照相机重复地获取车辆乘坐者的面部的图像。将同轴照明 器排列得大体上相对于照相机的光轴同轴。将离轴照明器排列得相对于照 相机的光轴非同轴。照明控制设备被配置为通过控制同轴照明器所发射的 光的光量和离轴照明器所发射的光的光量，来调整施加到乘坐者的面部的
光的照明条件。图像获取控制设备被配置为控制照相机IO在图像获取定时
获取面部的图像，其中该图像获取定时与通过照明控制设备来调整照明条 件的定时同步。亮度计算处理设备被配置为对以下面部图像中的每一个执 行亮度计算处理。照相机在第一照明条件下获取亮瞳孔面部图像，在该条 件中主要通过同轴照明器将光施加到面部。照相机在第二照明条件下获取 暗瞳孔面部图像，在该条件中主要通过离轴照明器将光施加到面部。照相 机在第三照明条件下获取环境光面部图像，在该条件中主要将乘坐者周围 的环境光施加到面部。
根据本发明的另一个方面，还提供了用于车辆的面部图像获取装置， 该装置包括照相机、同轴照明器、离轴照明器、照明控制设备、图像获取 控制设备和亮度计算处理设备。照相机重复地获取车辆乘坐者的面部的图 像。将同轴照明器大体排列在照相机的光轴上。将离轴照明器大体排列在 照相机的光轴外。照明控制设备被配置为控制同轴照明器和离轴照明器， 用于调整施加到乘坐者的面部的光的照明条件。图像获取控制设备被配置
为控制照相机IO在图像获取定时获取面部的图像，其中该图像获取定时与
用于调整照明条件的照明控制设备的定时同步。亮度计算处理设备被配置 为使用亮瞳孔面部图像、暗瞳孔面部图像和环境光面部图像来生成乘坐者 的面部的至少一个不同图像。照相机在第一照明条件下获取亮瞳孔面部图 像，在该条件中面部接收主要由同轴照明器所发射的光。照相机在第二照 明条件下获取暗瞳孔面部图像，在该条件中面部接收主要由离轴照明器所 发射的光。照相机在第三照明条件下获取环境光面部图像，在该条件中面 部主要接收乘坐者周围的环境光。


将从以下描述、附带的权利要求书和附图最好地理解本发明，以及其 中额外的目的、特征和优势，其中
图1是示出了本发明的一个实施例的面部图像获取装置的通用结构的 方框图2是示出了在车辆的乘客舱中的照相机和同轴照明器的排列的图3是示出了将同轴照明器排列得大体上相对于照相机的光轴同轴， 以及将离轴照明器排列得大体上相对于照相机的光轴非同轴的状态的图4是示出了照相机获取图像的定时、开启同轴照明器和非同轴照明 器的定时和输出照相机所获取的面部图像的定时的定时图表；
图5A是示出了当驾驶员不戴眼镜时所获取到的亮瞳孔面部图像的图； 图5B是示出了当驾驶员不戴眼镜时所获取到的暗瞳孔面部图像的图； 图5C是示出了当驾驶员不戴眼镜时所获取到的环境光面部图像的图； 图6A是示出了当驾驶员不戴眼镜时的部分检测图像的图； 图6B是示出了当驾驶员不戴眼镜时的瞳孔图像的图； 图7是示出了部分检测图像和瞳孔图像的复合图像的图； 图8是示出了当用于获取环境光面部图像的图像获取时间被设定为大 概60psec时，照相机图像获取定时的定时图表；
图9A是示出了当驾驶员戴着眼镜时所获取的亮瞳孔面部图像的图； 图9B是示出了当驾驶员戴着眼镜时所获取的暗瞳孔面部图像的图； 图9C是示出了当驾驶员戴着眼镜时的所获取的环境光面部图像的图； 图10A是示出了没有眼镜反射的亮瞳孔面部图像的图； 图10B是示出了没有眼镜反射的暗瞳孔面部图像的图； 图10C是示出了没有眼镜反射和环境光的部分检测图像的图； 图IOD是示出了没有眼镜反射和环境光的瞳孔图像的图；以及 图11是用于解释面部图像获取装置的操作的流程图。
具体实施例方式
参考附图描述了本发明的一个实施例。注意，本发明实施例描述了使 用本发明的面部图像获取装置来获取车辆的驾驶员的面部图像。如图l中所显示，面部图像获取装置包括照相机10、照相机设备20、 图像ECU30、照明器控制电路40和60、同轴照明器50、离轴照明器70。 以上照相机设备20与照相机10是做为整体来提供的。
如图2中所示的照相机IO用于获取驾驶员或者车辆的乘坐者的面部图 像，并且将该照相机提供在车辆的乘客舱之内的仪器面板附近。照相机10 使用被配置为用于执行高速成像的成像器，以便照相机10能够基于大概 300jisec的图像获取时间或者用于获取图像的曝光时间，以及基于图像的获 取之间的大概30psec的图像获取时间间隔来获取图像。
图1中显示的照相机设备20包括图像存储器21和信号处理电路22。 图像存储器存储照相机10所获取的图像的图像信息。信号处理电路22读 取存储在图像存储器21中的图像信息并且执行稍后所述的亮度计算处理。 然后，信号处理电路22将亮度计算处理所生成的图像信息输出到图像ECU 30。
图像ECU30包括图像处理电路31和图像获取控制电路32。图像处理 电路31接收从照相机设备20输出的图像消息，并且执行图像处理，例如 用于基于以上图像信息来检测与驾驶员的面部相对应的部分的处理以及用 于检测驾驶员的注视的处理。图像获取控制电路32控制用于获取照相机10 的图像的获取定时与照明器控制电路40、 60的照明条件的调整同步。换句 话说，图像获取控制电路32控制照相机10在与例如照明器控制电路40、 60用于调整照明条件的定时同步的定时获取图像。此外，图像获取控制电 路32控制照相机10的曝光时间和输出增益。
照明器控制电路40控制同轴照明器50的开启和关闭的定时，并且当 同轴照明器50开启时照明器控制电路40调整同轴照明器50所发射的光的 数量或者光强度。例如图2、图3中所显示，将同轴照明器50排列得大体 上相对于透镜光轴或者照相机10的光轴同轴。换句话说，将同轴照明器50 大体排列或者部署在照相机10的光轴上，从而同轴照明器50的照明轴大 体上在照相机10的光轴上。此外，照明器控制电路60控制离轴照明器70 的开启和关闭定时，并且当离轴照明器70开启时调整离轴照明器70所发 射的光的光量。如图3中所显示，将离轴照明器70排列得相对于照相机10 的光轴非同轴，并且与照相机10的光轴相隔一定距离。换句话说，将离轴照明器70排列或者部署在照相机10的光轴之外，从而离轴照明器70的照 明轴大体上在照相机10的光轴之外。照明器控制电路40、 60对施加到驾 驶员的面部的光的照明条件进行调整，同时该调整与照相机IO用于获取图 像的图像获取定时同步。
如图3中所显示，同轴照明器50和离轴照明器70配备有多个光源， 其中每个光源都能够施加红外线光或者具有中心波长范围从850到950nm 的近红外线光。例如，多个光源中的每一个可以是发光二极管(LED)，并 且照明器50和70中的每一个可以是具有多个LED的LED阵列。将多个光 源排列在乘坐者或者驾驶员的面部的纵向上，从而多个光源将光施加到驾 驶员的面部。换句话说，将多个光源排列在垂直的方向上，从而多个光源 被排列得大体上与驾驶员面部的纵向平行。
接着，描述了面部图像获取装置的操作。图4是照相机10的图像获取 定时、同轴照明器50的照明定时、离轴照明器70的照明定时和照相机10 用于输出所获取的面部图像的输出定时的定时表。面部图像获取装置 首先致使照相机10在第一照明条件下获取亮瞳孔面部图像px，在该条件中 驾驶员的面部主要接收同轴照明器50所施加的光(见图5A)。在实践中， 驾驶员的面部可以接收除了同轴照明器50所发射的光之外其它的光，例如 驾驶员周围的环境光(如日光)。此外，可以调整离轴照明器70以便离轴 照明器70在以上条件中同时发射具有极少光量的光。注意，将用于获取亮 瞳孔面部图像px的图像获取时间设置为大概30(Hisec (微秒)。当亮瞳孔面 部图像px的获取结束时，将所获取的图像信息临时存储在图像存储器21 中。
在亮瞳孔面部图像px的获取结束大概30pec之后，致使照相机10在 第二照明条件下获取暗瞳孔面部图像py，在该条件中驾驶员的面部主要接
收离轴照明器70所发射的光(见图5B)。在实践中，驾驶员的面部可以接 收除了离轴照明器70所发射的光之外其它的光，例如驾驶员周围的环境光。 注意，可以可替换地调整同轴照明器50以便致使同轴照明器50同时施加 极少光量的光。将用于获取暗瞳孔面部图像的图像获取时间设置为大概 300^isec，类似于亮瞳孔面部图像px的图像获取时间。当暗瞳孔面部图像 py的获取结束时，将暗瞳孔面部图像py的所获取到图像信息临时存储到图像存储器21中。
然后，在暗瞳孔面部图像py的获取结束大概30pisec之后，致使照相机 10在第三照明条件下获取环境光面部图像pz，在该条件中驾驶员的面部主 要接收驾驶员周围的环境光(见图5C)。在以上条件中，可以调整同轴照 明器50和离轴照明器70以便照明器50、 70同时施加极少光量的光。将用 于获取环境光面部图像pz的图像获取时间设置为大概300pisec，类似于以 上亮瞳孔面部图像px和暗瞳孔面部图像py的图像获取时间。当环境光面 部图像pz的获取结束时，将环境光面部图像pz的图像信息临时存储在图像 存储器21中。
注意，照相机10使用能够执行高速成像的成像器。从而，即便当如上 时分地获取面部图像时，时分获取期间面部图像之中所获取的驾驶员面部 的位置的差异是可忽略的。以上驾驶员的位置差异可以是由驾驶员的自发 运动和由于车辆的振动引起的驾驶员的运动所致使的。此外，因为用于获 取以上面部图像px、 py、 pz的图像获取定时之间的时滞非常少，所以环境 光随着时间的改变也可忽略的，其中该改变影响亮瞳孔面部图像px、暗瞳 孔面部图像py和环境光面部图像pz。如上，因为面部图像px， py， pz是 在相对短的时间间隔内获取的，所以假设面部图像px， py， pz是同时获取 的。因此，用于获取面部图像px， py， pz的图像获取定时的顺序并不限于 图4中所示的示例性顺序，并且必要时可以对该顺序进行修改。
当如上获取亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像 pz时，信号处理电路22执行计算处理或者亮度计算处理，用于使用临时存 储在以上面部图像px、 py、 pz中的每一个的图像存储器21中的图像信息 来计算亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图像pz中的 每一个的亮度。
执行亮度计算处理以生成部分检测图像，部分检测图像是用于检测与 图像中的驾驶员的面部相对应的部分的面部图像。此外，执行亮度计算处 理以生成瞳孔图像，瞳孔图像是用于检测驾驶员的瞳孔的位置的面部图像。 取决于驾驶员是否佩戴护目镜，例如眼镜，太阳镜来执行不同的处理。
在以上中，描述了使用亮瞳孔面部图像px、暗瞳孔面部图像py和环境 光面部图像pz的亮度计算处理来生成部分检测图像。首先，如上，亮瞳孔面部图像px是当驾驶员的面部接收光时所获取的面部图像，其中该光的主 要成分是同轴照明器50所施加的光。从而，通过致使照相机10获得在驾 驶员眼球的视网膜上反射的光的反射，在所获得的图像中特别明亮地显示 眼球的瞳孔部分，或者获取了 "红眼效果"的图像。此外，暗瞳孔面部图 像py也是当驾驶员的面部接收光时^f获取的面部图像，其中该光的主要成 分是离轴照明器70所施加的光。从而，照相机IO不能获得在驾驶员的眼 球的视网膜上反射的光的反射，相对于亮瞳孔面部图像px的情况没有明亮 地显示图像中眼球的瞳孔部分。在上文中，将离轴照明器70的照明轴放置 在远离照相机10的透镜光轴的位置，以便离轴照明器70不引起红眼现象。 结果，亮瞳孔面部图像px中的眼球的瞳孔部分的亮度大大地不同于暗瞳孔 面部图像py中的瞳孔部分的亮度。此外，除了面部图像px中的瞳孔部分 之外的其它部分的亮度通常等同于面部图像py中的其它部分的亮度。
此外，环境光面部图像pz也是当驾驶员的面部接收光时所获取的一种 面部图像，其中该光的主要成分是环境光。从而，与亮瞳孔面部图像px的 亮度和暗瞳孔面部图像py的亮度相比，环境光面部图像pz中的驾驶员的 面部部分的亮度相对较低。此外，在面部图像pz中的面部周围的背景的亮 度通常等同于面部图像px、 py中的背景的亮度。
如上，三个面部图像的每一个，例如亮瞳孔面部图像px、暗瞳孔面部 图像py和环境光面部图像pz，包括亮度差异部分，其亮度不同于其它面部 图像中的相应的部分的亮度。结果，当对亮瞳孔面部图像px、暗瞳孔面部 图像py和环境光面部图像pz执行面部图像亮度计算处理时，生成了提取 的面部图像。在上文中，通过从面部图像仅仅提取亮度差异部分来产生提 取的面部图像。由于以上，生成了没有受到环境光(如日光)影响的部分 检测图像和瞳孔图像。换句话说，从部分检测图像和瞳孔图像去除或者限 制面部图像上的环境光的不利影响。
图6A是示出了部分检测图像的图。在该部分检测图像中，去除了环境 光的影响，并且该图像仅仅对应于同轴照明器50和离轴照明器70所反射 的光。为了生成部分检测图像，首先将亮瞳孔面部图像px的亮度与暗瞳孔 面部图像py的亮度相加，，以生成加法面部图像(px+py)。然后，通过将 环境光面部图像pz的亮度翻倍来产生双倍的面部图像(2Xpz)。然后，从加法面部图像(px+py)减去双倍面部图像(2Xpz)以生成部分检测图像 (px+py-2Xpz)。将面部图像中每个像素的亮度相对于其它面部图像中相应
的像素的亮度，执行亮度计算处理中的亮度的计算，例如加法和减法。例 如，在本实施例的亮度的以上计算处理中，生成了差异图像。注意，由于 将亮瞳孔面部图像px的亮度加到暗瞳孔面部图像py的亮度而导致加法面 部图像(px+py)中的环境光的亮度翻倍，所以环境光面部图像pz的亮度 翻倍。
图6B是示出了瞳孔图像的图。通过去除环境光的影响以及去除来自同 轴照明器50和离轴照明器70的反射的光的影响，产生瞳孔图像。从而， 瞳孔图像是与驾驶员的眼球的视网膜上反射的光的反射相对应的图像。通 过从亮瞳孔面部图像的亮度px减去暗瞳孔面部图像的亮度而生成瞳孔图像 (px-py)。
当如上生成部分检测图像和瞳孔图像时，信号处理电路22每隔33msec (微秒)将部分检测图像的图像信息和瞳孔图像的图像信息输出到图像 ECU 30。在以上时间中，例如，如图7中所显示，合成了减少的瞳孔图像 并将其置于部分检测图像中的区域中，在该区域中没有显示驾驶员的面部， 从而合成了将要输出到图像ECU30的单个图像信息。从而，减少了将要输
出的图像信息的数量。
通常，图6B中所检测的瞳孔部分在图像中显示为黑色和白色。然而， 在图7中显示的复合图像中，可以对与图6B中所检测的瞳孔相对应的部分 进行上色(例如，上红色)。由于以上，因为图像ECU30使用具有彩色的 瞳孔的复合图像来执行图像处理，所以检测驾驶员的瞳孔变得更容易。
此外，如上，将用于获取环境光面部图像pz的图像获取时间，换句话 说，用于获取环境光面部图像pz的曝光时间设置为大概30(Hisec，类似于 用于获取亮瞳孔面部图像px和暗瞳孔面部图像py的每一个的图像获取时 间。然而，可以可替换地将用于环境光面部图像pz的图像获取时间设置为 大概60(Vsec (见图8)。结果，当生成部分检测图像时，因为如上用于面部 图像pz的图像获取时间翻倍了，所以环境光面部图像pz的亮度不需要翻倍。
描述了当驾驶员戴着平滑反射平面，例如眼镜，太阳镜时对亮瞳孔面 部图像px、暗瞳孔面部图像py和环境光面部图像pz执行的另一个亮度计算处理。该亮度计算处理通过使用面部图像px、 py、 pz中的每一个的图像 信息来生成部分检测图像和瞳孔图像，它们不受环境光和平滑反射平面所 反射的反射光的影响。
图9A到图9C是分别示出了当驾驶员戴着眼镜时所获取到的亮瞳孔面 部图像px、暗瞳孔面部图像py和环境光面部图像pz的图。如图9A、 9B 中所显示，当驾驶员戴着眼镜时，亮瞳孔面部图像px和暗瞳孔面部图像py 显示眼镜所反射的反射光。结果，如果处将具有其中的反射光的亮瞳孔面 部图像px和暗瞳孔面部图像py用于以上亮度计算处理，那么反射光的不 利影响将发生到部分检测图像和瞳孔图像上。从而，该部分的检测和瞳孔 的位置的检测可以变得难以执行。
鉴于以上，当驾驶员戴着眼镜时，首先，生成亮瞳孔面部图像pxpy和 暗瞳孔面部图像pypx，它们不受眼镜所反射的反射光的不利影响。换句话 说，从所获取的面部图像去除反射光的影响，以生成亮瞳孔面部图像pxpy 和暗瞳孔面部图像pypx。然后，使用以上亮瞳孔面部图像pxpy、以上暗瞳 孔面部图像pypx和环境光面部图像pz来执行亮度计算处理。
图10A是示出了没有眼镜反射的亮瞳孔面部图像pxpy的图。图10B 是没有眼镜反射的暗瞳孔面部图像pypx的图。为了生成亮瞳孔面部图像 pxpy和暗瞳孔面部图像pypx，首先，从图9A中显示的亮瞳孔面部图像px 的亮度减去图9B中显示的暗瞳孔面部图像py的亮度。然后，将减去的亮 度的值转换为绝对值以生成绝对值面部图像(lpx-pyl)。将绝对值面部图像 (|px-py|)的亮度与亮瞳孔面部图像px和暗瞳孔面部图像py中的每一个亮 度相比，就指定了这样一个范围(反射范围)，其相应地显示了眼镜反射。
然后，用暗瞳孔面部图像py中的部分的其它亮度来取代亮瞳孔面部图 像px中的指定的反射范围的亮度，其中该部分对应于亮瞳孔面部图像px 中的指定的反射范围。通过用其它亮度取代该亮度，生成了图10A中所显 示的不受眼镜的影响的亮瞳孔面部图像pxpy。此外，用亮瞳孔面部图像px 中的部分的进一步其它亮度取代暗瞳孔面部图像py中的指定反射范围的亮 度，其中该部分对应于暗瞳孔面部图像py中的指定的反射范围。通过用进 一步其它亮度取代该亮度，生成了图10B中所显示的不受眼镜的影响的暗 瞳孔面部图像pypx。以上之后，将亮瞳孔面部图像pxpy的亮度加到暗瞳孔面部图像pypx 的亮度上，以生成加法面部图像(pxpy+pypx)。将环境光面部图像pz的亮 度翻倍，以生成双倍的面部图像(2Xpz)。从加法面部图像(pxpy+pypx) 减去双倍的面部图像(2Xpz),以生成图10C中所显示的部分检测图像 (Pxpy+pypx-2Xpz)，其中该检测图像不受眼镜反射以及环境光的影响。
图IOD是示出了没有眼镜反射和环境光的瞳孔图像的图。从以上亮瞳 孔面部图像pxpy的亮度减去以上暗瞳孔面部图像pypx的亮度，以生成瞳 孔图像(pxpy-pypy)。当如上生成没有眼镜反射和环境光的部分检测图像和 瞳孔图像时，信号处理电路22每隔33msec将部分检测图像的图像信息和 瞳孔图像的图像信息输出到ECU 30。
通常，因为车辆的乘客舱中相对比较暗，所以为了获取车辆的乘坐者 的面部图像，需要多个光源提供足够多的照明器的光量。如果将光源排列 在乘坐者的面部的横向上，眼镜的平滑反射平面的反射可以在图像中的横 向中延伸。结果，亮瞳孔面部图像px中的眼镜反射可以与暗瞳孔面部图像 py中的眼镜反射重叠。如果一个面部图像的眼镜反射与另一个面部图像的 眼镜反射重叠，那么从面部图像去除眼镜反射会变得困难。在本实施例中， 将同轴照明器50的多个光源和离轴照明器70的多个光源排列在乘坐者的 面部的纵向上。从而，限制了面部图像中的眼镜反射在面部图像的横向中 的延伸，并且因此限制了亮瞳孔面部图像px中的眼镜反射与在暗瞳孔面部 图像py中的眼镜反射重叠。从而，从本实施例中的面部图像去除眼镜反射 变得更容易。在以上描述中， 一个面部图像中的眼镜反射与另一个面部图 像中的眼镜反射的重叠指示了例如，眼镜反射在一个面部图像中的所位于 的位置与眼镜反射在另一个面部图像中的位置相同。注意，即使当光源被 排列在面部的纵向时，在一个面部图像中眼镜所反射的光源的反射图像也 可以与另一个面部图像中的眼镜所反射的反射图像重叠。然而，当光源被 排列在以上纵向时，与该情况相比，不会导致在面部图像上生成多个反射 图像，其中光源被排列在面部的横向上。结果，其优势是在面部图像中发 射图像更不易于彼此重叠。
接着，参考图11中所显示的流程表，描述包括亮度计算处理的面部图 像获取装置的操作。首先，在步骤S1，激活图像获取控制电路32。在步骤S2，获取亮瞳孔面部图像px，并且将获取到的面部图像px的图像信息存储 在存储器21中。在歩骤S3，获取暗瞳孔面部图像py，并且将获取到的面 部图像py的图像信息存储在存储器21中。在步骤S4，获取环境光面部图 像pz，并且将获取到的面部图像pz的图像信息存储在存储器21中。
在步骤S5，确定驾驶员是否戴着具有平滑反射平面的反射物体，例如 眼镜、太阳镜。例如，通过使用操作输入模块(未显示)，预先致使驾驶员 输入用于指示驾驶员是否戴着眼镜的信号，并且在步骤S5中参考该输入的 信号，以便做出确定。当步骤S5做出肯定的确定时或者当驾驶员戴着眼镜 时，控制前进到步骤S7。相反，当做出否定的确定时或者当驾驶员没有戴 着眼镜时，控制前进到步骤S6。步骤S6到步骤S8对应于亮度计算处理。
在步骤S6，生成图6A、 6B中所显示的部分检测图像和瞳孔图像。在 步骤S7，生成图IOA、 10B中所显示的亮瞳孔面部图像pxpy和暗瞳孔面部 图像pypx。在步骤S8，使用亮瞳孔面部图像pxpy、暗瞳孔面部图像pypx 和环境光面部图像pz来生成没有眼镜反射和环境光的部分检测图像和瞳孔 图像。
在步骤S9，通过将在步骤S6或者S8生成的部分检测图像和瞳孔图像 进行组合，以合成或者生成单个复合图像，并且将复合图像输出到图像ECU 30。在步骤SIO，重设或者删除临时存储在图像存储器21中的图像信息， 并且控制前进到步骤S1以重复以上处理。
如上，本实施例中描述的图像获取装置执行计算处理，用于计算三个 面部图像中的每一个的亮度。如上，该三个面部图像是亮瞳孔面部图像px、 暗瞳孔面部图像py和环境光面部图像pz，它们具有彼此亮度不同的部分。 从而，通过使用三个面部图像中的每一个的亮度，能够获得没有眼镜反射 和环境光(例如，日光)的部分检测S像和瞳孔图像。
如上已经描述了本发明的一种实施例。然而，本发明不限于以上的实 施例。可以在不脱离本发明的原理的前提下以各种方式修改本发明。
例如，可以使从同轴照明器50和离轴照明器70的光源所施加的光的 波长可变，以便当波长改变时将该光施加到驾驶员的面部。在以上结构中， 因为对于驾驶员的皮肤的不同颜色检测到不同的亮度，所以可以在某种程 度上指定人的种族。如果人的种族指定了，那么更容易提取对应于面部的部分。在以上的情况中，可以基于不同的波长的面部图像，找到适用于可 靠地检测与面部相对应的部分的波长。此外，为了找到适合的波长，可以 参照亮度的边缘硬度。此外，在本实施例中，将曝光时间设置为大概300^isec，并且将图像获 取时间间隔设置为大概3C^isec。然而，以上曝光时间和以上图像获取时间 间隔不限于以上值并且可以根据需要而改变。此外，在安装在车辆上的应用程序不需要驾驶员的瞳孔位置的情况下， 没有必要每次获取亮瞳孔面部图像px、暗瞳孔面部图像py和环境光面部图 像pz。在其它可替换的情况中，响应于来自其它应用程序的命令信号，可 以省略或者停止成像。在以上实施例中，分别通过对应的控制设备40和60来控制照明器50 和70中的每一个。然而，可替换地，可以通过单个公共控制设备来控制照 明器50和70两者。本领域的技术人员很容易想到额外的优势和修改。因此本发明从广义 上来说不限于所示和所述的具体的细节、代表性的装置和说明性的实例。
权利要求
1、一种面部图像获取装置，包括照相机(10)，其重复地获取车辆乘坐者的面部的图像；同轴照明器(50)，其被排列得大体上相对于所述照相机(10)的光轴同轴；离轴照明器(70)，其被排列得相对于所述照相机(10)的所述光轴非同轴；照明控制设备(40、60)，其被配置为通过控制所述同轴照明器(50)发射的光的光量和所述离轴照明器(70)发射的光的光量，来调整施加到所述乘坐者的所述面部的光的照明条件；图像获取控制设备(32)，其被配置为控制所述照相机(10)在图像获取定时获取所述面部的所述图像，所述定时与用于通过所述照明控制设备(40、60)来调整所述照明条件的定时同步；以及亮度计算处理设备(22)，其被配置为通过使用以下面部图像来执行亮度计算处理所述照相机(10)在第一照明条件下获取的亮瞳孔面部图像(px)，在所述第一照明条件下主要通过所述同轴照明器(50)将光施加到所述面部；所述照相机(10)在第二照明条件下获取的暗瞳孔面部图像(py)，在所述第二照明条件下主要通过所述离轴照明器(70)将光施加到所述面部；以及所述照相机(10)在第三照明条件下获取的环境光面部图像(pz)，在所述第三照明条件下主要将所述乘坐者周围的环境光施加到所述面部。
2、 如权利要求1所述的面部图像获取装置，进一步包括 反射物体确定模块(S5)，用于确定在所述照相机(10)的成像领域中是否存反射物体，所述反射物体具有平滑反射平面，其中所述亮度计算处理设备(22)执行亮度减法处理，用于当所述反射物体确定模块(S5)确定所述反射物体存在时，从所述亮瞳孔面部图像(px) 和所述暗瞳孔面部图像(py)中的一个的亮度减去所述亮瞳孔面部图像(px) 和所述暗瞳孔面部图像(py)中的另一个的亮度；所述亮度计算处理设备(22)包括反射范围指定模块，用于基于所述 亮度减法处理的结果，指定所述亮瞳孔面部图像(px)中的所述反射物体 的第一反射范围，并且指定所述暗瞳孔面部图像(py)中的所述反射物体 的第二反射范围；以及所述亮度计算处理设备(22)执行所述亮度计算处理，其中用所述暗瞳孔面部图像(py)中与所述第一反射范围相对应的部分的亮度取代所述亮瞳孔面部图像(px)中的所述第一反射范围的亮度；以及用所述亮瞳孔面部图像(px )中与所述第二反射范围相对应的部分的亮度取代所述暗瞳孔面部图像(py)中的所述第二反射范围的亮度。
3、 如权利要求1或者2所述的面部图像获取装置，其中-所述同轴照明器(50)和所述离轴照明器(70)中的每一个都包括多个光源；以及将所述多个光源中的每一个排列在大体上垂直的方向上。
4、 如权利要求l所述的面部图像获取装置，其中 所述亮度计算处理设备(22)执行图像生成处理，其中-基于经过了所述亮度计算处理的所述面部图像，生成部分检测图 像和瞳孔图像，使用所述部分检测图像来检测与所述乘坐者的所述面 部相对应的部分，使用所述瞳孔图像来检测所述乘坐者的瞳孔的位置； 以及对所述部分检测图像和所述瞳孔图像进行组合以生成复合图像；以及所述亮度计算处理设备(22)输出所述图像生成处理中生成的所述复 合图像的图像信息。
5、 如权利要求4所述的面部图像获取装置，其中当所述亮度计算处理 设备(22)生成所述复合图像时，所述亮度计算处理设备(22)对所述瞳 孔图像中与所述瞳孔相对应的部分上色。
6、 如权利要求1或者2所述的面部图像获取装置，其中 所述同轴照明器(50)和所述离轴照明器(70)中的每一个都包括多个光源；所述同轴照明器(50)和所述离轴照明器(70)大体上在水平方向上 彼此间隔开；以及将所述同轴照明器(50)的所述多个光源以及所述离轴照明器(70) 的所述多个光源排列在大体上与水平方向垂直的方向上。
7、 一种用于车辆的面部图像获取装置，包括照相机(10)，其重复地获取所述车辆的乘坐者的面部的图像； 同轴照明器(50)，其被排列得大体在所述照相机(10)的光轴上； 离轴照明器(70)，其被排列得大体在所述照相机(10)的所述光轴外； 照明控制设备(40、 60)，其被配置为控制所述同轴照明器(50)和所述离轴照明器(70)，以便调整施加到所述乘坐者的所述面部的光的照明条件；图像获取控制设备(32)，其被配置为控制所述照相机10在图像获取 定时获取所述面部的所述图像，所述定时与所述照明控制设备(40、 60) 用于调整所述照明条件的定时同步；以及亮度计算处理设备(22)，其被配置为使用亮瞳孔面部图像(px)、暗 瞳孔面部图像(py)和环境光面部图像(pz)来生成所述乘坐者的所述面 部的至少一个不同图像，所述照相机(10)在第一照明条件下获取所述亮 瞳孔面部图像(px)，在所述第一照明条件下所述面部对主要通过所述同轴 照明器(50)所发射的光进行接收，所述照相机(10)在第二照明条件下 获取所述暗瞳孔面部图像(py)，在所述第二照明条件下所述面部对主要通 过所述离轴照明器(70)所发射的光进行接收，所述照相机(10)在第三照明条件下获取所述环境光面部图像(pz)，在所述在第三照明条件下所述面部主要对所述乘坐者周围的环境光进行接收。
8、 如权利要求7所述的面部图像获取装置，其中所述同轴照明器(50)和所述离轴照明器(70)中的每一个都包括多 个光源所述同轴照明器(50)和所述离轴照明器(70)在水平方向上彼此间 隔开以及将所述同轴照明器(50)的所述多个光源以及所述离轴照明器(70) 的所述多个光源排列在与水平方向垂直的方向上。
9、 如权利要求7所述的面部图像获取装置，其中 所述至少一个不同图像包括部分检测图像和瞳孔图像，所述部分检测图像用于检测与所述乘坐者的所述面部相对应的部分，所述瞳孔图像用于 检测所述乘坐者瞳孔的位置；以及将所述部分检测图像和所述瞳孔图像进行组合，以生成复合图像。
全文摘要
面部图像获取装置包括照相机(10)、同轴照明器(50)、离轴照明器(70)、照明控制设备(40、60)、图像获取控制设备(32)和亮度计算处理设备(22)。照相机(10)重复地获取车辆的乘坐者的面部的图像。照明控制设备(40、60)被配置为对施加到乘坐者的面部的光的照明条件进行调整。图像获取控制设备(32)被配置为控制照相机10在图像获取的定时获取面部的图像，其中该定时与用于调整照明条件的定时同步。亮度计算处理设备(22)被配置为通过使用亮瞳孔面部图像(px)、暗瞳孔面部图像(py)和环境光面部图像(pz)来执行亮度计算处理。
文档编号G06K9/20GK101295355SQ20081009571
公开日2008年10月29日 申请日期2008年4月24日 优先权日2007年4月25日
发明者大见拓宽 申请人:株式会社电装