睑检测装置、睑检测方法及其程序的制作方法

专利名称：：睑检测装置、睑检测方法及其程序的制作方法
技术领域：
：本发明涉及一种从面部图像检测上下睑的睑检测装置、睑检测方法及其程序。
背景技术：
：已有基于面部图像判断眼睛的状态、并基于所获得得信息测定该人的视线方向、根据睑的开闭度推测该人的觉醒程度的方法。为了判断眼睛的状态，需要正确检测面部图像中的眼部。还有，为了检测睑的开闭度，需要正确检测出睑。例如，在专利文献l中，记载有从面部图像检测虹膜部、从而判断驾驶员的状态的技术。在专利文献l的技术中，在面部图像内设定检测虹膜部的区域，在该区域内检测暗区域的面积，同时对应于该面积，对候选点进行加权统计处理，检测虹膜中心位置。[专利文献1]日本专利特开平03-202045号公报众所周知，在拍摄人物照片时，会出现红眼现象。所谓红眼现象，是因为在暗处瞳孔(pupil)放大，光进入瞳孔后，在布有眼球内部的毛细血管的脉络膜(choroidea/choroids/choroidscoat)层发生反射，这些光再从瞳孔出来到达照片所出现的现象。当利用闪光灯照明时，由于瞳孔的收縮较慢，因而出现红眼现象。而在连续照明时，瞳孔收縮，红眼现象消失。在夜间对驾驶员进行拍摄时，由于利用可见光照明会影响驾驶，从而利用例如近红外光进行照明。而在近红外光下瞳孔不会收縮，从而有时会连续出现红眼现象。在过去的技术中，发生红眼现象时，瞳孔为明区域，从而不能利用暗区域检测虹膜部。当检测出红眼现象的瞳孔时，有时会将瞳孔的边缘误认为睑。本发明考虑到上述状况，其目的在于提供即使在出现红眼现象时也能够正确检测睑的装置。
发明内容为实现上述目的，与本发明的第1观点有关的睑检测装置的特征在于具有获取面部图像的图像获取机构、从上述面部图像中感知虹膜部的空间的明暗变化、检测从瞳孔入射的光反射后在上述面部图像中产生的红眼现象的红眼检测机构、和从上述面部图像基于明暗界限即边缘检测上睑和下睑的睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，上述睑检测机构将作为上述红眼现象的瞳孔的边缘从上睑和下睑中排除。希望上述睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，将上述红眼现象的瞳孔的上侧边缘从下睑中排除。另外，希望上述睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，将上述红眼现象的瞳孔的下侧边缘从上睑中排除。希望上述红眼检测机构，将上述面部图像中的与规定的明暗像素图案相符的部分检测为作为上述红眼现象的瞳孔。希望上述红眼检测机构的规定的明暗像素图案，由中心部的明区域和配置在其周围的暗区域构成。上述红眼检测机构也可以将上述面部图像中与多个不同的规定的明暗像素图案的任一个相符的部分，检测为作为上述红眼现象的瞳孔。或者，上述红眼检测机构也可以将上述面部图像中的明暗界限即边缘的形状与规定的条件相符的部分检测为上述红眼现象的瞳孔。希望还具有检测周围亮度的照度检测机构、和基于上述照度检测机构检测的周围的亮度、判断是否利用上述红眼检测机构检测上述红眼现象的红眼检测运行判断机构。尤其是上述红眼检测运行判断机构，当利用上述照度检测机构检测的周围的亮度大于规定的值时，判断为不利用上述红眼检测机构检测上述红眼现象。另外，上述红眼检测运行判断机构，当利用上述照度检测机构检测的周围的亮度低于规定的值时，判断为利用上述红眼检测机构检测上述红眼现象。希望上述睑检测机构具有从上述面部图像中基于明暗界限即边缘检测候选的上睑和下睑的候选睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，将作为上述红眼现象的瞳孔的边缘从候选的上睑和下睑中排除。与本发明的第2观点有关的睑检测方法的特征在于具有从面部图像中感知虹膜部的空间的明暗变化、检测从瞳孔入射的光反射后在上述面部图像中产生的红眼现象的红眼检测步骤、从上述面部图像基于明暗界限即边缘检测上睑和下睑的睑检测步骤、和当在上述红眼检测步骤检测到了红眼现象时、将作为上述红眼现象的瞳孔的边缘从在上述睑检测步骤检测出的上睑和下睑中排除的红眼瞳孔排除步骤。与本发明的第3观点有关的程序的特征在于使计算机具有如下机构的功能，即从面部图像中感知虹膜部的空间的明暗变化、检测从瞳孔入射的光反射后在上述面部图像中产生的红眼现象的红眼检测机构、和从上述面部图像基于明暗界限即边缘检测上睑和下睑、当利用上述红眼检测机构检测到了红眼现象时，将作为上述红眼现象的瞳孔的边缘从上睑和下睑中排除的睑检测机构。利用本发明的睑检测装置，即使在出现红眼现象时，也能够正确地检测睑。图1是表示与本发明的实施形态有关的睑检测装置的方框图。图2是表示本发明的一个实施形态的睑检测装置的逻辑结构的方框图。图3是表示图1所示的计算机的结构的方框图。图4A是表示纵方向边缘检测用算符的例子的图。图4B是表示横方向边缘检测用算符的例子的图。图4C是表示纵方向连续的浓淡差的例子的图。图4D是表示横方向连续的浓淡差的例子的图。图5是表示确定面部图像的区域的数据的例子的图。图6是模拟表示睑搜索区域的原图像的例子的图。图7是模拟表示红眼现象时的图像的例子的图。图8A是表示检测红眼现象的明暗像素图案的例子的图。图8B是表示检测红眼现象的明暗像素图案的例子的图。图8C是表示检测红眼现象的明暗像素图案的例子的图。图8D是表示检测红眼现象的明暗像素图案的例子的图。图9是表示从红眼现象时的睑搜索区域的图像中检测明暗的边缘的例子的图。图10是表示图9的部分R的放大图。图11是表示睑检测装置的动作的一个例子的流程图。图12A是表示检测红眼现象的边缘图案的例子的图。图12B是表示检测红眼现象的边缘图案的例子的图。图12C是表示检测红眼现象的边缘图案的例子的图。图12D是表示检测红眼现象的边缘图案的例子的图。符号说明1—睑检测装置，2—摄像机(图像获取机构)，4一照度传感器(照度检测机构)，5—数据保持部，IO—计算机，12—图像存储器，13—外部存储部，14—控制部(图像获取机构、红眼检测运行判断机构、红眼检测机构、睑检测机构)、15—主存储部，16—发送接收部(图像获取机构)，21一图像输入部，22—睑搜索区域设定部，23—候选睑检测部(候选睑检测机构、睑检测机构)，24—红眼检测运行判断部(红眼检测运行判断机构)，25—虹眼检测部(红眼检测机构)，26—红眼排除处理部(睑检测机构)，27—睑判断部(睑检测机构)，51—面部图像数据，52—面部区域*睑搜索区域数据，53—候选睑数据，54—红眼瞳孔数据，55—睑数据实施方式以下，参照附图详细说明本发明的实施形态。另外，图中同一或相似部分采用同一符号来表示，不重复进行说明。图l是表示与本发明的一个实施形态有关的睑检测装置的结构的方框图。本实施形态的睑检测装置1具有拍摄驾驶员的面部并生成面部图像的摄像机2(例如图像获取机构)、对驾驶员的面部进行照明的照明光源3、照度传感器4(例如照度检测机构)、检测驾驶员的眼部的计算机10、和与计算机10连接的显示装置7。摄像机2利用摄像元件例如CCD(ChargeCoupledDevice)等，将透镜的成像转换为电信号，将每个像素进行数字化，输出图像数据。摄像机2获取例如驾驶员的面部的灰度图像。利用摄像机2生成的图像数据不仅包括驾驶员的面部，还包括其背景等。.照度传感器4由例如光电二极管或太阳能电池等光电转换元件构成。照度传感器4将照射到元件上的光转变成电压或电流，从而检测周围的亮度。照度传感器4设置在例如检测车辆外面亮度的场所。，显示装置7由LCD(LiquidCrytalDisplay)或CRT(CathodeRayTube)等构成，显示从摄像机2拍摄的面部图像生成的2值化图像。计算机10对利用摄像机2获取的图像数据进行处理，检测面部的左右两端位置、上下位置。基于该检测的左右两端位置、上下位置，设定搜索睑的区域(睑搜索区域)。然后，在睑搜索区域，检测红眼现象和上下睑。图2是表示本发明的一个实施形态的睑检测装置1的逻辑结构的方框图。睑检测装置l由摄像机2、照度传感器4、图像输入部21、睑搜索区域设定部22、候选睑检测部23(例如候选睑检测机构、睑检测机构)、红眼检测运行判断部24(例如红眼检测运行判断机构)、红眼检测部25(例如红眼检测机构)、红眼排除处理部26(例如睑检测机构)、睑判断部27(例如睑检测机构)、显示处理部28、数据保持部5、和显示装置7等构成。数据保持部5中存储有面部图像数据51、面部区域睑搜索区域数据52、候选睑数据53、红眼瞳孔数据54、和睑数据55。睑检测装置1从面部图像检测眼部的红眼现象和一对上下睑。图3是表示睑检测装置1的物理结构的一个例子的方框图。如图3所示，计算机10具有发送接收部16(例如图像获取机构)、图像存储器12、外部存储部13、控制部14、主存储部15、显示控制装置17、和光源控制装置18。图像存储器12、外部存储部13、主存储部15、发送接收部16、显示控制装置17和光源控制装置18均通过内部总线11，与控制部14连接。控制部起到以下机构的作用图像获取机构、红眼检测运行判断机构、红眼检测机构、以及睑检测机构。控制部14由CPU(CentralProcessingUnit)等构成，根据存储在外部存储部13中的程序，进行图像输入部21、睑搜索区域设定部22、候选睑检测部23、红眼检测运行判断部24、红眼检测部25、红眼排除处理部26、睑判断部27和显示处理部28的处理。通过控制部14和在其上面运行的程序，实现图像输入部21、睑搜索区域设定部22、候选睑检测部23、红眼检测运行判断部24、红眼检测部25、红眼排除处理部26、睑判断部27和显示处理部28。主存储部15由RAM(Random-AccessMemory)等构成，用作控制部14的工作领域。数据保持部5作为存储领域的构造体，被存储保持在图像存储器12和主存储部15的一部分中。外部存储部13由闪速存储器、硬盘、DVD(DigitalVersatileDisc)、DVD画RAM(DigitalVersatileDiscRandom-AccessMemory)、DVD匿證(DigitalVersatileDiscRewritable)等非易失性存储器构成，预先存储让控制部14进行上述处理的程序。还有，根据控制部14的指示，向控制部14供给该程序的数据，并存储从控制部14供给的数据。例如，有时在外部存储部13存放图像数据。发送接收部16由调制解调器(Modulator-demodulator)或网络终端装置、以及与这些装置连接的串行接口或LAN(LocalAreaNetwork)接口构成。控制部14经由发送接收部16，从摄像机2输入图像数据。图像存储器12存储摄像机12生成的、经由发送接收部16输入的图像数据。发送接收部16与摄像机2之间的接口也可以采用NTSC(Nationaltelevisionstandardscommittee)方式。当采用NTSC方式时，例如利用发送接收部16将图像信号转换为数字数据。发送接收部16还从照度传感器4输入与周围亮度对应的信号，并传送到控制部14。显示控制装置17在控制部14的控制下，对显示装置7进行控制。光源控制装置18控制照明光源3的开灯、关灯等。控制部14通过运行存放在外部存储部13中的程序，对通过摄像机2获取的图像数据进行处理，检测面部的两端位置、上下位置，并基于该检测的两端位置、上下位置，检测睑搜索区域中的红眼现象和候选上下睑，在该候选上下睑中，选择最符合上下睑条件的候选作为上下睑。回到图2，说明睑检测装置l的各部分的作用。摄像机2拍摄面部图像。图像输入部21每隔一定时间间隔，从摄像机2输入时间系列的图像数据，并将其作为面部图像数据51存储在数据保持部5中。睑搜索区域设定部22从面部图像数据51中抽出面部区域，在面部区域中设定睑搜索区域。抽出面部区域时，例如，从面部图像中计算面部轮廓的边缘。或者，也可以通过面部轮廓的图案匹配，抽出面部轮廓。通过在面部轮廓范围内从上起检测眉毛的边缘、从下起检测嘴巴下部的边缘，设定面部区域。接着，例如利用基于统计数据的比率，在面部区域中设定睑搜索区域。图5表示面部区域F和睑搜索区域E的例子。睑搜索区域设定部22将所设定的面部区域F和睑搜索区域E作为面部区域睑搜索区域数据52，存储在数据保持部5中。'另外，也可以检测容易检测的特征部分、例如鼻孔，基于鼻孔的位置，设定睑搜索区域E。例如，可以从眉毛处获取将从鼻孔上部至眉毛的距离乘以规定比率所得的长度，在面部轮廓的中央处获取将面部轮廓的宽度乘以规定比率所得的长度，将其作为睑搜索区域E。通过设定睑搜索区域E，可以提高睑检测的效率。图4A至图4D为说明边缘计算用的固定数据的例子的图。外部存储部13如图4A和图4B所示，存放有水平方向边缘检测用和垂直方向边缘检测用佐贝尔过滤器(Sobelfilter)的算符。本发明中，将图像中沿水平方向其亮度从明到暗、或者从暗到明发生变化的连续点作为水平方向边缘。水平方向边缘的点大致在纵方向连续，故也可称为纵边缘。还有，将沿垂直方向其亮度从明到暗、或者从暗到明发生变化的连续点作为垂直方向边缘。垂直方向边缘的点大致在横方向连续，故也可称为横边缘。图4A所示的水平方向边缘(纵边缘)检测用佐贝尔过滤器是用于抽出图4C所示的纵方向连续的浓淡差的边界(边缘)的算符。图4B所示的垂直方向边缘(横边缘)检测用佐贝尔过滤器是用于抽出图4D所示的横方向连续的浓淡差的边界(边缘)的算符。还有，如图5所示，将存放在主存储部15中的面部图像中的确定面部范围F的数据、以及确定假定存在眼睛和眉毛的图像的睑搜索区域E的数据存放到外部存储部13中。候选睑检测部23利用例如图4A和图4B所示的过滤器，从睑搜索区域E中计算水平方向边缘和垂直方向边缘。图6是模拟表示睑搜索区域E的原图像的例子的图。在图6中，用斜线表示图像的暗区域。图6中，用实线表示检测睑的垂直方向边缘的位置。上睑的边缘检测位置为实线Lu，下睑的边缘检测位置为实线Ll，。另外，检测作为垂直方向边缘的眉毛和虹膜的边缘。将垂直方向边缘中、从上向下从明到暗变化的边缘作为候选上睑。将垂直方向边缘中、从上向下从暗到明变化的边缘作为候选下睑。候选睑检测部23将候选上睑和候选下睑作为候选睑数据53，存储在数据保持部5中。也可以将水平方向边缘与垂直方向边缘组合在一起，判断候选上睑和候选下睑的可靠程度。例如，由于上睑向上弯曲，在垂直方向边缘的两端出现水平方向边缘。因此可以将在两侧出现水平方向边缘的垂直方向边缘，可靠地确定为候选上睑。图7是模拟表示红眼现象时的睑搜索区域E的图像的图。与图6—样，在图7中，用斜线表示图像的暗区域。在红眼现象的瞳孔(以下，简称红眼瞳孔)P的上侧，从上向下，亮度从暗到明变化。因此，在红眼瞳孔P的上侧，计算出与下睑一样的从上向下从暗到明变化的垂直方向边缘。图7中，利用实线Lf表示在红眼瞳孔的上面计算出的垂直方向边缘的位置。还有，在瞳孔的下侧，与上睑一样，计算出从上向下从明到暗变化的垂直方向边缘。在红眼瞳孔P出现的垂直方向边缘作为候选上睑和下睑。通过红眼瞳孔P得到的候选上睑或候选下睑有可能被判断为睑。尤其是如果将红眼瞳孔P的上侧出现的候选下睑判断为下睑时，则通过与候选上睑的位置关系，有可能判断眼睛处于闭眼状态。红眼检测运行判断部24从照度传感器4输入与周围亮度对应的信号。当周围明亮时，由于驾驶员的瞳孔小，不会出现红眼现象。红眼现象的产生是由于周围暗、而驾驶员的瞳孔增大的缘故。红眼检测运行判断部24在周围亮度低于规定值时，向红眼检测部25发出检测红眼现象的指令。还有，如果周围的亮度高于规定值，则向红眼检测部25发出不检测红眼现象的指令。也可以不装备照度传感器4和红眼检测运行判断部24，而总是进行红眼现象的检测。通过判断是否进行红眼检测，能够高效地进行周围亮度大而不产生红眼现象时的睑检测处理。红眼检测部25从睑搜索区域E检测产生红眼现象的瞳孔。在检测红眼现象的瞳孔时，利用规定的明暗像素图案，将与该明暗像素图案相符的部分判断为红眼瞳孔P。图8A至图8D是表示检测红眼现象的瞳孔的明暗像素图案的例子的图。在图8A至图8D，小正方形表示l个像素。图8A和图8B表示9X9的像素阵列。图8C表示6X6的像素阵列。图8D表示7X7的像素阵列。在像素中，白色表示亮度大于规定阈值a的像素(白像素C)，黑色表示亮度小于规定阈值b的像素(黑像素B)。画有斜线的像素表示在比较明暗像素图案与图像时，不给于考虑的像素D(不考虑)。这里，阈值a和b为不同的值。将明暗像素图案与图像重叠，对于明暗像素图案的白像素C和黑像素B，按照每个重叠的像素，比较明暗像素图案的像素和图像的像素。如果每个像素的明暗全部一致("和"逻辑运算全为真)时，则判断该图像部分与明暗像素图案相符。这里，所谓像素的明暗相符，指的是对应于白像素C的像素的亮度大于等于规定的阈值a，对应于黑像素B的像素的亮度小于等于规定的阈值b。将与明暗像素图案相符的位置判断为红眼瞳孔。通过观察与明暗像素图案是否相符，可以检测明暗呈空间变化的红眼瞳孔。图8A至图8D的例中，均是在中心部为明区域的白像素C，其周围配置暗区域的黑像素B。出现红眼现象时，瞳孔的亮度变亮。瞳孔周围的虹膜变暗。因此，如图8A至图8D所示，利用具有中心部的明区域和配置在其周围的暗区域的明暗像素图案，可以检测红眼现象。按照摄像机2的分辨度和面部图像的大小，设定明暗像素图案，以适合红眼现象的瞳孔。例如，对于高分辨度的图像，如图8A所示，中心部的明区域的像素数多。对于低分辨度的图像，如图8C所示，中心部的明区域的像素数少。还有，之所以在明区域与暗区域之间设置不给于考虑的像素D，是为了即使在明区域或暗区域的大小发生变化时也能够进行检测。另外，也可以准备多个明暗像素图案，将与多个明暗像素图案中的任一个相符的部分判断为红眼现象。这样即使有面部朝向不同或眼睛大小等个人差别，也能够提高检测红眼现象的精度。在检测红眼现象时，也可以采用不同于判断与明暗像素图案相符的方法。例如，也可以从明暗界限的形状来检测红眼现象的瞳孔。图9是表示从红眼现象时的睑搜索区域E的图像中检测明暗的边缘的例子的图。红眼现象的瞳孔为明区域，其周围的虹膜为暗区域。因此，在红眼瞳孔P的周围检测出明暗的边缘。可以将该边缘形状符合规定条件的部分检测为红眼瞳孔P。具体方法的例子如下所述。图10是表示图9的部分R的放大图。在红眼瞳孔P，作为水平方向的边缘，朝着面部图像，在瞳孔的左端，出现从左向右从暗到明变化的边缘(纵正边缘)Hp。还有，在红眼瞳孔P的右端，出现从左向右从明到暗变化的边缘(纵负边缘)Hm。作为垂直方向的边缘，在红眼瞳孔P的上端，出现从上向下从暗到明变化的边缘(横正边缘)Vp。在红眼瞳孔P的下端，出现从上向下从明到暗变化的边缘(横负边缘)Vm。可以将被左边为纵正边缘Hp、右边为纵负边缘Hm、上边为横正边缘Vp、下边为横负边缘Vm的4种明暗界限所包围、其被包围的区域的像素数为规定范围的部分判断为红眼瞳孔P。因此，可以利用这些条件，搜索睑搜索区域E，检测红眼瞳孔P。或者，也可以从明暗的边缘图案检测红眼瞳孔P。图12A至图12D是表示检测红眼现象的边缘图案的例子的图。这里，涂黑的区域为边缘，上边为横正边缘Vp，下边为横负边缘Vm，左边为纵正边缘Hp，右边为纵负边缘Hm。在图案中也可以有同时属于横边缘和纵边缘的点。例如，如图12D所示，在检测红眼现象的边缘图案中，也可以包含横正边缘Vp和纵正边缘Hp的共同点Kl，横正边缘Vp和纵负边缘Hm的共同点K2，横负边缘Vm和纵正边缘Hp的共同点K3，横负边缘Vm和纵负边缘Hm的共同点K4。例如，在检测出明暗的边缘后，将与如图12A至图12D所示的规定的边缘图案相符的部分检测为红眼瞳孔P。或者，也可以当与规定的边缘图案相符的比率大于规定值时，将该部分检测为红眼瞳孔P。这里，所谓的与边缘图案相符，指的是在例如图12A至图12C中，在横正边缘Vp的区域，表示边缘强度的值(例如，亮度的变化值、佐贝尔过滤器的计算值等。以下称为边缘值)大于规定的阈值A，在横负边缘Vm的区域该边缘值小于规定的阈值B，在纵正边缘Hp的区域边缘值大于规定的阈值C，在纵负边缘Hm的区域边缘值小于规定的阈值D。另外，这里由于采用例如图4A或图4B所示的边缘检测用算符，在亮度从上向下或从左向右从明到暗变化的界限，该边缘值为正值。在亮度从暗到明变化的界限，该边缘值为负值。另外，阈值A、C为正值，阈值B、D为负值。阈值A、B、C、D的绝对值可以相同，也可以具有各自不同的绝对值。还有，如图12D所示，对于同时属于纵边缘和横边缘的点K1-K4，利用纵边缘(水平方向边缘)的值和横边缘(垂直方向边缘)的值的合成值来进行判断。设某个像素的水平方向边缘的佐贝尔过滤器的计算值为H、其像素的垂直方向边缘的佐贝尔过滤器的计算值为V，例如对于图12D的共同点K1，H+V大于规定的阈值c时，则判断该点的边缘值强。同样，在共同点K2，对于作为对象的像素，-￥+11大于规定的阈值(1时，则判断该点的边缘值强。在共同点K3，将H-V与阈值e进行比较。在共同点K4，将-H-V与阈值f进行比较来判断。阈值c、d、e、f可以为相同值，也可以为各自不同的值。红眼检测部25当检测出红眼现象时，将红眼瞳孔的位置等作为红眼瞳孔数据54，存储在数据保持部5中。如果没有检测出红眼现象，则存储为无红眼现象。红眼排除处理部26在检测出红眼现象时，将在红眼瞳孔的上下计算出的垂直方向边缘从候选下睑和候选上睑中排除。由于红眼瞳孔为与用于检测红眼现象的明暗像素图案相符的部分，因此在红眼瞳孔的上下出现垂直方向边缘的位置。即，位于红眼瞳孔位置时的明暗像素图案的明区域与暗区域的界限的候选睑，可以认为是因红眼瞳孔产生的垂直方向边缘。睑判断部27对于剩余的候选上睑和候选下睑，将最符合上下睑成对时的条件的组合作为上下的睑。例如，根据候选上睑的边缘和候选下睑的边缘的长度一致、边缘重心的横方向的位置在上下睑对中一致、边缘重心之间的距离在规定范围内等，进行判断。具体来说，例如，候选上睑的边缘的长度为Lm、候选下睑的边缘的长度为Lp、阈值为Lt，则将满足条件|Lm-Lp|<Lt的候选上睑和候选下睑的组合保留下来。还有，例如，设候选上睑的边缘的重心X座标为Xm、候选下睑的边缘的重心X座标为Xp、阈值为Xt，则将满足条件|Xm—Xp|<Xt的候选上睑和候选下睑的组合保留下来。另外，例如，设候选上睑的边缘的重心Y座标为Ym、候选下睑的边缘的重心Y座标为Yp、阈值为Dt，则将满足条件(Xm-Xp)2+(Ym-Yp)2<Dt的候选上睑和候选下睑的组合保留下来。在保留下来的组合中，例如，将作为左右眼的合适的组合、且边缘重心的横方向的位置最为靠近的组合选作为上下睑对。睑判断部27将所选择的上下睑对作为睑数据，存储在数据保持部5中。显示处理部28将检测结果的上下睑与面部轮廓等一起显示在显示装置7上。也可以从上下睑来判断眼睛的开闭度。根据上下睑的开闭度，推定驾驶员的觉醒度。在判定打瞌睡时，通过显示装置7显示警告(包括音响等警告提示)。还有，也可以利用上下睑数据来推定视线方向。另外，显示装置7并不是必要的构成要素，在睑检测装置1中不含有该显示装置接着，说明睑检测装置l的动作。另外，睑检测装置l的动作由控制部14与摄像机2、发送接收部16、图像存储器12、外部存储部13和主存储部15协同进行。图11是表示睑检测装置1的动作的一个例子的流程图。控制部14经由发送接收部16，输入来自摄像机2的面部图像(步骤S1)。然后，如前所述，设定面部区域。这里，还进行面部朝向的判断(步骤S2)。利用例如面部轮廓的对称性、眉毛和嘴巴下部在面部轮廓内的相对位置等来判断面部朝向。如果面部朝向偏离正面向横向为规定阈值以上(步骤S3:否)，则由于不适合进行睑检测，回到下一帧面部图像的输入(步骤S1)。如果面部朝向偏离正面在规定的阈值内(步骤S3:是)，则搜索鼻孔(步骤S4)。如果无法检测鼻孔(步骤S5:否)，则由于不适合进行睑检测，回到下一帧面部图像的输入(步骤S1)。如果能够检测到鼻孔(步骤S5:是)，则在面部区域内设定睑搜索区域(步骤S6)。控制部14在所设定的睑搜索区域内，计算水平方向边缘和垂直方向边缘，检测上下的候选睑(步骤S7)。控制部14对所计算出的水平方向边缘和垂直方向边缘进行分组，进行删除小于等于规定长度(连续点数)的边缘等处理。还有，计算其长度、重心的位置。另外，也可以根据水平方向边缘和垂直方向边缘的形状和位置，计算候选上睑的可靠程度。接着，从照度传感器4输入周围的亮度(步骤S8)，当周围的亮度低于规定值时(步骤S9:是)，进行红眼fL象的检测(步骤SIO)。如果周围的亮度大于规定值(步骤S9:否)，则不进行红眼现象的检测，进入到候选上睑的对应处理(步骤S14)。这里，采用例如明暗像素图案，进行红眼现象的检测(步骤SIO)。也可以采用多个明暗像素图案，将与任一个明暗像素图案相符的图像部分作为红眼瞳孔。如果检测出红眼现象(步骤S11:是)，则将红眼瞳孔的上边缘从候选下睑中排除(步骤S12)。还有，将红眼瞳孔的下边缘从候选上睑中排除(步骤S13)。如果没有检测出红眼现象(步骤S11:否)，则不进行候选下睑和候选上睑的排除处理。如上所述，对于保留的候选上睑和候选下睑，选择最符合上下睑成对时的条件的组合作为上下睑(步骤S14)。这里，另外对于上下睑对剩余3个以上的情况，利用眨眼来判断睑。计算每个候选上下睑对的开闭程度(步骤S15)。开闭程度(开度)为例如上睑的中心与下睑的中心之间的距离。将候选上下睑对与其开度按照时间序列进行对应(步骤S16)，当判断开度的变化为眨眼时(步骤S17:是)，判断该眨眼的候选睑为睑，将其作为睑数据进行登录(步骤S18)。例如，开度大于等于规定值的候选睑在规定的帧数的图像中，开度变小，然后开度又变大，则判断为眨眼。如果候选睑没有眨眼(步骤S17:否)，则不将候选睑判断为睑，而进行下一个图像输入(步骤S21)。在循环进行睑检测处理时，由于总会出现眨眼，因此能够正确地判断睑。如果上下候选睑对只有2组，且从面部中的位置、形状、上下关系等能够确实判断为睑时，也可以省略利用眨眼判断睑的处理。在其它处理中可以利用睑的开度。例如，当连续在规定帧数以上、睑的开度变小时，则判断为打瞌睡。利用本发明的睑检测装置1，即使在出现红眼现象时，也能够从面部图像数据中，高精度地检测睑。另外，上述硬件结构和流程图只是一个例子，可以任意变更、修正。进行由控制部14、发送接收部16、图像存储器12、外部存储部13和主存储部15等构成的睑检测装置1的处理的部分可以不采用专用系统，而利用通常的计算机系统来实现。例如，也可以将用来进行上述动作的计算机程序存放在计算机可以读取的存储媒体(软盘、CD-ROM、DVD-ROM等)中进行分发，将该计算机程序安装到计算机中，从而构成运行上述处理的睑检测装置1。还有，也可以将该计算机程序存放在因特网等通信网络上的服务器所具有的存储装置中，由通常的计算机系统进行下载等，通过这样构成睑检测装置l。还有，在OS(操作系统)与应用程序分担、或者OS与应用程序协同实现睑检测装置1的功能时，也可以只将应用程序部分存放在存储媒体或存储装置中。还有，也可以在载波中重叠计算机程序，经由通信网络进行分发。例如也可以在通信网络上的电子布告栏系统(BBS,BulletinBoardSystem)上发布上述计算机程序，经由网络，分发上述计算机程序。然后，启动该计算机程序，在OS控制下，与其他应用程序一样运行，进行上述处理。权利要求1.一种睑检测装置，其特征在于具有获取面部图像的图像获取机构、从上述面部图像中感知虹膜部的空间的明暗变化、检测从瞳孔入射的光反射后在上述面部图像中产生的红眼现象的红眼检测机构、和从上述面部图像基于明暗界限即边缘检测上睑和下睑的睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，上述睑检测机构将作为上述红眼现象的瞳孔的边缘从上睑和下睑中排除。2.根据权利要求1所述的睑检测装置，其特征在于上述睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，将作为上述红眼现象的瞳孔的上侧边缘从下睑中排除。3.根据权利要求1或2所述的睑检测装置，其特征在于上述睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，将作为上述红眼现象的瞳孔的下侧边缘从上睑中排除。4.根据权利要求1至3中任一项所述的睑检测装置，其特征在于上述红眼检测机构，将上述面部图像中的与规定的明暗像素图案相符的部分检测为作为上述红眼现象的瞳孔。5.根据权利要求4所述的睑检测装置，，其特征在于上述红眼检测机构的规定的明暗像素图案由中心部的明区域和配置在其周围的暗区域构成。6.根据权利要求4所述的睑检测装置，，其特征在于上述红眼检测机构将上述面部图像中与多个不同的规定的明暗像素图案的任一个相符的部分，检测为作为上述红眼现象的瞳孔。7.根据权利要求1至3中任一项所述的睑检测装置，其特征在于上述红眼检测机构将上述面部图像中的明暗界限即边缘的形状与规定的条件相符的部分，检测为作为上述红眼现象的瞳孔。8.根据权利要求1至7中任一项所述的睑检测装置，其特征在于还具有检测周围亮度的照度检测机构、和基于上述照度检测机构检测的周围的亮度、判断是否利用上述红眼检测机构检测上述红眼现象的红眼检测运行判断机构。9.根据权利要求8所述的睑检测装置，其特征在于上述红眼检测运行判断机构，当利用上述照度检测机构检测的周围的亮度大于规定的值时，判断为不利用上述红眼检测机构检测上述红眼现象。10.根据权利要求8所述的睑检测装置，其特征在于上述红眼检测运行判断机构，当利用上述照度检测机构检测的周围的亮度低于规定的值时，判断为利用上述红眼检测机构检测上述红眼现象。11.根据权利要求1至10中任一项所述的睑检测装置，其特征在于上述睑检测机构具有从上述面部图像中基于明暗界限即边缘检测候选的上睑和下睑的候选睑检测机构，当利用上述红眼检测机构检测到了红眼现象时，将作为上述红眼现象的瞳孔的边缘从候选的上睑和下睑中排除。12.—种睑检测方法，其特征在于具有从面部图像中感知虹膜部的空间的明暗变化、检测从瞳孔入射的光反射后在上述面部图像中产生的红眼现象的红眼检测步骤、从上述面部图像基于明暗界限即边缘检测上睑和下睑的睑检测步骤、和当在上述红眼检测步骤检测到了红眼现象时、将作为上述红眼现象的瞳孔的边缘从在上述睑检测步骤检测出的上睑和下睑中排除的红眼瞳孔排除步骤。13.—种程序，其特征在于使计算机具有如下机构的功能，即从面部图像中感知虹膜部的空间的明暗变化、检测从瞳孔入射的光反射后在上述面部图像中产生的红眼现象的红眼检测机构、和从上述面部图像基于明暗界限即边缘检测上睑和下睑、当利用上述红眼检测机构检测到了红眼现象时，将作为上述红眼现象的瞳孔的边缘从上睑和下睑中排除的睑检测机构。全文摘要本发明提供一种即使在出现红眼现象时，也能够正确地检测睑的睑检测装置。睑检测装置(1)具有获取面部图像的摄像机(2)和图像输入部(21)、从面部图像中感知虹膜部的空间的明暗变化、检测红眼现象的红眼检测部(25)、从面部图像基于明暗界限即边缘检测上睑和下睑的候选睑检测部(23)和睑判断部(27)，当利用红眼检测部(25)检测出红眼现象时，红眼排除处理部(26)将红眼现象的瞳孔的上侧边缘或下侧边缘从下睑或上睑中排除。红眼检测部(25)将面部图像中的与规定的明暗像素图案或边缘图案相符的部分检测为红眼现象的瞳孔。规定的明暗像素图案由中心部的明区域和配置在其周围的暗区域构成。文档编号A61B5/16GK101209207SQ200710194369公开日2008年7月2日申请日期2007年12月26日优先权日2006年12月26日发明者大上健一,小岛真一,浅野义,蜷川勇二,足立淳申请人:爱信精机株式会社