面部图像处理装置的制作方法

本发明的一个或更多个实施方式涉及面部图像处理装置，并且具体地，涉及一种基于作为被拍摄的人的面部的图像的面部图像来检测眼睛的位置和状态的面部图像处理装置。

背景技术：

在现有技术中，已知这样一种技术，即，该技术基于作为被拍摄的人的面部的图像的面部图像来检测眼睛的位置和状态。例如，jp-a-2001-022933公开了一种面部图像处理装置，该装置利用显示鼻孔和眼睛的特征的二维模板高速准确地提取鼻孔和眼睛，而不受附加信息所影响。该面部图像处理装置利用二维模板从面部图像估计存在眼睛的候选的区域，并且通过将该区域中的眼睛的候选转换成包括多个亮度值的数据来提取眼睛的候选。而且，该面部图像处理装置通过将眼睛的候选的像素的二维重心位置设置成所提取的候选中的眼睛的位置来确定眼睛和眼睛的位置。

另外，jp-a-h06-255388公开了一种驾驶状态检测装置，驾驶状态检测装置通过处理所拍摄的驾驶员的面部图像，即使亮度根据各种行驶环境而改变，也可以可靠地检测驾驶员的驾驶状态。该驾驶状态检测装置通过使所拍摄的驾驶员的图像的浓淡归一化，并且利用预先规定了面部和眼睛的区域的标准模板来相关地计算经过归一化的图像，从而生成驾驶员的目标面部模板和目标眼睛模板。该驾驶状态检测装置利用目标模板针对归一化的图像执行相关计算，并且基于相关值的变化来检测驾驶者的驾驶状态。无论周围的亮度如何，通过执行归一化和相关计算，可以可靠地检测驾驶员的诸如打瞌睡或不注意的异常状态。

另外，jp-a-2011-086051公开了一种眼睛位置识别装置，该眼睛位置识别装置能够通过减少错误识别而灵活地对应于个体差异。该眼睛位置识别装置通过检测面部图像中的边缘来获取边缘图像，例如，利用模板和边缘图像中的预定图像区域，计算模拟上眼睑的凸状半圆形状的重合度，并且确定该重合度等于或大于阈值的图像区域，作为眼睛的候选的位置。接着，同时上下移动的两只眼睛的候选的位置的边缘被认为是眨眼，并且将这些眼睛的候选的位置确定为眼睛的位置。

另外，jp-a-h09-276319公开了一种眼科立体显微镜装置，其目的在于通过利用偏振光观察要检查的眼睛中示出的条纹标记来质性地获得要检查的眼睛的表面形状。在眼科立体显微镜装置中，如果观察利用透过充当偏光器的偏光板等的光源的光照射要检查的眼睛，则可以根据角膜的状态观察到各种条纹图案，并且通过条纹图案来确定角膜的形状。

技术实现要素：

本发明的一个或更多个实施方式提供一种基于面部图像来准确地检测眼睛的位置或状态的面部图像处理装置。

根据本发明的一个或更多个实施方式，提供了一种面部图像处理装置，该面部图像处理装置包括：照明部，该照明部包括使光在第一方向上偏振的第一偏光器以及透过所述第一偏光器发射红外光的发光器；摄像部，该摄像部包括使光在垂直于所述第一方向的第二方向上偏振的第二偏光器以及透过所述第二偏光器拍摄图像的摄像器；以及图像处理部，该图像处理部利用当所述照明部发射红外光时由所述摄像部拍摄的第一图像和当所述照明部不发射红外光时由所述摄像部拍摄的第二图像，来检测眼睛的多个候选，其中，所述图像处理部将眼睛候选中的具有在所述第一图像中存在但在所述第二图像中不存在的双曲线状图案或十字状图案的候选确定为眼睛。

另外，提供了一种面部图像处理装置，该面部图像处理装置包括：第一照明部，该第一照明部包括使光在第一方向上偏振的第一偏光器以及透过所述第一偏光器发射红外光的第一发光器；第二照明部，该第二照明部包括发射红外光的第二发光器；摄像部，该摄像部包括使光在垂直于所述第一方向的第二方向上偏振的第二偏光器以及透过所述第二偏光器拍摄图像的摄像器；以及图像处理部，该图像处理部基于当所述第一照明部发射红外光时由所述摄像部拍摄的第一图像和当所述第二照明部发射红外光时由所述摄像部拍摄的第二图像，将存在于所述第一图像中但不存在于所述第二图像中的双曲线状图案或十字状图案检测为眼睛。

因此，通过检测仅在面部图像中的眼睛中示出的特征图案，可以准确地检测眼睛的位置或状态。

所述图像处理部可以生成作为所述第一图像与所述第二图像之间的差异的差异图像，并且基于所述差异图像来检测所述图案。

因此，可以补偿所述差异图像中的外部光的影响，因此可以进一步准确地检测眼睛的位置。

所述发光器可以被提供为从驾驶车辆的驾驶员的前方，向该驾驶员的面部照射光，并且在检测到所述图案的情况下，所述图像处理部可以确定为所述驾驶员向前看。

因此，可以可靠地检测到驾驶员正常地驾驶。

根据本发明的一个或更多个实施方式，可以提供基于面部图像进一步准确地检测眼睛的位置或状态的面部图像处理装置。

附图说明

图1是本发明的第一实施方式的面部图像处理装置的外观图；

图2a是当本发明的第一实施方式的面部图像处理装置被提供在车辆中的情况下从顶部看到的说明图，而图2b是从侧面看到的说明图；

图3是本发明的第一实施方式的面部图像处理装置的框图；

图4是本发明的第一实施方式的面部图像处理装置中的拍摄定时图；

图5是例示本发明的第一实施方式的面部图像处理装置中的全部操作的流程图；

图6是例示本发明的第一实施方式的面部图像处理装置中的检测图案的方法的流程图；

图7a是由本发明的第一实施方式的面部图像处理装置拍摄的第一图像，而图7b是第二图像；

图8a是由本发明的第一实施方式的面部图像处理装置拍摄的第一图像与第二图像的差异图像，而图8b是该差异图像中的眼睛的候选的说明图；

图9是例示根据由本发明的第一实施方式的面部图像处理装置所拍摄的第一图像与第二图像的差异图像来确定眼睛的说明图；

图10是本发明的第一实施方式的面部图像处理装置中的检测图案的方法的说明图(提取全部像素当中的某个眼睛的候选附近的像素)；

图11是本发明的第二实施方式的面部图像处理装置的外观图；

图12a是当本发明的第二实施方式的面部图像处理装置被提供在车辆中的情况下从顶部看到的说明图，而图12b是从侧面看到的说明图；

图13是本发明的第二实施方式的面部图像处理装置的框图；

图14是本发明的第二实施方式的面部图像处理装置中的拍摄定时图；以及

图15是例示本发明的第二实施方式的面部图像处理装置中的全部操作的流程图。

具体实施方式

在本发明的实施方式中，阐述了许多具体细节，以便提供对本发明的详尽理解。然而，本领域普通技术人员应当明白，本发明可以在不需要这些具体细节的情况下来实践。在其它情况下，未详细描述公知特征，以避免搞混本发明。

下面，参照附图，对本发明的实施方式进行描述。

<第一实施方式>

参照图1至图3，对本实施方式中的面部图像处理装置100进行描述。为了通过拍摄驾驶车辆的驾驶员dr的面部的图像来检测该驾驶员dr的驾驶状态，提供面部图像处理装置100以从驾驶员dr的前方朝向面部照射光并拍摄其图像。面部图像处理装置100在大致立方体的表面上设置有照明部10和摄像部20，该表面面向驾驶员dr并且例如设置在方向盘wl内部的方向盘轴部分、仪表面板部分、后视镜等中，并因此驾驶员dr的面部在驾驶期间被光照射并且被拍摄。

面部图像处理装置100包括拍摄面部的图像的摄像部20以及利用被设置成围绕摄像部20的附近的多个发光器12构成的照明部10。在面部图像处理装置100的照明部10中，使用发射红外光的发光二极管作为发光器12，并且在摄像部20中，使用能够拍摄可见光和红外光的电荷耦合器件(ccd)摄像机作为摄像器22，但毫无疑问，其不限于此。使用红外光是因为即使在夜间和白天昏暗的情况下，人也可以具有夜视。

除了发光器12之外，照明部10还包括在第一方向上执行偏振的第一偏光器11，并且发光器12在发射红外光时透过第一偏光器11将红外光发射到外部。偏光器是包括自然光束中的沿预定方向的偏振面并使透射的光偏振的典型偏光板。在这个实施方式中，当与包括在稍后描述的摄像部20中的第二偏光器21的第二方向相比时，在第一方向上执行偏振的第一偏光器11包括沿垂直方向的偏振面。

除了摄像器22以外，摄像部20包括使光在与第一方向垂直的第二方向上偏振的第二偏光器21(即，包括水平方向上的偏振面的第二偏光器21)，并且摄像器22在接收光并拍摄图像时接收透过第二偏光器21的来自外部的光。因此，摄像器22偏振并接收由发光器12偏振和照射的红外光的反射光，并且偏振和接收自然光的反射光。

面部图像处理装置100还设置有：存储由摄像部20拍摄的图像的存储部50；基于存储在存储部50中的图像来执行图像处理以便检测眼睛等的图像处理部30；用于利用由图像处理部30处理的结果来输出外部机构的外部输出部60；以及控制所有部分的控制部40。存储部50例如是半导体存储器，并且外部输出部60是微型计算机，而控制部40是由微型计算机处理的控制逻辑。

如图4所示，在照明部10的发光器12发射红外光并照射驾驶员dr的面部的同时，面部图像处理装置100的控制部40通过利用摄像部20拍摄驾驶员dr的面部来获取第一图像，并将所拍摄的图像存储在存储部50中。而且，在照明部10的发光器12停止发射光之后，控制部40继续允许摄像部20仅利用自然光拍摄驾驶员dr的面部，获取第二图像，并将该图像存储在存储部50中。在将第一图像和第二图像存储在存储部50中之后，图像处理部30通过稍后描述的方法处理两个图像以检测眼睛等。

参照图5和图6，对面部图像处理装置100中的操作进行描述。而且，流程图中的s表示步骤。在s100中，面部图像处理装置100的控制部40通过开启发光器12来利用红外光照射驾驶员的面部。在s102中，在发光器12发射光的同时，控制部40允许摄像部20拍摄驾驶员的面部的图像。在s104中，控制部40允许存储部50存储由摄像部20拍摄的图像作为第一图像。

这里，参照图7a，对驾驶员的面部的第一图像进行描述。如相关技术中所描述的，在针对活体的角膜施加由偏光器产生的偏振光，并且根据角膜的各向异性来观察通过与该偏振光垂直的偏振滤光器拍摄的角膜的情况下，获知在角膜中心观察到双曲线形状或十字状的条纹图案。由此，如图7a所示，在第一图像中，在驾驶员的眼睛的角膜中，存在着在图7a中以45度倾斜的双曲线状图案或十字状图案。双曲线状图案或十字状图案的倾斜不因驾驶员的面部(眼睛)的倾斜而改变，并且就偏振方向(第一方向和第二方向)而言是恒定的。因此，即使驾驶员例如倾斜他或她的面部或朝向一侧，只要在第一方向被固定至垂直方向并且第二方向被固定至水平方向的时候执行拍摄，双曲线状图案或十字状图案的倾斜就是恒定的，并且不改变。无论图案是双曲线形状还是十字形状都意味着根据观察具有弯曲表面的角膜的角度，图案看起来稍微改变，但是并不是本质差异。

在s106中，控制部40关闭发光器12。在s108中，控制部40允许摄像部20仅利用自然光来拍摄驾驶员的面部。在s110中，控制部40允许存储部50存储由摄像部20拍摄的图像作为第二图像。图7b例示了驾驶员的面部的第二图像，但在第二图像中，仅利用自然光执行拍摄，因此即使当透过偏光器21执行拍摄时，在驾驶员的眼睛的角膜中不存在特征双曲线状图案或十字状图案。

如果这两个图像被存储在存储部50中，则在s112中，图像处理部30生成第一图像与第二图像的差异图像。从准确的图像的观点来看，优选地获取该差异图像，差异图像能够补偿由对于第一图像和第二图像而言共用的光所获取的图像部分，即，可以获取即使在施加红外光时也存在的自然光的反射光。因此，选择性地生成该步骤的差异图像，并且可以仅从第一图像或第二图像执行下一步骤。图8a例示了该差异图像，但在图8a中，例如，可以将具有预定大小或更大的成圆形的暗像素设置成眼睛的候选。在s114中，图像处理部30从所获得的差异图像，或者从第一图像或第二图像中提取作为眼睛的候选的图像部分。

在s116中，图像处理部30扫描是否存在成为眼睛的候选的图像部分，并且在存在成为眼睛的候选的图像部分的情况下，在s118中，图像处理部执行从成为眼睛的候选的图像部分中提取图案的处理，如图6的流程图所示。图8b例示了将具有预定大小或更大的成圆形的暗像素(如眼睛、鼻子的鼻孔及鼻子)提取为眼睛的候选。针对成为这些眼睛的候选的每个图像部分，如下地确定眼睛的候选是否是真实的眼睛。

在s200中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起上侧五个像素处的像素的亮度值a。而且，虽然在本实施方式使用五个像素并加以描述，但根据像素的密度适当地确定用于拍摄人的角膜的图像的像素的数量。在s202中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起下侧五个像素处的像素的亮度值b。在s204中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起左侧五个像素处的像素亮度值c。在s206中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起右侧五个像素处的像素的亮度值d。如图10所示，从作为眼睛的候选的图像部分的中心的像素起上侧、下侧、右侧及左侧五个像素处的像素，即，远离垂直方向和水平方向的像素共同作为暗像素。如上所述，只要通过将偏振方向固定至第一方向和第二方向来执行拍摄，就是恒定的。

在s208中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起斜向的右上侧五个像素处的像素的亮度值e。在s210中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起斜向的左上侧五个像素处的像素的亮度值f。在s212中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起斜向的右下侧五个像素处的像素的亮度值g。在s214中，图像处理部30计算从作为眼睛的候选的图像部分的中心的像素起斜向的左下侧五个像素处的像素的亮度值h。如图10所示，从作为眼睛的候选的图像部分的中心的像素起斜向的右上侧、右下侧、左上侧及左下侧的各五个像素共同作为亮像素。按相同方式，只要通过将偏振光的方向固定至第一方向和第二方向来执行拍摄，像素就是恒定的。

在s216中，图像处理部30计算亮度值a、b、c和d的偏差i。在s218中，图像处理部30计算亮度值a、b、c和d的平均值j。在s220中，图像处理部30计算亮度值e、f、g和h的偏差k。在s222中，图像处理部30计算亮度值e、f、g和h的平均值l。

在s224中，图像处理部30检查偏差i是否在预定阈值内。因为双曲线状图案或十字状图案总是如上所述以特定角度例示，所以如果90度处的像素的亮度偏差大，则认为双曲线状图案或十字状图案未示出(或是异常值)。在s226中，图像处理部30以相同的方式检查偏差k是否在预定阈值内。在s228中，图像处理部30计算平均值j与平均值k之间的差。而且，在s230中，图像处理部30检查平均值j与平均值k之间的差是否等于或大于预定阈值。如果示出双曲线状图案或十字状图案，则其被示出为暗像素的平均值与亮像素的平均值之间的差，并因此存在等于或大于预定阈值的差。

因此，在偏差i和k处于预定阈值内并且平均值j与平均值l之间的差等于或大于预定阈值的情况下，在s232中，图像处理部30确定在作为眼睛的候选的图像部分中存在双曲线状图案或十字状图案。同时，在偏差i或偏差k未处于预定阈值内并且平均值j与平均值l之间的差不等于或大于预定阈值的情况下，在s234中，图像处理部30确定在作为眼睛的候选的图像部分中不存在双曲线状图案或十字状图案。

在s120中，图像处理部30检查双曲线状图案或十字状图案是否存在于作为眼睛的候选的图像部分中，并且在确定存在图案的情况下，在s122中，除了眼睛之外，没有示出其它这样的特征图案，并由此将作为眼睛的候选的图像部分确定为眼睛的图像。在这种情况下，如果通过该差异图像示出了面部图像，则如图9所示，仅将角膜中所示的双曲线状图案或十字状图案示为差异。如上所述，可以通过基于差异图像检测双曲线状图案或十字状图案来补偿差异图像中的外部光的影响，因此可以准确地检测眼睛的位置。另外，在确定双曲线状图案或十字状图案不存在于作为眼睛的候选的图像部分中的情况下，在s128中，图像处理部30确定眼睛的候选不是眼睛。

提供面部图像处理装置100以从驾驶员dr的前方拍摄图像，可以识别角膜的存在，使得确定为驾驶员dr处于向前看的状态，并且在s124中，外部输出部60输出显示驾驶员dr在向前看的同时正常驾驶的结果。接着，在预定的暂停时段t1之后，重复上述步骤(s126)。而且，尽管在重复该步骤期间将眼睛的候选确定为眼睛，但对于在s116中未检测到眼睛的候选的情况情况来说，或者对于在s120中不能检测到角膜的图案的情况来说，面部图像处理装置100确定存在驾驶员dr未向前看的状态，例如，驾驶员瞌睡或不注意的状态，由此在s130中，外部输出部60输出显示驾驶员dr在未正常地向前看的同时进行驾驶的结果。

如上所述，面部图像处理装置100利用在照明部10发射红外光时通过摄像部20拍摄的第一图像和在照明部10不发射红外光时通过摄像部20拍摄的第二图像，来检测眼睛的多个候选，并且确定眼睛的候选，眼睛的候选包括存在于第一图像中但不存在于第二图像中的双曲线状图案或十字状图案。如上所述，通过检测仅在面部图像中的眼睛中示出的特征图案，可以准确地检测眼睛的位置或状态。

<第二实施方式>

参照图11至图13，对本实施方式中的面部图像处理装置100a进行描述。为了避免多余的描述，将相同数字指定给与上述第一实施方式的那些组件相同的部件，并且将集中于不同的部分来进行描述。提供面部图像处理装置100a以从驾驶员dr的前方朝向面部施加光并且执行拍摄，以便通过拍摄驾驶车辆的驾驶员dr的面部来检测驾驶员dr的驾驶状态。面部图像处理装置100a设置有处于大致立方体表面上的第一照明部10、第二照明部10'以及摄像部20，该表面面对驾驶员dr，并且例如设置在方向盘wl内部的方向盘轴部分等中，并因此驾驶员dr的面部被光照射并且在驾驶期间被拍摄。而且，在本实施方式中，两个照明部被设置在摄像部20的右侧和左侧，但不限于此，并且，例如，按与上述第一实施方式相同的方式成环状设置在摄像部20的周围，并且属于第一照明部10的第一发光器12和属于第二照明部10'的第二发光器12'可以交替设置。

第一发光器12和第二发光器12'是发射红外光的发光二极管。第一照明部10包括第一发光器12和使光在第一方向上偏振的第一偏光器11，并且第一发光器12在发射红外光时透过第一偏光器11将红外光施加到外部。此时，第二照明部10'仅包括第二发光器12'，并且第一发光器12将红外光直接施加到外部而不偏振该红外光。

摄像部20包括摄像器22和使光在垂直于第一方向的第二方向上偏振的第二偏光器21，并且摄像器22在接收光和拍摄图像时透过第二偏光器21从外部接收光。因此，摄像器22偏振并接收由第一发光器12偏振和施加的红外光的反射光，并且偏振和接收由第二发光器12'直接施加的红外光的反射光和自然光的反射光。

如图14所示，面部图像处理装置100a的控制部40a允许第一照明部10的第一发光器12发射红外光，在向驾驶员dr的面部照射光期间通过利用摄像部20拍摄驾驶员dr的面部来获取第一图像，并将该图像存储在存储部50中。而且，在第一照明部10的第一发光器12停止发射光之后，控制部40a允许第二照明部10'的第二发光器12'发射红外光，在向驾驶员dr的面部照射光期间通过利用摄像部20拍摄驾驶员dr的面部来获取第二图像，并将该图像存储在存储部50中。在将第一图像和第二图像存储在存储部50中之后，图像处理部30a处理这两个图像，并且检测眼睛。

参照图15，对面部图像处理装置100a中的操作进行描述。在s300，面部图像处理装置100a的控制部40a允许开启第一发光器12并且向驾驶员的面部照射红外光。在s302中，控制部40a允许摄像部20在第一发光器12发射光期间拍摄驾驶员的面部。在s304中，控制部40a将摄像部20所拍摄的图像作为第一图像存储在存储部50中。按照与上述第一实施方式中存储的第一图像相同的方式，双曲线状图案或十字状图案存在于存储在存储部50中的第一图像中。

在s306中，控制部40a关闭第一发光器12。在s308中，控制部40a通过开启第二发光器12'来向驾驶员的面部照射红外光。在s310中，控制部40a允许摄像部20在第二发光器12'发射光期间拍摄驾驶员的面部。在s312中，控制部40a允许存储部50将摄像部20所拍摄的图像存储在第二图像中。在存储在存储部50中的第二图像中，按照与上述第一实施方式中的第二图像相同的方式，特征双曲线状图案或十字状图案未存在于驾驶员的眼睛的角膜中。在s314中，控制部40a关闭第二发光器12'。

如果这两个图像被存储在存储部50中，则在s316中，图像处理部30a生成第一图像与第二图像的差异图像。在该差异图像中，仅示出了如图9例示的角膜中所示的双曲线状图案或十字状图案。这里，在s318中，图像处理部30a通过图案匹配法等提取特征图案。在s320中，在图像处理部30a检查双曲线状图案或十字状图案是否在差异图像中的情况下，确定存在图案，并接着在s322中，因为除了眼睛之外没有示出特征图案，所以确定存在该图案的区域是眼睛。另外，在双曲线状图案或十字状图案不存在于该差异图像中的情况下，在s328中，图像处理部30a确定不能检测到眼睛。

提供面部图像处理装置100a以从驾驶员dr的前方拍摄。如果可以确定角膜的存在，则确定为驾驶员dr处于向前看的状态。因此，在s324中，外部输出部60输出显示驾驶员dr在正常地向前看的同时进行驾驶的结果。而且，在预定的暂停时段t1中，重复所述步骤(s326)。而且，尽管在重复这些步骤期间确定存在图案，但对于在s320中不能检测角膜的图案的情况来说，面部图像处理装置100a确定驾驶员dr不向前看的状态，例如，驾驶员瞌睡或不注意的状态，并且在s330中，外部输出部60输出显示驾驶员dr没有在正常地向前看的同时进行驾驶的结果。

如上所述，面部图像处理装置100a基于由摄像部20利用在从第一照明部10发射红外光时被偏振的红外光的反射光拍摄的第一图像和由摄像部20利用在从第二照明部10'发射的红外光时未被偏振的红外光的反射光拍摄的第二图像，将不存在于第二图像中但存在于第一图像中的双曲线状图案或十字状图案检测为眼睛。如上所述，通过检测仅在面部图像中的眼睛中示出的特征图案，可准确检测眼睛的位置或状态。

而且，本发明不限于举例说明的实施方式，并且可以在不脱离权利要求书的每项内容的范围内进行配置。即，关于本发明的所述一个或更多个实施方式，主要例示和描述了某个实施方式，但其不脱离本发明的所述一个或更多个实施方式的技术精神领域和范围，以及所述数字，或详细配置，并且本领域技术人员可以针对上述实施方式应用各种修改等。

例如，在上述实施方式中，获取车辆的驾驶员的面部图像，但可以获取其他人的面部图像，如操作重要单元的操作员的面部图像。

虽然本发明已经参照有限数量的实施方式进行了描述，但受益于本公开的本领域技术人员应当清楚，在不脱离如在此公开的本发明的范围的情况下，可以设想其它实施方式。因此，本发明的范围应当仅受限于所附权利要求书。

相关申请的交叉引用

本申请基于并且要求于2016年3月7日提交的日本专利申请no.2016-043063的优先权的权益，其全部内容通过引用并入于此。