眼睑检测装置、眼睑检测方法及其程序的制作方法

专利名称：眼睑检测装置、眼睑检测方法及其程序的制作方法
眼睑检测装置、眼睑检测方法及其程序技术区域本发明涉及一种检测例如驾驶车辆等移动体的驾驶员等的眼睛的眼 睑检测装置、眼睑检测方法及其程序。
背景技术：
现在，已知有从包含人的面部的图像中检测人的面部和眼睛的位置的 技术。例如，专利文献l中公开了以下技术，即从面部图像中提取与上眼 睑对应的边缘线和与下眼睑对应的边缘线，生成其样板，将所生成的样板 与候选眼睛进行匹配，从而能够连续正确地检测眼睛。但是，在专利文献l的技术中，当与样板进行匹配时，进行相关值运算，需要处理时间。因此，难以利用处理速度较慢的车载用CPU进行运算。还有，如果采用专用的运算器，则会增加成本。[专利文献1]日本专利特开2000-137792号公报 发明内容本发明考虑到上述问题，其目的在于提供一种能够利用较少的运算检 测眼睑(眼睛)的眼睑检测装置、眼睑检测方法及其程序。为实现上述目的，与本发明的第1观点有关的眼睑检测装置的特征在于，包括面部图像存储机构，其存储对象者的面部的图像；候选眼睑提取机构，其对存储在上述面部图像存储机构中的图像进行 处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线 对；参数计算机构，其计算表示上述面部图像存储机构存储的图像中的与 上述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和眼睑检测机构，其基于上述参数计算机构算出的参数，检测对象者的 眼睑的位置。例如，上述参数计算机构也可以计算表示上述面部图像存储机构存储 的图像的规定部分中包含眼睛头部和眼睛尾部的至少一方的可能性的参 数，该规定部分包含上述候选眼睑提取机构所提取的候选下眼睑的线的两l山顿。例如，上述参数计算机构也可以计算上述面部图像存储机构存储的图 像的规定部分的多个像素的浓度的平均值，该规定部分包含上述候选眼睑提取机构所提取的候选下眼睑的线的两端；基于所计算的多个像素的浓度的平均值，计算表示在上述面部图像存 储机构存储的图像的规定部分中包含眼睛头部和眼睛尾部的至少一方的 可能性的参数，该规定部分包含上述候选眼睑提取机构所提取的候选下眼 睑的线的两端。例如，可以还具有图案存储机构，其存储表示在面积等于包含上述线 的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对 应的眼睛区域的图案，上述参数计算机构计算上述面部图像存储机构存储的图像中的、与上 述图案存储机构存储的图案所表示的皮肤区域对应的部分的多个像素的 浓度的平均值、和上述面部图像存储机构存储的图像中的、与上述图案存 储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平 均值之间的差分，上述眼睑检测机构基于上述差分，检测眼睑。例如，可以还具有图案存储机构，其存储表示面积小于包含上述线的 两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应 的眼睛区域的图案，上述参数计算机构具有差分计算机构，其将包含上述线的两端的规定 部分中的一部分与上述图案存储机构所存储的图案进行对应，计算上述面 部图像存储机构存储的图像中的与上述图案存储机构存储的图案所表示 的皮肤区域对应的部分的多个像素的浓度的平均值、和上述面部图像存储机构存储的图像中的与上述图案存储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平均值之间的差分，使上述差分计算机构对包含上述线的两端的规定部分进行扫描，将计算出的多个差分中的最大值作为最大差分值，上述眼睑检测机构基于上述最大差分值，检测眼睑。 与本发明的第2观点有关的眼睑检测方法的特征在于， 对面部图像进行处理，提取由眼睛的上眼睑和下眼睑构成的候选组合的线对，计算表示所提取的由上眼睑和下眼睑构成的候选组合的线对包含眼 睛头部和眼睛尾部中的至少一方的可能性的参数， 基于所计算出的参数，检测对象者的眼睑。与本发明的第3观点有关的程序的特征在于使计算机作为如下机构 发挥功能，艮口面部图像存储机构，其存储对象者的面部的图像；候选眼睑提取机构，其对存储在上述面部图像存储机构中的图像进行 处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；参数计算机构，其计算表示上述面部图像存储机构存储的图像中的与 上述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和眼睑检测机构，其基于上述参数计算机构算出的参数，检测对象者的 眼睑的位置。利用本发明，可以提供一种能够利用较少的运算检测眼睑的眼睑检测 装置、眼睑检测方法及其程序。


图1是表示与本发明的第1实施方式有关的眼睑检测装置的结构的框图。图2是表示图1所示的计算机的结构的框图。图3是说明存放在ROM或RAM中的各种数据的图。图4是说明存放在ROM或RAM中的各种数据的图。 图5是说明与本发明的第1实施方式有关的处理的概要的图。 图6是说明与本发明的第1实施方式有关的处理的概要的图。 图7是说明与本发明的第1实施方式有关的眼睑检测处理的流程图。 图8是说明第1实施方式的眼睑检测处理中的前处理的流程图。 图9是说明第1实施方式的眼睑检测处理中的面部位置检测处理的流 程图。图10是说明面部位置检测处理中的面部左右端检测处理的流程图。 图11是说明面部位置检测处理中的面部上下端检测处理的流程图。 图12是说明第1实施方式的眼睑检测处理中的候选眼睑提取处理的 流程图。图13是说明第1实施方式的眼睑检测处理中的眼睑判断处理的流程图。图14是说明第2实施方式的眼睑检测处理的概要的图。图15是说明第2实施方式的眼睑检测处理中的眼睑判断处理的流程图。图中IO—摄像机，12—照明光源，14一计算机，16—显示装置，21 一A/D变换器，22—图像存储器(面部图像存储机构)，23—ROM (图案 存储机构)，24 — CPU (候选眼睑提取机构、参数计算机构、眼睑检测机 构)，25—RAM， 26—显示控制装置，28 —设定存储器，29 —操作装置， 50—眼睑检测装置。
具体实施方式
以下，说明与本发明的第1实施方式有关的眼睑检测装置50。如图1所示，第1实施方式有关的眼睑检测装置50由拍摄驾驶员的面部、生成面部图像的摄像机10;对驾驶员的面部进行照明的照明光源 12;检测驾驶员的眼睑的计算机14;和与计算机14连接的显示装置16 构成。摄像机10例如由CCD摄像机构成，按照一定周期(例如1/30秒)获 取并输出驾驶员的面部的灰度图像。从摄像机10依次输出的面部图像除了驾驶员的面部(的图像)外，还包含其背景(的图像)等。显示装置16由LCD (Liquid Crystal Display)或CRT (Cathode Ray Tube)等构成，显示由摄像机10拍摄的面部图像生成的2值化图像。计算机14是对利用摄像机10获取的面部运动图像进行处理，检测其 眼睑的位置的装置。如图2所示，计算机14由A/D变换器21、图像存储 器22、 ROM (Read Only Memory) 23、 CPU (Central Processing Unit) 24、 RAM (Random Access Memory) 25、显示控制装置26、光源控制装 置27、设定存储器28、和操作装置29构成。A/D (模拟/数字)变换器21将摄像机10拍摄的模拟图像信号变换为 数字信号。图像存储器22中存储由摄像机10生成、利用A/D变换器21进行数 字化处理后的图像数据。ROM23中存储用于控制CPU的动作的程序。还有，ROM23中存储 用于执行后述的图像处理的各种固定数据。CPU24对计算机14整体进行控制。还有，CPU24通过运行存放在 ROM23中的程序，从而对摄像机10获取的一系列面部图像进行处理，检 测出眼睑。RAM25用作CPU24的工作区域。显示控制装置26在CPU24的控制下，将视频数据转换为显示装置16 可以输出的数据形式，输出到显示装置16。光源控制装置27控制照明光源12的开灯、关灯。设定存储器28中预先存储图4所示的各种参数。当CPU24从存放在 RAM25中的面部图像中检测眼睑时，使用各种参数。详细情况后面叙述。操作装置29接受来自用户的操作信息，将对应操作的操作信号输出 妾廿CPU24。接着，参照图3，说明存放在ROM23中的固定数据的例子。首先， ROM23中存放有图3 (a)所示的纵向边缘检测用佐贝尔滤波器的算符。 纵向边缘检测用佐贝尔滤波器是强调图3 (c)所示的横方向的浓淡差的算 符。还有，ROM23中存放有图3 (b)所示的横向边缘检测用佐贝尔滤波器的算符。横向边缘检测用佐贝尔滤波器是强调图3 (d)所示的横方向的 浓淡差的算符。ROM23中存放有图3 (e)所示的左端用眼睛尾部，眼睛头部图案。 左端用眼睛尾部，眼睛头部图案根据实际的眼睛尾部，眼睛头部的图像生 成，由表示眼睛尾部，眼睛头部周边的皮肤的部分和表示眼睛的部分构成。 在图中，白色方格的部分为表示皮肤的部分，黑色方格的部分为表示眼睛 的部分。左端用眼睛尾部，眼睛头部图案用于判断实际的边缘线的左端附 近的图像与眼睛尾部或者眼睛头部的相似程度。ROM23中存放有图3 (f)所示的右端用眼睛尾部，眼睛头部图案。 右端用眼睛尾部，眼睛头部图案根据实际的眼睛尾部*眼睛头部的图像生 成，由表示眼睛尾部，眼睛头部周边的皮肤的部分和表示眼睛的部分构成。 在图中，白色方格的部分为表示皮肤的部分(以下称为皮肤部分)。黑色 方格的部分为表示眼睛的部分(以下称为眼睛部分)。右端用眼睛尾部* 眼睛头部图案用于判断实际的边缘线的右端附近的图像与眼睛尾部或者 眼睛头部的相似程度。参照图4，说明存放在设定存储器28中的各种参数的例子。首先，眼睑检测用横向佐贝尔阈值为根据从面部图像中提取面部的眼 睑区域时利用横向边缘线检测用佐贝尔滤波器处理过的各像素的浓度值 的绝对值，判断是否为横向边缘线的阈值。眼睑区域设定参数a、 b为计算从所检测出的面部位置推定存在眼睑 的眼睑区域的参数。阈值Lth、 Cxth、 Dth为用于提取作为候选眼睑的边缘线对的阈值。下面，说明具有上述结构的与第1实施方式有关的眼睑检测装置50 的动作。首先，参照图3-6，说明眼睑检测装置50检测面部图像中的眼睑的动 作的概要。摄像机10按照规定周期(例如，1/30秒周期)拍摄图5 (a)所示的 对象者的面部图像，并输出面部图像。所输出的面部图像依次存放在图像 存储器22中。接着，CPU24依次读出存放在图像存储器22中的面部图像，进行如下处理。首先，CPU24利用纵向边缘检测用佐贝尔滤波器(图3 (a))，对 读出的面部图像进行处理，基于该面部图像的各像素的浓度值，检测面部 的左右端。还有，CPU24利用横向边缘检测用佐贝尔滤波器(图3 (b))， 对读出的面部图像进行处理，基于该面部图像的各像素的浓度值，检测面 部的上下端。例如，对于图5 (a)所示的面部图像，面部的左右端为x—、 j，上下 端为y-m、 n。从面部的左右端和上下端，可以检测面部位置。CPU24基于存放在设定存储器28中的参数和所检测出的面部位置， 提取图5 (b)所示的推定为包含眼睑的眼睑区域。利用图5 (a)所示的 图，进行具体说明。当面部的左右端为x-i、 j、上下端为y-m、 n时，利 用图4所示的存放在设定存储器28中的眼睑区域设定参数a、 b，可以将 眼睑区域表示为i《x《j且v《y《w (但是，v=m+b，w=n-a)。CPU24利用横向边缘检测用佐贝尔滤波器(图3 (b))，进行提取 眼睑区域的图像中的横向边缘线的处理。这里，CPU24将利用横向边缘检 测用佐贝尔滤波器处理过的各像素的微分值的绝对值在眼睑检测用横向 佐贝尔阈值(图4)以上的像素判断为横向边缘线。其结果如图5 (c)所示，在y轴方向从亮像素变为暗像素的边缘线表 示为负边缘，在y轴方向从暗像素变为亮像素的边缘线表示为正边缘。另 外，图上负边缘用实线表示，正边缘用虚线表示。接着，CPU24从所求得的负边缘线和正边缘线中，提取满足如下3个 公式的负边缘和正边缘的组合(边缘线对)，作为候选上眼睑和候选下眼 睑。Lp—Lm<Lth ......(1)这里，Lp是表示正边缘的长度的值，Lm是表示负边缘的长度的值， Lth是阈值。如图4所示，阈值Lth存放在设定存储器28中。满足公式(1) 的负边缘和正边缘的长度用阈值Lth的范围近似表示。Cxp — Cxm < Cxth ......(2)这里，Cxp是正边缘的重心的x坐标，Cxm是负边缘的重心的x坐标， Cxth是阈值。如图4所示，阈值Cxth存放在设定存储器28中。满足公式(2)的负边缘和正边缘的重心的X坐标用阈值Cxth的范围近似表示。Dg < Dth ......(3)这里，Dg是负边缘的重心与正边缘的重心之间的距离，Dth是阈值。 如图4所示，阈值Dth存放在设定存储器28中。满足公式(3)的负边缘 和正边缘的重心间距离用阈值Dth的范围近似表示。CPU24在利用上述3个公式提取的负边缘和正边缘的组合中，将负边 缘作为候选上眼睑，正边缘作为候选下眼睑。艮口，满足公式(1) - (3)的负边缘和正边缘的组合为在某种程度上长 度相等、位置靠近、重心的x坐标一致的负边缘和正边缘的组合。图5表示根据公式(1) - (3)的负边缘和正边缘的组合的一个例子。 作为负边缘和正边缘的组合的候选1-7是对象者的候选眼睑(边缘线对)。接着，CPU24针对各候选眼睑(边缘线对)，在其左右端设定眼睛尾 部，眼睛头部区域。眼睛尾部》眼睛头部区域是眼睛尾部或眼睛头部存在 的可能性高的区域。本实施例中，将以候选眼睑(边缘线对)的候选下眼 睑(正边缘)的左右两端为中心的横5X纵5 (像素)的区域。例如，如 图6 (a) 、 (b)所示，候选眼睑2中，在其候选下眼睑(正边缘)的左 右端设定眼睛尾部'眼睛头部区域100、 200。CPU24对于以所设定的各候选眼睑的正边缘的左端为中心的眼睛尾 部*眼睛头部区域，利用左端眼睛尾部*眼睛头部图案(图3 (e))，计 算左端眼睛尾部*眼睛头部评价值。还有，CPU24对于以所设定的各候选 眼睑的正边缘的右端为中心的眼睛尾部*眼睛头部区域，利用右端眼睛尾 部，眼睛头部图案(图3 (f))，计算右端眼睛尾部，眼睛头部评价值。具体来说，如图6 (c)所示，CPU24在相当于进行佐贝尔滤波处理 之前的原始图像的眼睛尾部'眼睛头部区域内配置眼睛尾部*眼睛头部图 案。接着，CPU24计算相当于图案的皮肤部分的原始图像的浓度的平均值 与相当于图案的眼睛部分的原始图像的浓度的平均值。CPU24将从所计算 出的相当于皮肤部分的原始图像的浓度的平均值中减去相当于眼睛部分 的原始图像的浓度的平均值后的值作为眼睛尾部，眼睛头部评价值。 CPU24针对各候选眼睑(边缘线对)的左右端，分别计算眼睛尾部*眼睛 头部评价值。CPU24将所计算出的左端眼睛尾部，眼睛头部评价值与右端眼睛尾部 眼睛头部评价值的和最大和第二大的2个评价值判断为左右眼睑。下面参照图7-13，详细说明眼睑检测装置50检测面部图像中的眼睑 的动作。参照图7所示的流程图，说明与本发明的第1实施方式有关的眼睑检 测装置50进行的眼睑检测处理。计算机14内的CPU24周期性地(例如，每隔1/30秒)开始图7的眼 睑检测处理。首先，接通眼睑检测装置50的电源后，CPU24进行后述的前处理， 获取驾驶员的面部图像，提取纵向边缘线，并提取横向边缘线(步骤SIOO)。接着，CPU24进行后述的面部位置检测处理，利用在上述前处理中提 取的纵向边缘线检测面部的左右端，利用横向边缘线检测面部的上下端， 检测面部图像的面部位置(步骤S200)。CPU24进行后述的候选眼睑提取处理，利用在上述眼睑位置检测处理 中检测的面部位置，从面部图像中提取眼睑区域，提取横向边缘线。从所 提取的横向边缘线中，提取作为候选上下眼睑的边缘线的对(边缘线对) (步骤S300)。CPU24进行后述的眼睑判断处理，对各候选眼睑的左右端设定眼睛尾 部*眼睛头部区域，计算所设定的区域的眼睛尾部眼睛头部评价值，基于 所计算的眼睛尾部眼睛头部评价值，判断左右眼睑(步骤S400)，然后结 束处理。这样，可以周期性地重复利用眼睑检测处理获取面部图像、从该图像 中检测眼睑。接着，说明在眼睑检测处理的步骤S100进行的前处理。简单说明如 下。在前处理中，眼睑检测装置50拍摄驾驶员的面部图像，利用佐贝尔 滤波器，进行边缘检测。下面，参照图8，详细说明前处理(S100)。首先，CPU24进行图像获取处理，即经由A/D变换器21，获取摄像 机10拍摄的对象者的面部图像，并将其存放到图像存储器22中(步骤 S110)。接着，CPU24进行坐标变换处理，对存放在图像存储器22中的各面部图像的像素进行间隔提取处理，从而使其能够进行后述的佐贝尔滤波处理(步骤S120)。 ' CPU24利用存放在ROM23中的纵向边缘线检测用算符(图3 (a))，对坐标变换后的面部图像进行处理，生成强调面部图像内的纵向边缘的图像。而且，CPU24利用存放在ROM23中的横向边缘线检测用算符(图3 (b))，对坐标变换后的面部图像进行处理，生成强调面部图像内的横向边缘的图像(步骤S130)。这样，利用前处理，可以生成强调了所拍摄的面部图像的纵向边缘的图像和强调了横向边缘的图像。这里，说明在眼睑检测处理的步骤S200中进行的面部位置检测处理。简单说明如下。在面部位置检测处理中，眼睑检测装置50利用前处理中生成的强调了纵向边缘的图像和强调了横向边缘的图像，检测面部图像中的面部位置。下面，参照图9，详细说明面部位置检测处理(S200)。首先，CPU24进行后述的面部左右端检测处理，利用前处理中生成的强调了纵向边缘的图像，检测面部图像中的面部的左右端的位置(步骤S210)。接着，CPU24进行后述的面部上下端检测处理，利用前处理中生成的 强调了横向边缘的图像，检测面部图像中的面部的上下端的位置(步骤 S220)，结束面部位置检测处理。这样，利用面部位置检测处理，可以通过检测面部的左右端和上下端， 从而检测面部图像中的面部位置。这里，说明在面部位置检测处理的步骤S210进行的面部左右端检测 处理。简单说明如下。在面部左右端检测处理中，眼睑检测装置50利用 前处理中生成的强调了纵向边缘的图像，检测面部图像中的面部的左右端 的位置。下面，参照图10，详细说明面部左右端检测处理(S210)。 首先，CPU24进行面部左右端检测用直方图生成处理，即将利用纵向 边缘检测用佐贝尔滤波器进行佐贝尔滤波处理后的各像素的值在纵方向进行投影，生成直方图(步骤S211)。具体来说，将各坐标的像素值分割 成几个阶段，对于每个X值，确定取最多的各坐标的像素值的阶段。将每 个X值的上述阶段的平均值的图形作为上述直方图。CPU24在步骤S211生成的直方图中，提取取峰值的点(以下称为峰 值点)(步骤S212)。CPU24从步骤S212提取的峰值点中，提取其直方图的值在阈值以上 的点，作为面部的左右端的候选值(步骤S213)。CPU24对于步骤S213的处理结果，判断作为面部的左右端的候选值 是否提取了2个直方图值在阈值以上的峰值点(步骤S214)。如果判断为提取了 2个直方图值在阈值以上的峰值点(步骤S214: 是)，CPU24则进入步骤S216的处理，将所提取的2个峰值点的位置确 定为面部的左右端(步骤S216)。如果判断为没有提取2个直方图值在阈值以上的峰值点(步骤S214: 否)，CPU24则从峰值点中提取两点距离作为人的面部宽度具有适当的间 隔的2个峰值点的组合(步骤S215)。CPU24将所提取的2个峰值点的位置确定为面部的左右端(步骤 S216)。这样，利用面部左右端检测处理，可以检测面部图像中的面部的左右丄山顺。这里，说明在面部位置检测处理的步骤S220进行的面部上下端检测 处理。简单说明如下。在面部上下端检测处理中，眼睑检测装置50利用 在前处理中生成的强调了横向边缘的图像，检测面部图像的面部的上下端 的位置。下面，参照图ll，详细说明面部上下端检测处理(S220)。 首先，CPU24进行面部上下端检测用直方图生成处理，即将利用横向 边缘检测用佐贝尔滤波器进行佐贝尔滤波处理后的各像素的值在横方向 进行投影，生成直方图(步骤S221)。具体来说，将各坐标的像素值分割 成几个阶段，对于每个y值，确定取最多的各坐标的像素值的阶段。将每 个y值的上述阶段的平均值的图形作为上述直方图。CPU24在步骤S221生成的直方图中，提取取峰值的点(以下称为峰值点)(步骤S222)。
CPU24基于在步骤S222中提取的峰值点的直方图的值，将各点与眼 睑 眉 口确定对应关系(步骤S223)。
CPU24在步骤S223中基于与眼睑*眉 口确定对应关系的各峰值点， 计算面部图像中的面部的上下端位置(步骤S224)。例如，将离开所检测 的眉的上方3个像素的位置作为面部的上端，将离开所检测的口的下方3 个像素的位置作为面部的下端(口与颚之间)。
这样，利用面部上下端检测处理，可以计算面部图像中的面部的上下 端位置。
这里，说明在眼睑检测处理的步骤S300进行的候选眼睑提取处理。 简单说明如下。在候选眼睑提取处理中，眼睑检测装置50提取基于利用 面部位置检测处理所检测的面部位置而推定为存在眼睑的特定区域。然 后，眼睑检测装置50从所提取的区域中，利用横向边缘检测用佐贝尔滤 波器，检测正边缘和负边缘，提取满足上述公式(1) - (3)的边缘线对， 将其作为候选眼睑。
以下，参照图12，详细说明候选眼睑提取处理(步骤S300)。
首先，CPU24基于在面部位置检测处理所检测的面部的左右端和上下 端的位置和眼睑区域设定参数，从存放在图像存储器22中的各面部图像 中提取推定存在眼睑的区域的图像(步骤S310)。
CPU24从存放在ROM23中的横向边缘线检测用算符(图3 (b))， 对在步骤S310中提取出的区域的图像进行处理，将该图像的各像素的微 分值的绝对值在眼睑检测用横向佐贝尔阈值以上的像素判断为横向边缘 线，并进行提取(步骤S320)。
CPU24计算步骤S320中提取出的横向边缘线中的正边缘的长度Lp、 负边缘的长度Lm、正边缘的重心的x坐标Cxp、负边缘的重心的x坐标 Cxm、负边缘的重心与正边缘的重心之间的距离Dg (步骤S330)。
CPU24利用在步骤S330中计算出的各参数，将满足上述公式(1)-(3)的负边缘和正边缘的组合作为候选眼睑进行提取(步骤S340)。
这样，利用候选眼睑提取处理，可以在推定为存在眼睑的区域内，提 取作为候选眼睑的负边缘和正边缘的组合。这里，说明在眼睑检测处理的步骤S400进行的眼睑判断处理。简单
来说，眼睑检测装置50针对在候选眼睑提取处理中提取出的各候选眼睑
的左右端，设定眼睛尾部'眼睛头部区域，计算所设定的区域的眼睛尾部 眼睛头部评价值，将计算的左右端的眼睛尾部，眼睛头部评价值的和为 最大的候选眼睑和第二大的候选眼睑判断为左右眼睑。
以下，参照图13，详细说明眼睑判断处理(S400)。
首先，CPU24从候选眼睑提取处理所提取出的候选眼睑中，选择没有 计算眼睛尾部'眼睛头部评价值的任意的候选眼睑(步骤S410)。
接着，CPU24从所选择的候选眼睑的正边缘的左右端中，选择没有计 算眼睛尾部，眼睛头部评价值的端(步骤S420)。
CPU24以所选择的候选眼睑的正边缘所选择的端为中心，设定眼睛尾 部*眼睛头部区域(步骤S430)。
CPU24在相当于进行佐贝尔滤波处理之前的原始图像的眼睛尾部*眼 睛头部区域内配置与所选择的端相对应的眼睛尾部*眼睛头部图案。接着， CPU24计算相当于图案的皮肤部分的原始图像的浓度的平均值与相当于 图案的眼睛部分的原始图像的浓度的平均值。CPU24将从所计算的相当于 皮肤部分的原始图像的浓度的平均值中减去相当于眼睛部分的原始图像 的浓度的平均值后的值作为眼睛尾部，眼睛头部评价值(步骤S440)。
CPU24判断是否对所选择的候选眼睑的左右两端计算了眼睛尾部*眼 睛头部评价值(步骤S450)。
如果判断为对所选择的候选眼睑的左右两端没有计算眼睛尾部，眼睛 头部评价值(步骤S450:否)，CPU24回到步骤S420的处理。
如果判断为对所选择的候选眼睑的左右两端计算了眼睛尾部，眼睛头 部评价值(步骤S450:是)，则CPU24判断是否对所有的候选眼睑计算 了眼睛尾部*眼睛头部评价值(步骤S460)。
如果判断为没有对所有的候选眼睑计算眼睛尾部，眼睛头部评价值 (步骤S460:否)，CPU24则回到步骤S410的处理。
如果判断为对所有的候选眼睑计算了眼睛尾部，眼睛头部评价值(步 骤S460:是)，则CPU24对各候选眼睑计算左端的眼睛尾部'眼睛头部 评价值与右端的眼睛尾部，眼睛头部评价值之和。CPU24将所算出的左端的眼睛尾部，眼睛头部评价值与右端的眼睛尾部，眼睛头部评价值之和的 值最大的候选眼睑和第二大的候选眼睑判断为左右眼睑(步骤S470)。
这样，利用眼睑判断处理，可以计算评价各候选眼睑的左右端与眼睛 尾部和眼睛头部的相似程度的评价值，基于该评价值，判断左右眼睑。
如上所述，第1实施方式的眼睑检测装置50从在不同的时刻拍摄的 多个面部图像中检测面部位置。然后，眼睑检测装置50基于该面部位置， 提取推定眼睑的存在的区域，从该区域中提取作为候选眼睑的边缘线对。 眼睑检测装置50从所提取的候选眼睑(边缘线对)中，将包含眼睛尾部 和眼睛头部的可能性高的那个判断为眼睑。因此，眼睑检测装置50能够 正确地短时间地检测眼睑。
(第2实施方式)
在第1实施方式中，眼睑检测装置50在从候选眼睑中判别眼睑时， 针对各候选眼睑，设定面积等于眼睛尾部*眼睛头部图案的眼睛尾部'眼 睛头部区域，将该眼睛尾部*眼睛头部区域与眼睛尾部'眼睛头部图案进 行对应，计算眼睛尾部"眼睛头部评价值。但是，在第2实施方式中，眼 睑检测装置50也可以首先在从候选眼睑中判别眼睑时，针对各候选眼睑， 设定图14 (c) 、 (d)所示的面积大于眼睛尾部*眼睛头部图案的眼睛尾 部*眼睛头部区域。接着，如图14 (d)所示，眼睑检测装置50利用眼睛 尾部，眼睛头部图案，扫描眼睛尾部，眼睛头部区域，计算所扫描部分的 眼睛尾部，眼睛头部暂定评价值，将取最大值的眼睛尾部'眼睛头部暂定 评价值作为眼睛尾部*眼睛头部评价值。但是，第2实施方式的眼睛尾部 眼睛头部区域为以候选眼睑的正边缘的左右两端为中心的横21X纵11 "像素"的区域。
另外，与第2实施方式有关的眼睑检测装置的结构和与第1实施方式 有关的眼睑检测装置的结构一样。还有，第2实施方式中的眼睑判断处理 以外的处理与第1实施方式一样。
下面，参照图15，详细说明与第2实施方式有关的眼睑判断处理 (S400)。
首先，CPU24从在候选眼睑提取处理所提取的候选眼睑中，选择没有计算眼睛尾部，眼睛头部评价值的任意的候选眼睑(步骤S510)。
接着，CPU24从所选择的候选眼睑的正边缘的左右端中，选择没有计 算眼睛尾部*眼睛头部评价值的端(步骤S520)。
CPU24以所选择的候选眼睑的正边缘所选择的端为中心，设定眼睛尾 部*眼睛头部区域(步骤S530)。
CPU24在设定的眼睛尾部'眼睛头部区域中选择任意点(x， y)(步 骤S540)。
CPU24将进行佐贝尔滤波处理之前的原始图像的眼睛尾部*眼睛头部 区域内的任意点(x， y)作为基点，配置所选择的端的眼睛尾部，眼睛头 部图案。接着，CPU24计算相当于图案的皮肤部分的原始图像的浓度的平 均值与相当于图案的眼睛部分的原始图像的浓度的平均值。CPU24将从所 计算的相当于皮肤部分的原始图像的浓度的平均值中减去相当于眼睛部 分的原始图像的浓度的平均值后的值作为眼睛尾部，眼睛头部暂定评价值 cr (x， y)(步骤S550)。
CPU24判断在眼睛尾部*眼睛头部区域的全部区域是否计算了眼睛尾 部*眼睛头部暂定评价值(步骤S560)。
如果判断为在眼睛尾部*眼睛头部区域的全部区域没有计算眼睛尾部 眼睛头部暂定评价值(步骤S560:否)，CPU24则回到步骤S540的处 理。
如果判断为在眼睛尾部，眼睛头部区域的全部区域计算了眼睛尾部， 眼睛头部暂定评价值(步骤S560:是)，CPU24则将计算的眼睛尾部' 眼睛头部评价值中具有最大值的评价值作为所选择的候选眼睑的所选择 的端的眼睛尾部，眼睛头部评价值(步骤S570)。
CPU24判断对所选择的候选眼睑的左右两端是否计算了眼睛尾部，眼 睛头部评价值(步骤S580)。
如果判断为对所选择的候选眼睑的左右两端没有计算眼睛尾部，眼睛 头部评价值(步骤S580:否)，CPU24则回到步骤S520的处理。
如果判断为对所选择的候选眼睑的左右两端计算了眼睛尾部*眼睛头 部评价值(步骤S580:是)，CPU24则判断是否对所有的候选眼睑计算 了眼睛尾部*眼睛头部评价值(步骤S590)。如果判断为没有对所有的候选眼睑计算眼睛尾部，眼睛头部评价值(步骤S590:否),CPU24则回到步骤S510的处理。如果判断为对所有的候选眼睑计算了眼睛尾部，眼睛头部评价值(步骤S590:是)，则CPU24针对各候选眼睑，计算其左端的眼睛尾部'眼 睛头部评价值与其右端的眼睛尾部，眼睛头部评价值的和。CPU24将计算 出的左端的眼睛尾部，眼睛头部评价值与右端的眼睛尾部，眼睛头部评价 值的和的值最大的候选眼睑和第二大的候选眼睑判断为左右眼睑(步骤 S600)。这样，利用第2实施方式的眼睑判断处理，从各候选眼睑的左右端附 近的区域中提取与眼睛尾部和眼睛头部的相似部分，计算该提取部分的评 价值，从而可以基于该评价值，判断左右眼睑。如上所述，第1实施方式的眼睑检测装置50从在不同的时刻拍摄的 多个面部图像中检测面部位置。然后，眼睑检测装置50基于该面部位置， 提取推定为眼睑存在的区域，从该区域中提取作为候选眼睑的边缘线对。 眼睑检测装置50针对所提取的候选眼睑(边缘线对)的左右端，设定面 积大于眼睛尾部，眼睛头部图案的眼睛尾部*眼睛头部区域。接着，眼睑 检测装置50利用眼睛尾部*眼睛头部图案扫描该眼睛尾部，眼睛头部区 域的全部区域，计算所扫描部分的眼睛尾部，眼睛头部暂定评价值，将取 最大值的眼睛尾部，眼睛头部暂定评价值作为眼睛尾部，眼睛头部评价值， 基于眼睛尾部，眼睛头部评价值，判断左右眼睑。因此，眼睑检测装置50 可以从各候选眼睑中提取与眼睛尾部*眼睛头部最为相似的部分，因而能 够正确地短时间地检测眼睑。另外，该发明并不局限于上述实施方式，可以进行各种变形和应用。在第1实施方式和第2实施方式中，计算机14对于摄像机10拍摄的 对象者的面部的运动图像进行眼睑检测处理。但是，在应用例中，也可以 将从摄像机10以外的外部装置获取的对象者的面部的运动图像存放在图 像存储器22中，然后对该运动图像进行眼睑检测处理。还有，也可以对 多个面部的图像进行眼睑检测处理。还有，在第1实施方式和第2实施方式中，在面部位置检测处理(S200) 时，对面部图像进行佐贝尔滤波处理，然后从基于该像素值的直方图中检测面部位置。但是，在应用例中，也可以象日本专利特开2004-310396号 公报所公开的那样，对构成摄影图像的各像素进行时间微分，然后将该时 间微分值在纵方向进行投影，生成直方图，将边缘提取图像的直方图与时 间微分图像的直方图进行合计，将合计后的直方图的峰值最大的那个判断 为面部的两端，从而检测面部位置。还有，在面部位置检测处理(S200)时，也可以利用样板匹配法，将 面部图像与预先登记的某个样板进行匹配，从而检测面部位置。还有，在上述实施方式中，将包含眼睛尾部和眼睛头部的可能性高的 那个判断为眼睑，但也可以将包含眼睛尾部和眼睛头部中的某一个的可能 性高的那个判断为眼睑。还有，在上述实施方式中，为了在面部图像上提取相当于下眼睑的线， 采用了利用佐贝尔滤波器提取横向边缘线的方法，但也可以采用其它方 法。例如，也可以采用MAX-MIN滤波器来检测边缘。还有，在上述实施方式中，以候选下眼睑(正边缘)的左右端为中心， 设定了眼睛尾部*眼睛头部区域，但也可以左右端之外的正边缘上的点为 中心，设定眼睛尾部*眼睛头部区域。例如，也可以设定为正边缘的端附 近占区域的2/3左右，空白部分占1/3。另外，与本发明有关的眼睑检测装置可以不依赖专用的系统，而采用通常的计算机系统来实现。例如，也可以构成为将具有能够输入面部图 像的计算机中运行的程序存放在计算机系统能够读取的记录介质(闪速存 储器、CD-ROM、 DVD-ROM等)中进行发行，通过将该程序安装到计算 机系统中，从而实现进行上述处理的眼睑检测装置。还有，也可以将该程 序存放在因特网等通信网络上的服务器装置具有的存储装置，通常的计算 机通过下载等来实现眼睑检测装置。还有，在OS (Operating System)与应用程序分担、或者OS与应用 程序协同实现上述功能时，也可以只将应用程序部分存放在记录介质或存 储装置中。还有，也可以在载波中叠加计算机程序，经由通信网络进行分发。例 如，也可以在通信网络上的服务器上发布上述程序，经由网络，分发上述 程序。然后，启动该计算机程序，在OS控制下，与其他应用程序一样运行，从而进行上述处理。
权利要求
1.一种眼睑检测装置，包括面部图像存储机构，其存储对象者的面部的图像；候选眼睑提取机构，其对存储在所述面部图像存储机构中的图像进行处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；参数计算机构，其计算表示所述面部图像存储机构存储的图像中的与所述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数；和眼睑检测机构，其基于所述参数计算机构算出的参数，检测对象者的眼睑的位置。
2. 根据权利要求1所述的眼睑检测装置，其特征在于， 所述参数计算机构计算表示所述面部图像存储机构存储的图像中的、包含所述候选眼睑提取机构所提取的作为候选下眼睑的线的两端的规定 部分中包含眼睛头部和眼睛尾部中的至少一方的可能性的参数。
3. 根据权利要求2所述的眼睑检测装置，其特征在于， 所述参数计算机构计算所述面部图像存储机构存储的图像中的包含所述候选眼睑提取机构所提取的作为候选下眼睑的线的两端的规定部分 的多个像素的浓度的平均值，基于所计算的多个像素的浓度的平均值，计算表示所述面部图像存储 机构存储的图像的包含所述候选眼睑提取机构所提取的作为候选下眼睑 的线的两端的规定部分中包含眼睛头部和眼睛尾部中的至少一方的可能 性的参数。
4. 根据权利要求3所述的眼睑检测装置，其特征在于， 还具有图案存储机构，其存储表示在面积等于包含所述线的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应的眼睛区 域的图案，所述参数计算机构计算所述面部图像存储机构存储的图像中的、与所述图案存储机构存储的图案所表示的皮肤区域对应的部分的多个像素的 浓度的平均值、和所述面部图像存储机构存储的图像中的、与所述图案存 储机构存储的图案所表示的眼睛区域对应的部分的多个像素的浓度的平 均值之间的差分，所述眼睑检测机构基于所述差分来检测眼睑。
5. 根据权利要求3所述的眼睑检测装置，其特征在于， 还具有图案存储机构，其存储表示在面积小于包含所述线的两端的规定部分的区域中、与皮肤部分对应的皮肤区域和与眼睛部分对应的眼睛区 域的图案，所述参数计算机构具有差分计算机构，其将包含所述线的两端的规定 部分中的一部分与所述图案存储机构所存储的图案进行对应，计算所述面 部图像存储机构存储的图像中的、与所述图案存储机构存储的图案所表示 的皮肤区域对应的部分的多个像素的浓度的平均值、和所述面部图像存储 机构存储的图像中的、与所述图案存储机构存储的图案所表示的眼睛区域 对应的部分的多个像素的浓度的平均值之间的差分，使所述差分计算机构对包含所述线的两端的规定部分进行扫描，将计 算出的多个差分中的最大值作为最大差分值，所述眼睑检测机构基于所述最大差分值，检测眼睑。
6. 根据权利要求1 5中任一项所述的眼睑检测装置，其特征在于， 所述眼睑检测机构检测对象者的左右眼睑。
7. 根据权利要求6所述的眼睑检测装置，其特征在于， 所述眼睑检测机构检测的左右眼睑是所述参数计算机构计算出的参数最大的眼睑和参数第二大的眼睑。
8. —种眼睑检测方法，对面部图像进行处理，提取由眼睛的上眼睑和下眼睑构成的候选组合 的线对，计算表示所提取的由上眼睑和下眼睑构成的候选组合的线对包含眼 睛头部和眼睛尾部中的至少一方的可能性的参数，基于所计算出的参数，检测对象者的眼睑的位置。
9. 一种程序，使计算机作为如下机构发挥功能，艮口面部图像存储机构，其存储对象者的面部的图像；候选眼睑提取机构，其对存储在所述面部图像存储机构中的图像进行 处理，提取由与上眼睑对应的线和与下眼睑对应的线构成的候选组合的线对；参数计算机构，其计算表示所述面部图像存储机构存储的图像中的与 所述候选眼睑提取机构所提取的线对相对应的部分中包含眼睛头部和眼 睛尾部中的至少一方的可能性的参数；禾口眼睑检测机构，其基于所述参数计算机构算出的参数，检测对象者的 眼睑的位置。
全文摘要
本发明提供一种可以在短时间正确检测眼睑的眼睑检测装置。摄像机(10)拍摄对象者的面部，计算机(14)的CPU(24)获取该运动图像，并将其存放在图像存储器(22)中。CPU(24)从存放在图像存储器(22)中的运动图像的规定区域，提取作为对象者的上眼睑和下眼睑的候选组合的边缘线对。CPU(24)计算表示边缘线对的左右两端的部分包含眼睛尾部和眼睛头部中的至少一方的可能性的评价值。CPU(24)基于计算出的评价值检测对象者的眼睑的位置。
文档编号G06K9/00GK101266647SQ20081008338
公开日2008年9月17日 申请日期2008年3月13日 优先权日2007年3月15日
发明者中西悟, 大上健一, 小岛真一, 平槙崇, 蜷川勇二, 足立淳, 铃木智晴, 高桥健太郎, 鱼住重康 申请人:爱信精机株式会社;丰田自动车株式会社