专利名称：眼睑检测装置及其程序的制作方法
眼睑捡测装置及其程序技术区域本发明涉及一种眼睑检测装置及其程序，尤其是涉及一种从包括眼睛 的区域的图像中检测眼睑的边界点的眼睑检测装置及其程序。
背景技术：
过去，己知有在表示浓淡图像的浓淡变化的大小的1维边缘图像上， 基于边缘值为极大值或极小值的点，检测眼睑与眼球的边界点的眼睑的开 度检测装置(专利文献l)。在该眼睑的开度检测装置中，检索更外侧的 边缘极值点，将所检索到的边缘极值点作为眼睑与眼球的边界点。[专利文献l]日本专利第3143819号 但是，在上述专利文献l记载的技术中，由于将l维边缘图像的边缘 值为极值的点作为眼睑与眼球的边界点，故当眼睑涂有眼影、或眼睑涂有 色彩时，会将离睁眼睑与眼球的边界点的地方检测为边界点，从而会出现 不能正确检测边界点的问题。发明内容本发明考虑到上述问题，其目的在于提供一种即使在眼睑涂有色彩， 也能够正确检测眼睑与眼球的边界点的眼睑检测装置及其程序。为实现上述目的，与本发明有关的眼睑检测装置的特征在于，包括 生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在 规定方向的像素值变化的大小的边缘图像；极值点检索机构，其在由上述生成机构生成的边缘图像中，检索像素值变化的大小在上述规定方向上为极值的极值点；和边界点检测机构，其基于从由上述极值点检索机构检索 出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边 界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。还有，与本发明的有关的程序的特征在于，使计算机作为如下机构起 作用生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个 像素在规定方向的像素值变化的大小的边缘图像；极值点检索机构，其在 由上述生成机构生成的边缘图像中，检索像素值变化的大小在上述规定方 向上为极值的极值点；和边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。根据本发明，利用生成机构，基于包括眼睛的区域的图像，生成表示 该区域的每个像素在规定方向的像素值变化的大小的边缘图像，利用极值 点检索机构，在由生成机构生成的边缘图像中，检索像素值变化的大小在 规定方向上为极值的极值点。然后，利用边界点检测机构，基于从由极值 点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一 方。这样，在边缘图像中，基于从像素值变化的大小为极值的极值点偏向 眼球侧方向的点，检测边界点，从而即使在眼睑涂有色彩时，也能够正确 检测眼睑与眼球的边界点。与本发明有关的边界点检测机构能够基于从极值点偏向眼球侧方向 的点、且离像素值变化的大小为规定值的该极值点最近的点，检测第l边 界点和第2边界点中的至少一方。这样，可以将离相当于边界点的像素值 变化的规定值的极值点最近的点作为眼睑与眼球的边界点进行检测。还有，上述规定值可以与上述极值点的像素值变化的大小相比减小预 先确定的值。这样，作为相当于边界点的像素值变化的规定值，可以采用 与极值点的像素值变化的大小相比减小预先确定的值的规定值。还有，上述规定值可以为预先确定的值。这样，作为相当于边界点的 像素值变化的规定值，可以采用预先确定的值。还有，上述规定值可以是将从极值点的像素值变化的大小中减去一个 预先确定的值再乘以规定比率所得的值从极值点的像素值变化的大小中 减去后的值。这样，作为相当于边界点的像素值变化的规定值，可以采用 基于极值点的像素值变化的大小、预先确定的值、和规定比率所确定的值。与本发明有关的边界点检测机构能够基于从极值点偏向眼球侧方向 的点、且离像素值变化的大小在规定方向的变化率在规定方向上为极值的 该极值点最近的点，检测第1边界点和第2边界点中的至少一方。这样， 可以将离像素值变化的大小的变化率为极值的极值点最近的点作为眼睑 与眼球的边界点进行检测。上述的规定方向可以为眨眼方向。这样，可以利用边缘图像的眨眼方 向的像素值变化，表示眼睑与眼球的边界的边缘。与本发明有关的边界点检测机构能够基于从极值点偏向眼球侧方向 的点、且没有像素值变化的点，检测第1边界点和第2边界点中的至少一 方。这样，可以将没有像素值变化的点作为眼睑与眼球的边界点进行检测。如上述说明所述，利用本发明的眼睑检测装置及其程序，可以获得如 下效果，即在边缘图像中，基于从像素值变化的大小为极值的极值点偏向 眼球侧方向的点，检测边界点，从而即使在眼睑涂有色彩时，也能够正确 检测眼睑与眼球的边界点。
图1是表示与本发明的第1实施方式有关的眼睑检测装置的结构的框图。图2 (A)是表示眼睛图像的影像图，(B)是表示眼睛图像的Sobel 边缘图像的影像图。图3是表示与本发明的第1实施方式有关的眼睑检测装置的图像处理 子程序的内容的流程图。图4 (A)是表示Sobd滤波器的影像图、(B)是表示Prewitt滤波器 的影像图，(C)是表示单纯差分滤波器的影像图，(D)是表示具有平 滑化功能的单纯差分滤波器的影像图。图5 (A)是表示Sobd边缘图像的影像图，(B)是表示边缘值的变 化的曲线图。图6是表示与本发明的第1实施方式有关的眼睑检测装置的边缘特征 点检测处理子程序的内容的流程图。图7是说明在与本发明的第1实施方式有关的边缘特征点检测处理子程序所检测的边缘特征点的影像图。图8是表示与本发明的第1实施方式有关的眼睑检测装置的负侧检测 处理子程序的内容的流程图。图9 (A)是表示涂有眼影的眼睛处于闭眼状态的眼睛图像的影像图，(B) 是表示从Sobel边缘图像检测的极大值和极小值的结果的影像图，(C) 是表示检测出边缘特征点的结果的影像图，(D)是表示检测出眼 睑的边界点的结果的影像图。图10 (A)是表示涂有眼影的眼睛处于闭眼状态的眼睛图像的Sobel 边缘图像的影像图，(B)是表示边缘值的变化的曲线图。图1KA)是表示涂有眼影的眼睛处于睁眼状态的眼睛图像的影像图，(B) 是表示从Sobel边缘图像检测的极大值和极小值的结果的影像图，(C) 是表示检测出边缘特征点的结果的影像图，(D)是表示检测出眼 睑的边界点的结果的影像图。图12是说明以与本发明的第2实施方式有关的边缘特征点检测处理 子程序检测出的边缘特征点的影像图。图13是说明以与本发明的第3实施方式有关的边缘特征点检测处理 子程序检测出的边缘特征点的影像图。图14是说明以与本发明的第4实施方式有关的边缘特征点检测处理 子程序检测出的边缘特征点的影像图。图15是说明与本发明的第5实施方式有关的无像素值变化点的影像图。图中IO —眼睑检测装置，12 —图像摄影部，16 —计算机，18 —显示 装置，20—图像输入部，22—眼睛图像提取部，24—边缘特征点检测部， 26—边界点检测部，28 —开度测定部。
具体实施方式
以下，参照附图，详细说明本发明的实施方式。另外，在本实施方式 中，以在从浓淡图像求出眼睑的开度并输出的眼睑检测装置中应用本发明 时的情况为例，进行说明。如图1所示，与本实施方式有关的眼睑检测装置IO具有拍摄包含作为对象的被检验者的面部的图像的CCD摄像机等组成的图像摄影部 12;与图像摄影部12的快门动作同步地对拍摄对象进行照明且由红外闪 光灯或红外LED等构成的照明部14;进行图像处理的计算机16;和由 CRT等构成的显示装置18。计算机16构成为包括CPU、存储后述的图像处理子程序的程序的 ROM、存储数据等的RAM、以及连接这些部件的总线。下面按照基于硬 件和软件确定的每个功能实现机构所分割的功能模块，说明该计算机16。 如图1所示，计算机16具有输入从图像摄影部12输出的作为浓淡图像 的面部图像的图像输入部20;从图像输入部20输出的面部图像中提取包 含眼睛的小区域的图像、即眼睛图像的眼睛图像提取部22;对眼睛图像提 取部22所提取的眼睛图像进行处理，检测边缘特征点的边缘特征点检测 部24;基于边缘特征点检测部24所检测出的边缘特征点，检测眼睑与眼 球的分界点的眼睑分界点检测部26;和基于眼睑分界点检测部26所检测 出的眼睑分界点，测定眼睑开度的开度测定部28。图像输入部20由例如A/D变换器、存储1个画面的图像数据的图像 存储器等构成。还有，眼睛图像提取部22从面部图像中搜索眼睛区域，确定提取位 置，基于所确定的提取位置，将包含眼睛的小区域作为眼睛图像来提取。还有，边缘特征点检测部24利用Sobd算符，从如图2 (A)所示的 眼睛图像生成如图2 (B)所示的、眨眼方向、即从上向下方向的表示每 个像素的浓淡变化的大小的Sobel边缘图像，从所生成的Sobd边缘图像 中检索边缘值的极值点，基于所检索的极值点，检测边缘特征点。眼睑边界点检测部26基于所检测的边缘特征点，检测表示上眼睑与 眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点。开度测定部28测定利用边界点检测部26检测的第1边界点与第2边 界点的间隔，并作为眼睑开度进行输出。接着，说明眼睑检测装置10的动作。首先，利用图像摄影部12拍摄 被检验者的面部图像。此时，为了减少周围的干扰光的影响，让由例如红 外闪光灯构成的照明部14与图像摄影部12的拍摄同步发光，对被检验者 的面部进行照明。另外，如果从照明部14连续发光，则不需要与图像摄影部12进行同步，从而简化结构。在计算机16中，运行图3所示的图像处理子程序。首先，在步骤100 中，作为视频信号，获取利用图像摄影部12拍摄的面部图像，在步骤102 中，对视频信号进行A/D变换，生成2维数字图像。在本实施例中，由于 以后的处理基于该数字图像通过数字处理来进行，因此以后在只称图像 时，指的是数字图像。然后，在步骤104中，从面部图像中检索眼睛区域，将含有眼睛的区 域设定为提取区域，在步骤106中，将包含一只眼睛的小区域作为眼睛图 像进行提取。另外，在检索眼睛区域时，也可以利用例如样板匹配法的图 像处理，从面部图像中检索眼睛区域，或者也可以让操作者通过键盘、鼠 标、电子笔、或者光笔等的眼睛区域指示机构，在面部图像上指示眼睛， 从而指示眼睛区域。然后，在步骤108，对于在上述步骤106中提取出的眼睛图像，利用 图4 (A)所示的Sobd滤波器，进行边缘处理，生成如图5 (A)所示的、 从上向下方向的表示作为每个像素的像素值变换的浓淡变化的大小的1维 边缘图像的Sobd边缘图像。例如，若将当前的图像坐标设为(x， y)， 将(x， y)的像素值设为A (x， y)，则Sobel边缘图像的(x， y)的边 缘值E (x， y)可以通过下式求出。E (x， y) =A (x-1， y-1) + 2A (x， y-1) +A (x+l， y-1) -A (x-l， y+l) - 2A (x， y+l) - A (x+l， y+l)另外，作为进行边缘处理的滤波器，也可以采用图4(B)所示的Prewitt 滤波器、图4 (C)所示的单纯差分滤波器、图4 (D)所示的具有平滑化 功能的单纯差分滤波器。通过上述步骤108，可以获得图5 (B)所示的、眨眼方向、即从上向 下方向的原始图像的像素值变化的大小的变化。 一般来说，眼球部分与作 为皮肤部分的眼睑相比，反射率小，拍摄的像比较暗，因此像素值从上向 下从明到暗变化，然后反过来从上向下从暗到明变化。这样，表示所获得 的像素值变化的边缘值在眼球与上眼睑的分界部分出现极大值，在眼球与 下眼睑的分界部分出现极小值。还有，作为极大值的点的下侧为眼球侧， 作为极小值的点的上侧为眼球侧。在下一步骤110中，进行检测边缘特征点的处理。下面，利用图6， 说明为实现步骤110的边缘特征点检测处理子程序。另外，分别对于像素 在眼睛图像的纵方向排列的像素列执行边缘特征点检测处理子程序。首先，在步骤150中，对存储在RAM中的极大值进行复位，同时对 关注像素进行初始化处理，即将其设定在作为初始化位置的检测对象的基 准线上的最上方的位置。在步骤152中，判断关注像素的边缘值是否为正， 如果边缘值为正，则在步骤154中，判断上一个像素与关注像素之间的边 缘值的符号是否从负切换为正，如果边缘值的符号没有从负切换为正，则 转移到步骤158，如果上一个像素与关注像素之间的边缘值的符号是从负 切换为正，则在步骤156中，对存储在RAM中的极大值进行复位，然后 转移到步骤158。在步骤158中，判断关注像素的边缘值是否在基准线的从上向下的方 向为极大值。如果基于上一个像素、关注像素、以及下一个像素的边缘值， 判断关注像素的边缘值为极大值，则在步骤160中，判断作为关注像素的 边缘值的极大值是否大于预先确定的第1阈值D1。如果关注像素的极大 值在第1阈值D1以下，则在步骤162中，将关注像素的位置作为特征点 进行存储，同时对存储在RAM中的极大值进行复位，然后转移到步骤176。 还有，在上述步骤162中，边缘特征点的边缘值也一起存储在RAM中。另一方面，在上述步骤160中，如果判断作为关注像素的边缘值的极 大值大于第1阈值D1，则在步骤164中，判断是否有存储于RAM中的极 大值。如果有存储于RAM中的极大值，则在步骤166中，判断此次的关 注像素的极大值是否大于所存储的极大值。如果所存储的极大值较大，则 转移到步骤176。另一方面，如果此次的关注像素的极大值较大，则在步 骤168中，将此次的关注像素的极大值存储在RAM中，然后转移到步骤 176。还有，在上述步骤164中，如果在对极大值进行了复位的状态下，RAM 中没有存储极大值，则在步骤168中，将此次的关注像素的极大值存储在 RAM中。另一方面，在上述步骤158中，如果关注像素的边缘值不是极大值， 则在步骤170中，判断是否有存储于RAM中的极大值。如果有存储于RAM中的极大值，则在步骤172中，判断上一个像素的边缘值是否大于(极大值-设定值X1)、关注像素的边缘值是否在(极大值-设定值xi)以下。另外，对于设定值XI，当眼睑上涂有眼影时，可以通过实验或统计方法求出上眼睑的边界点的边缘值，而且求出极大值与上眼睑的边界点的边缘 值的差，将所求的差作为设定值，进行预先设定。在上述步骤172中，如果上一个像素的边缘值在(极大值-设定值X1) 以下，或者关注像素的边缘值大于(极大值-设定值X1)，则转移到步骤 176。另一方面，当上一个像素的边缘值大于(极大值-设定值XI)、且 关注像素的边缘值在(极大值-设定值X1)以下时，如图7所示，判断关 注像素是从上向下时像素值从明到暗变化的暗侧的点且是离比极大值小 设定值X2的边缘值的极大值点最近的点，在步骤174中，将关注像素的 位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位， 然后转移到步骤176。还有，在上述步骤174中，边缘特征点的边缘值也 一起存储在RAM中。这样，如图7所示，可以将从极大点偏向眼球侧的 下方的点、且离比极大值小设定值X1的边缘值的极大值点最近的点作为 边缘特征点进行检测。还有，在上述步骤170中，如果在对极大值进行了复位的状态下、RAM 中没有存储极大值时，则转移到步骤176。还有，在上述步骤152中，如果判断边缘值为负，则转移到步骤176。在步骤176中，判断关注像素是否为检测对象的基准线上的最下方的 像素，如果是检测对象的基准线上的最下方的像素，且对检测对象的基准 线的所有的像素进行了上述处理时，则转移到步骤180。另一方面，如果 不是检测对象的基准线上的最下方的像素，则在步骤178中，将关注像素 设定为下一个的像素，回到步骤152,对下一个设定的关注像素进行上述 处理。在步骤180中，进行负侧检测处理，然后结束边缘特征点检测处理子 程序。这里，参照图8，说明为实现上述步骤180的负侧检测处理子程序。首先，在步骤181中，对存储在RAM中的极小值进行复位，同时对 关注像素进行初始化处理，即将其设定在作为初始化位置的检测对象的基 准线上的最下方的位置。在步骤182中，判断关注像素的边缘值是否为负，如果边缘值为负，则在步骤183中，判断下一个像素与关注像素之间的边 缘值的符号是否从正切换为负，如果边缘值的符号没有从正切换为负，则转移到步骤186，如果下一个像素与关注像素之间的边缘值的符号是从正 切换为负，则在步骤184中，对存储在RAM中的极小值进行复位，然后 转移到步骤186。在步骤186中，判断关注像素的边缘值是否在基准线的从上向下的方 向为极小值。如果基于上一个像素、关注像素、以及下一个像素的边缘值， 判断关注像素的边缘值为极小值，则在步骤188中，判断关注像素的边缘 值的极小值是否小于预先确定的第2阈值D2 (D2<0)。如果关注像素的 极小值在第2阈值D2以上，则在步骤190中，将关注像素的位置作为特 征点进行存储，同时对存储在RAM中的极小值进行复位，然后转移到步 骤204。还有，在上述步骤190中，边缘特征点的边缘值也一起存储在RAM 中。另一方面，在上述步骤188中，如果判断关注像素的边缘值的极小值 小于第2阈值D2，则在步骤192中，判断是否有存储于RAM中的极小值。 如果有存储于RAM中的极小值，则在步骤194中，判断此次的关注像素 的极小值是否大于存储的极小值。如果存储的极小值较小，则结束负侧检 测处理子程序。另一方面，如果此次的关注像素的极小值较小，则在步骤 196中，将此次的关注像素的极小值存储在RAM，然后转移到步骤204。还有，在上述步骤192中，如果在对极小值进行了复位的状态下，RAM 中没有存储极小值，则在步骤196中，将此次的关注像素的极小值存储在 RAM中。另一方面，在上述步骤186中，如果关注像素的极大值不是极小值， 则在步骤198中，判断是否有存储于RAM中的极小值。如果有存储于RAM 中的极小值，则在步骤200中，判断下一个像素的边缘值是否小于(极小 值-设定值X2)、关注像素的边缘值是否在(极小值-设定值X2)以上。 另外，对于设定值X2 (X2<0)，当眼睑上涂有眼影时，可以通过实验或 统计方法求出下眼睑的边界点的边缘值，而且求出从极小值减去下眼睑的 边界点的边缘值后的差，将所求的差作为设定值，进行预先设定。在上述步骤200中，如果下一个像素的边缘值在(极小值-设定值X2)以上，或者关注像素的边缘值小于(极小值-设定值X2)，则结束负侧检 测处理子程序。另一方面，当下一个像素的边缘值小于(极小值-设定值X2)、且关注像素的边缘值在(极小值-设定值X2)以上时，如图7所示， 判断关注像素是从上向下时像素值从暗到明变化的暗侧的点且是离比极 小值小设定值X2的边缘值的极小值点最近的点，在步骤202中，将关注 像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极小值进 行复位，然后转移到步骤204。还有，在上述步骤202中，边缘特征点的 边缘值也一起存储在RAM中。这样，如图7所示，可以将从极小点偏向 眼球侧的上方的点、且离比极小值小设定值X2的边缘值的极小值点最近 的点作为边缘特征点进行检测。还有，在上述步骤198中，如果在对极小值进行了复位的状态下、RAM 中没有存储极小值时，则转移到步骤204。还有，在上述步骤182中，如果判断边缘值为正，则转移到步骤204。 在步骤204中，判断关注像素是否为检测对象的基准线上的最上方的 像素，如果是检测对象的基准线上的最上方的像素，且对检测对象的基准 线的所有的像素进行了上述处理时，则结束负侧检测处理子程序。另一方 面，如果不是检测对象的基准线上的最上方的像素，则在步骤206中，将 关注像素设定为上一个的像素，回到步骤182，对上一个设定的关注像素 进行上述处理。如上所述，通过运行边缘特征点检测处理子程序，在Sobd边缘图像 上，检测边缘值为正的边缘特征点Pi (i=0、 1、...)和边缘值为负的边缘 特征点Mi (i=0、 1、…)。然后，在图像处理子程序的步骤112中，从所检测出的边缘特征点Pi 中检测上眼睑与眼球的第1边界点，从所检测出的边缘特征点Mi中检测 下眼睑与眼球的第2边界点。在上述步骤112中，如果检测到多个个边缘特征点，如下说明所述， 检测第1边界点和第2边界点。首先，在表示所检测的多个边缘特征点Pi的图像内，移动搜索窗口， 检测第l边界点。也可以通过试验等方法导出表示上眼睑的像素范围，然 后基于该像素范围确定搜索窗口。搜索窗口根据分辨率和屏幕的大小来适当确定，可以为例如1X15 (垂直方向1个像素，水平方向15个像素)左 右。具体来说， 一边在表示多个边缘点Pi的图像内移动搜索窗口， 一边计 算搜索窗口内的横边缘的边缘特征点Pi的强度和，将横边缘的边缘特征点 Pi的强度和在规定值以上的位置的搜索窗口内的横边缘(白黑边缘)的边 缘特征点识别为"上眼睑与眼球的第1边界点"。此时，如果存在上下相 邻的候选第1边界点，则放弃除最上侧的候选第1边界点以外的其他候选 第1边界点。另外，如果在眼睛窗口的上端附近存在候选第l边界点，则 放弃该候选第1边界点。这是因为上端附近有时存在表示眉毛的横边缘。 接着，将残留的候选第1边界点作为上眼睑与眼球的第1边界点进行检测。或者，也可以利用眼睛张开时的上眼睑一般为圆弧状的形状特征，提 取上眼睑与眼球的第l边界点。即，将大致水平延伸的圆弧状连续的边缘 (在垂直方向上从白到黑的边缘)识别为上眼睑与眼球的第1边界点。通 过利用上述形状特征，可以高精度地检测上眼睑与眼球的第1边界点。还 有，当利用多帧连续的图像时，也可以利用在眨眼时、上眼睑的动作大于 眼睛的其它部分(例如下眼睑、眉毛或眼镜框架)的特征来确定上眼睑与 眼球的第l边界点。还有，基于第l边界点的位置，确定用于检测下眼睑与眼球的第2边 界点的搜索窗口。用于检测下眼睑的搜索窗口的位置设定在以如上所述检 测的第l边界点的位置为基准、处于第l边界点的下方，例如可以设定在 从第1边界点的位置往下移动相当于眼睛平均尺寸(在眼睛张开的状态下 上眼睑与下眼睑之间的平均距离)的像素数的地方。下眼睑检测用的搜索 窗口的尺寸可以与下眼睑检测用的搜索窗口的尺寸一样，通过试验等方法 导出表示下眼睑的像素范围，然后基于该像素范围确定搜索窗口。然后，将搜索窗口移动到在表示所检测的多个边缘特征点Mi的图像 内所确定的位置上，检测下眼睑与眼球的第2边界点。例如，如果在搜索 窗口内存在横边缘(黑白边缘)的边缘特征点Mi，则将该边缘特征点作 为下眼睑与眼球的第2边界点进行检测。还有，在上述步骤112中，也可以利用边缘特征点的边缘值，检测边 界点。例如，由于影子产生的边缘特征点的边缘值常常比较小，因此只要 将具有大于规定值的边缘值的边缘特征点作为候选边界点，检测边界点即可。还有，在上述步骤114中，测定第1边界点与第2边界点之间的距离, 将其作为眼睑的开度进行输出，然后结束图像处理子程序。如上所述，通过运行图像处理子程序，在例如图9 (A)所示的涂有 眼影的眼睛处于闭眼状态下，通过利用Soble滤波器的边缘处理，获得如 图10 (A)所示的Sobel边缘图像，如图9 (B)和图10 (B)所示，极大 点周边的边缘值变化不剧烈，呈平坦形状。还有，即使如图9 (C)所示， 边缘值的极大点和极小点偏离眼睑的边界点，也可以将靠近眼睑的边界点 的点作为边缘特征点进行检测，如图9 (D)所示，可以正确地检测眼睑 的边界点。还有，在例如图ll (A)所示的涂有眼影的眼睛处于张开状态下，如 图ll (B)所示，边缘值的极大点和极小点处于眼睑的边界点附近，同时 如图ll (C)所示，将眼睑的边界点附近的点作为边缘特征点进行检测， 因此如图ll (D)所示，可以正确检测眼睑的边界点。如上说明所示，利用与第1实施方式有关的眼睑检测装置，在眼睛图 像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方 的点、且离比极大值低于设定值的极大点最近的点作为边缘特征点进行检 测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离比 极小值低于设定值的极小点最近的点作为边缘特征点进行检测，通过基于 所检测的边缘特征点，检测眼睑的边界点，从而即使在眼睑涂有眼影等色 彩时，也能够正确检测眼睑与眼球的边界点。还有，通过正确检测眼睑与眼球的边界点，可以高精度地测定眼睑的 开度。另外，在上述实施方式中，举例说明了从利用图像输入部输入的浓淡 图像中生成表示浓淡变化的大小的边缘图像的情况，但利用图像输入部输 入的图像也可以是彩色图像。此时，可以生成表示彩色图像的浓淡值的变 化的大小的边缘图像。还有，举例说明了将从极大点偏向眼球侧的点作为上眼睑的边界点进 行检测，将从极小点偏向眼球侧的点作为下眼睑边缘特征点进行检测，但 并不局限于此。例如，在眼睛图像中，当眼球部分变亮、皮肤部分变暗时，则可以将从极大点偏向眼球侧的点作为下眼睑的边界点进行检测，将从极 小点偏向眼球侧的点作为上眼睑边缘特征点进行检测。还有，举例说明了在将边缘特征点存储到ROM时，同时一起存储边 缘特征点的情况，但在存储边缘特征点时，也可以将边缘特征点的附近存 在的极大点或极小点的边缘值一起进行存储。还有，举例说明了在检测到多个边缘特征点时，利用搜索窗口，检测第l边界点和第2边界点的情况。但并不局限于此。例如，也可以分析所检测的多个边缘特征点的连接，制作边缘特征点的集合，将每个集合的平均位置作为第1边界点或第2边界点进行检测。接着，说明第2实施方式。另外，与第2实施方式有关的眼睑检测装 置的结构与第1实施方式一样，采用同一符号，因此省略说明。在第2实施方式中，与第l实施方式不同的是，将从极大点偏向眼球 侧的下方的点、且离等于预先确定的设定值的边缘值的极大点最近的点作 为边缘特征点进行检测。在第2实施方式中，在边缘特征点检测处理子程序中，当边缘值为正 时，从上向下扫描各像素，如果存在边缘值为极大值的像素，且该极大值 存储在RAM中，则对于不是极大值的关注像素，判断上一个像素的边缘 值是否大于设定值X，l (X，1>0)、且关注像素的边缘值在设定值X，l以 下。如果上一个像素的边缘值大于设定值X，l、且关注像素的边缘值在设 定值X'1以下，则如图12所示，判断关注像素为从上向下像素值从明到 暗变化时的暗侧的点、且为离等于设定值X'1的边缘值的极大值点最近的 点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM 中的极大值进行复位。另外，对于设定值X'1，当眼睑上涂有眼影时，可以通过实验或统计 方法求出上眼睑的边界点的边缘值，将所求的边缘值作为设定值，进行预 先设定。还有，当边缘值为负时，从下向上扫描各像素，如果存在边缘值为极 小值的像素，且该极小值存储在RAM中，则对于不是极小值的关注像素， 判断下一个像素的边缘值是否小于设定值X'2 (X'2<0)、且关注像素的 边缘值在设定值X，2以上。如果上一个像素的边缘值小于设定值X'2、且关注像素的边缘值在设定值X'2以上，则判断关注像素为从上向下像素值从暗到明变化时的暗侧的点、且为离等于设定值X'2的边缘值的极小值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极小值进行复位。另外，对于设定值X，2，当眼睑上涂有眼影时，可以通过实验或统计 方法求出下眼睑的边界点的边缘值，将所求的边缘值作为设定值，进行预 先设定。这样，在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大 点偏向眼球侧的下方的点、且离设定值的极大点最近的点作为边缘特征点 进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、 且离设定值的极小点最近的点作为边缘特征点进行检测，基于所检测的边 缘特征点，检测眼睑的边界点，从而即使在眼睑涂有阴影等色彩时，也能 够高精度地检测眼睑与眼球的边界点。接着，说明第3实施方式。另外，与第3实施方式有关的眼睑检测装 置的结构与第1实施方式一样，采用同一符号，因此省略说明。在第3实施方式中，与第1实施方式不同的是，将从极大点偏向眼球 侧的下方的点、且离将从极值点的像素值变化的大小减去第1阈值D1、 再乘以规定比率所得的值从上述极大值减去后的边缘值的极大值点最近 的点作为边缘特征点进行检测。在第3实施方式中，在边缘特征点检测处理子程序中，当边缘值为正 时，从上向下扫描各像素，如果存在边缘值为极大值的像素，且该极大值 存储在RAM中，则对于不是极大值的关注像素，判断上一个像素的边缘 值是否大于(极大值-(极大值-Dl) X设定比率Al)、且关注像素的边 缘值在(极大值-(极大值-Dl) X设定比率A1)以下。如果上一个像素 的边缘值大于(极大值-(极大值-Dl) X设定比率Al)、且关注像素的 边缘值在(极大值-(极大值-Dl) X设定比率A1)以下，则如图13所示， 判断关注像素为从上向下像素值从明到暗变化时的暗侧的点、且为离等于 (极大值-(极大值-Dl) X设定比率A1)的边缘值的极大值点最近的点， 从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中 的极大值进行复位。另外，对于设定比率A1，当眼睑上涂有眼影时，可以通过实验或统 计方法求出上眼睑的边界点的边缘值，另外，求出作为极大值和所求出的 边缘值的差与极大值和阈值D1的差的比率，将所求得的比率作为设定比 率预先进行设定。当边缘值为负时，从下向上扫描各像素，如果存在边缘值为极小值的像素，且该极小值存储在RAM中，则对于不是极小值的关注像素，判断 上一个像素的边缘值是否小于(极小值-(极小值-D2) X设定比率A2)、 且关注像素的边缘值在(极小值-(极小值-D2) X设定比率A2)以上。 如果上一个像素的边缘值小于(极小值-(极小值-D2) X设定比率A2)、 且关注像素的边缘值在(极小值-(极小值-D2) X设定比率A2)以上， 则判断关注像素为从上向下像素值从暗到明变化时的暗侧的点、且为离等 于(极小值-(极小值-D2) X设定比率A2)的边缘值的极小值点最近的 点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM 中的极小值进行复位。另外，对于设定比率A2，当眼睑上涂有眼影时，可以通过实验或统 计方法求出上眼睑的边界点的边缘值，另外，求出作为极大值和所求出的 边缘值的差与极大值和阈值D2的差的比率，将所求得的比率作为设定比 率预先进行设定。这样，在眼睛图像的Sobd边缘图像中，将从边缘值为极大值的极大 点偏向眼球侧的下方的点、且离(极大值-(极大值 阈值)X设定比率) 的边缘值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值 为极小值的极小点偏向眼球侧的上方的点、且离(极小值-(极小值-阈值) X设定比率)的极小点最近的点作为边缘特征点进行检测，基于所检测的 边缘特征点，检测眼睑的边界点，从而即使在眼睑涂有阴影等色彩时，也 能够高精度地检测眼睑与眼球的边界点。接着，说明第4实施方式。另外，与第4实施方式有关的眼睑检测装 置的结构与第1实施方式一样，采用同一符号，因此省略说明。在第4实施方式中，与第l实施方式不同的是，将从极大点偏向下侧 的点、且边缘值的变化率为极大值的极大值点最近的点作为边缘特征点进 行检测。在第4实施方式中，在边缘特征点检测处理子程序中，当边缘值为正 时，从上向下扫描各像素，如果存在边缘值为极大值的像素，且该极大值存储在RAM中，则对于不是极大值的关注像素，计算边缘值的变化率，同时计算下一个像素和上一个像素的各自的边缘值的变化率。然后判断是 否下一个像素的边缘值小于关注像素的边缘值、且关注像素的边缘值的变 化率为极大值。如果基于下一个像素、关注像素、和上一个像素的各自的 边缘值的变化率，得知关注像素的边缘值的变化率为极大值、且下一个像素的边缘值大于关注像素的边缘值，如图14所示，则判断关注像素是从上向下时像素值从明到暗变化的暗侧的点，且是离边缘值的变化率为极大 值的极大值点最近的点，从而将关注像素的位置作为边缘特征点进行存储，同时对存储在RAM中的极大值进行复位。还有，当边缘值为负时，从下向上扫描各像素，如果存在边缘值为极 小值的像素，且该极小值存储在RAM中，则对于不是极小值的关注像素， 计算边缘值的变化率，同时计算下一个像素和上一个像素的各自的边缘值 的变化率。然后判断是否下一个像素的边缘值小于关注像素的边缘值、且 关注像素的边缘值的变化率为极大值。如果基于下一个像素、关注像素、 和上一个像素的各自的边缘值的变化率，得知关注像素的边缘值的变化率 为极大值、且下一个像素的边缘值小于关注像素的边缘值，则判断关注像 素是从上向下时像素值从暗到明变化的暗侧的点，且是离边缘值的变化率 为极大值的极小值点最近的点，从而将关注像素的位置作为边缘特征点进 行存储，同时对存储在RAM中的极大值进行复位。这样，在眼睛图像的Sobd边缘图像中，将从边缘值为极大值的极大 点偏向眼球侧的下方的点、且离边缘值的变化率为极大值的极大点最近的 点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼 球侧的上方的点、且离边缘值的变化率为极大值的极小点最近的点作为边 缘特征点进行检测，基于所检测的边缘特征点，检测眼睑的边界点，从而 即使在眼睑涂有阴影等色彩时，也能够高精度地检测眼睑与眼球的边界 点。接着，说明第5实施方式。与第l实施方式不同的是，与第5实施方 式有关的眼睑检测装置的结构中具有取代边缘特征点检测部24的像素值无变化点检测部。还有，在与第5实施方式有关的图像处理子程序中，将 与上述第1实施方式有关的图像处理子程序的边缘特征点检测处理(步骤 110置换为像素值无变化点检测处理。图15是说明与本发明的第5实施方式有关的无像素值变化点的影像图。在第5实施方式中，当判断边缘值为正时，将从极大值偏向眼球侧的 下方的点、且无像素值变化(大致为0)的点作为表示上眼睑与眼球的边 界的第l边界点进行检测。与本实施方式有关的像素值无变化点检测部从极大值偏向眼球侧，检 测像素值变化大致为0的点(像素值无变化点检测处理)。然后，眼睑边 界点检测部26将该点作为第1边界点进行检测。同样，当判断边缘值为负时，将从极小值偏向眼球侧的上方的点、且 无像素值变化(大致为0)的点作为表示下眼睑与眼球的边界的第2边界 点进行检测。与本实施方式有关的像素值无变化点检测部从极小值偏向眼球侧，检 测像素值变化大致为0的点(像素值无变化点检测处理)。然后，眼睑边 界点检测部26将该点作为第2边界点进行检测。如上所述，通过检测第1边界点和第2边界点，可以正确地检测眼睑 与眼球的边界点，从而可以高精度地测定眼睑的开度。
权利要求
1.一种眼睑检测装置，包括生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像；极值点检索机构，其在由所述生成机构生成的边缘图像中，检索像素值变化的大小在所述规定方向上为极值的极值点；和边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下眼睑与眼球的边界的第2边界点中的至少一方。
2. 根据权利要求l所述的眼睑检测装置，其中，所述边界点检测机构基于从所述极值点偏向眼球侧方向的点且离像 素值变化的大小为规定值的该极值点最近的点，检测所述第1边界点和所 述第2边界点中的至少一方。
3. 根据权利要求2所述的眼睑检测装置，其中， 所述规定值与所述极值点的像素值变化的大小相比，减小预先确定的值。
4. 根据权利要求2所述的眼睑检测装置，其中， 所述规定值为预先确定的值。
5. 根据权利要求2所述的眼睑检测装置，其中， 所述规定值是将从所述极值点的像素值变化的大小中减去预先确定的值后再乘以规定比率所得的值从所述极值点的像素值变化的大小中减 去后的值。
6. 根据权利要求l所述的眼睑检测装置，其中， 所述边界点检测机构基于从所述极值点偏向眼球侧方向的点、且离像素值变化的大小在所述规定方向的变化率在所述规定方向上为极值的该 极值点最近的点，检测所述第1边界点和所述第2边界点中的至少一方。
7. 根据权利要求1 6中任一项所述的眼睑检测装置，其中， 所述规定方向为眨眼方向。
8. 根据权利要求l所述的眼睑检测装置，其中，所述边界点检测机构基于从所述极值点偏向眼球侧方向的点、且没有 像素值变化的点，检测所述第1边界点和所述第2边界点中的至少一方。
9. 一种程序，其使计算机作为以下机构起作用-生成机构，其基于包括眼睛的区域的图像，生成表示该区域的每个像素在规定方向的像素值变化的大小的边缘图像；极值点检索机构，其在由所述生成机构生成的边缘图像中，检索像素 值变化的大小在所述规定方向上为极值的极值点；和边界点检测机构，其基于从由上述极值点检索机构检索出的极值点偏 向眼球侧方向的点，检测表示上眼睑与眼球的边界的第1边界点和表示下 眼睑与眼球的边界的第2边界点中的至少一方。
全文摘要
本发明提供一种即使在眼睑涂有色彩，也能够正确检测眼睑与眼球的边界点的眼睑检测装置及其程序。在眼睛图像的Sobel边缘图像中，将从边缘值为极大值的极大点偏向眼球侧的下方的点、且离比极大值低于设定值的边缘值的极大点最近的点作为边缘特征点进行检测，还有，将从边缘值为极小值的极小点偏向眼球侧的上方的点、且离比极小值低于设定值的边缘值的极小点最近的点作为边缘特征点进行检测，从所检测的边缘特征点，检测上眼睑与眼球的边界点和下眼睑与眼球的边界点。
文档编号G06T7/60GK101264007SQ20081008338
公开日2008年9月17日 申请日期2008年3月13日 优先权日2007年3月14日
发明者大上健一, 小岛真一, 蜷川勇二, 足立淳, 铃木智晴 申请人:爱信精机株式会社;丰田自动车株式会社