专利名称：人眼探测方法、设备、系统和存储介质的制作方法
技术领域：
本发明涉及一种图象处理方法，尤其是一种用于探测图象中的人眼的人眼探测方法。本发明还涉及一种人眼探测设备、一种人眼探测系统和其中存储有人眼探测程序代码的存储介质。
背景技术：
如今，图象识别技术应用于许多技术领域，比如卫星图象分析、自动化、运动图象压缩以及监视系统等。迄今为止，已有许多用于识别图象中的对象的技术，例如有模板匹配法、统计模式识别法、结构模式识别法和神经网络方法等。
一种要识别的对象是人体本身，尤其是人脸。在本文引为参考的HaiyuanWu的文章“FaceDetectionandRotationsEstimationUsingColorInformation”(the5thIEEEInternationalWorkshoponRobotandHumanCommunication，1996，pp341-346)中，就公开了一种用于探测人脸的模板匹配方法。该方法的效果太多地依赖于被探测的图象的质量，尤其是依赖于光照条件和背景的复杂程度。不同人种的脸部差异也影响探测效果。
在其他一些方法中，可以通过首先探测人脸上的特征(比如眼睛、嘴和鼻子等)来从图象中探测人脸。在本文引作参考的Kin-ManLam的文章“AFastApproachforDetectingHumanFacesinaComplexBackground”(Proceedingsofthe1999IEEEInternationalSymposiumonCircuitsandSystem，1998，ISCAS’98Vol.4，pp85-88中，就公开了一种探测眼睛的方法，其中，首先假定一些区域为可能的眼睛，然后根据一些条件对这些区域进行检查，以核实真正的眼睛区域。这种方法的效率较低，因为在一幅图象中，存在太多的可能眼睛区域(候选眼睛)。
为了改进所述现有技术，本申请人开发了一种图象处理方法和设备、图象处理系统以及存储介质(公开于2000年9月15日申请的待审中国专利申请No.00127067.2中，公开号为CN1343479A。该申请在此引为参考)。利用该方法，可以获得图象中的候选眼睛区的列表。然后，通过将候选眼睛配对，可以获得一个候选人脸区列表。
然而，在所述候选眼睛区中，有许多假眼睛区。结果，在所述候选人脸区中，有许多假人脸区。所述假眼睛区或者假人脸区是应当被排除的。
为此，在2001年9月6日提交的题为“图象处理方法和设备、图像处理系统和存储介质”的另一项待审中国专利申请01132807.x中，本申请人提供了一种通过分析每一个候选人脸区的一个环形区域，来从候选人脸区中排除非人脸区的方法。
发明内容
同样为了所述目的，本申请寻求提供一种人眼探测方法，用于在给定图象中探测眼睛区，尤其是用于在给定图象中过滤掉错误的候选眼睛区，从而更精确地获得候选眼睛区及候选人脸区。
本发明另外的目的是提供一种人眼探测设备、系统和存储介质，用于在给定图象中探测眼睛区，尤其是用于在给定图象中过滤掉错误的候选眼睛区。
根据本发明的一个方面，所述第一目的是通过一种人眼探测方法实现的，该方法包括下列步骤a)读入一幅图象；b)分析所述图象，获得一个候选眼睛区列表；c)从所述候选眼睛区列表(以后简称为“候选列表“)选择一个未经处理的候选眼睛区作为中心候选眼睛区(以后简称为“中心候选区”)；d)基于预定的标准，确定所述中心候选区的邻近候选眼睛区s(此后简称为“邻近候选区”)；
e)处理包含全部所述邻近候选区的最小区域(此后称为“邻域区”)而获得暗区；f)基于所述暗区和所述候选眼睛之间的一致性，确定和删除错误的候选眼睛区；g)重复步骤c)到f)，直到不再有未经处理的候选眼睛区；以及h)输出所述候选列表，用于对所述图象的后续处理。
根据本发明的另一方面，提供一种人眼探测设备，它包括读入装置，用于读入图象；候选眼睛区探测装置，用于分析所述读入的图象而获得一个候选眼睛区列表；以及输出装置，用于输出所述候选列表供所述图象的后续处理使用；其特征在于，所述设备还包括选择装置，用于从所述候选列表中选择一个未经处理的候选眼睛区作为中心候选区；核实装置，用于从所述中心候选区的所述邻近候选区中删除假眼睛区；以及控制装置，用于控制所述选择装置，使得所述候选列表中的所有候选眼睛区都得到处理；所述核实装置还包括邻近候选区确定装置，用于确定在所述候选列表中哪些候选眼睛区应当作为所述中心候选区的邻近候选区；暗区确定装置，用于处理包含所述邻近候选区的最小区域(邻域区)，从而获得一系列暗区；以及假眼睛区过滤器，基于所述暗区和所述候选眼睛区之间的一致性确定和删除错误的候选眼睛区。
根据本发明的又一方面，提供了一种人眼探测系统，它包括一个图象源，一个如上所述的人眼探测设备和一个后续处理设备。
根据本发明的又一方面，提供一种存储介质，其中存储有实现本发明的所述方法的程序代码。
借助于本发明，可以迅速而准确地核实所述候选眼睛区并排除假眼睛区，从而更为精确地获得候选眼睛区和候选人脸区。
阅读下文对优选实施例的详细说明，可以更明了本发明的其他目的、特征和优点。构成本说明书的一部分的附图与说明书一起用于说明本发明的实施例，解释本发明的原理。附图中图1是本发明的人眼探测方法的第一实施例的流程图；图2是图示如图1所示的邻近候选区确定步骤5000的一个优选图12是一个方框图，图示了一个可以用来实现本发明的方法和设备的计算机系统的例子。
具体实施例方式
下面结合所述附图描述本发明的优选实施例。
计算机系统举例本发明的方法可以在任何信息处理设备中实现。所述信息处理设备例如是个人计算机(PC)，笔记本电脑，嵌入照相机、摄像机、扫描仪、门禁系统等中的单片机，等等。对于本领域普通技术人员，很容易通过软件、硬件和/或固件实现本发明的方法。尤其应注意到，对于本领域普通技术人员显而易见的是，为了执行本方法的某些步骤或者步骤的组合，可能需要使用输入输出设备、存储设备以及微处理器比如CPU等。在下面对本发明的方法的说明中不见得提到这些设备，但实际上使用了这些设备。
作为上述信息处理设备，图7示出了一个计算机系统的举例，在其中可以实现本发明的方法和设备。应注意的是，示于图7的计算机系统只是用于说明，并非要限制本发明的范围。
从硬件的角度来讲，计算机1包括一个CPU6、一个硬盘(HD)5、一个RAM7、一个ROM8和输入输出设备12。输入输出设备可以包括输入装置比如键盘、触控板、跟踪球和鼠标等，输出装置比如打印机和监视器，以及输入输出装置比如软盘驱动器、光盘驱动器和通信端口。
从软件的角度讲，所述计算机主要包括操作系统(OS)9、输入输出驱动器11和各种应用程序10。作为操作系统，可以使用市场上可购买的任何操作系统，比如Windows系列(Windows是微软公司的商标)以及基于Linux的操作系统。输入输出驱动器分别用于驱动所述输入输出设备。所述应用程序可以是任何应用程序，比如字处理程序、图象处理程序等，其中包括可以用在本发明中的已有程序以及专为本发明编制的、可调用所述已有程序的应用程序。
这样，在本发明中，可以由操作系统、应用程序和输入输出驱动器在所述计算机的硬件中执行本发明的方法。
另外，计算机1还可以连接到一个数字设备3和一个应用设备2。所述数字设备用作如下文所述的图象源502，可以是照相机、摄像机、扫描仪或者用于将模拟图象转换为数字图象的数字化仪。利用本发明所获得的结果被输出到应用设备2，该应用设备根据所述结果执行适当的操作。所述应用设备也可以是同时用作所述数字设备的照相机(或类似装置)，或者可以是任何自动控制系统，比如门禁系统。所述应用设备也可以是在所述计算机1内部实现的、用于进一步处理所述图象的另一个应用程序和硬件的结合。
人眼探测方法本发明系基于下述事实。本领域普通技术人员知道，当从一幅图象中提取特征时，所得到的结果，尤其是其中的噪声分布，通常会随着所采用的处理方法而变化。然而，用不同方法所获得的不同结果通常会在相当大的程度上相互一致，而噪声分布则有很大的不同。因此，可以用一系列方法处理所述图象，然后，基于对不同处理结果的比较，可以精确地识别图象中的真正的特征。下面就是对本发明的详细描述。
(第一实施例)参见图1，其中示出了本发明的人眼探测方法的第一实施例。该方法始于读取步骤1000，在该步骤中，从一个图象源读入待处理的数字或者模拟格式的图象。所述图象源可以是任何类型，比如PC中的存储设备和照相机等。
然后在分析步骤2000中，借助于所述中国专利申请00127067.2公开的方法分析所述图象，生成一个候选眼睛区列表。如果在所述读取步骤1000读取得图象是模拟图象，在分析之前应当对所述图象进行数字化。所述分析步骤2000也可以用其他已知方法执行，比如区域生长法、区域分割法和混合式方法。
在选择步骤4000中，从所述候选列表随机地或者顺序地选择一个未经处理的候选眼睛区作为中心候选区。“未经处理的候选眼睛区”是指未曾被选为中心候选区、也未曾被选为中心候选区的如下所述的邻近候选区的候选眼睛区。为了方便所述选择操作，可以按照候选眼睛区的大小使所述候选眼睛区升序或者降序排列，然后可以顺序选择所述候选眼睛区作为所述中心候选区。
所述方法然后前进到邻近候选区确定步骤5000，在该步骤中，基于预定的标准为所述中心候选区确定一系列邻近候选区。具体来说从所述候选列表中选取并检查每一个候选眼睛区，如果它符合所述标准，则将其加入所述中心候选区的邻近候选区列表，不然就略过。所得到的邻近候选区列表被输出，用于如图1所示的暗区确定步骤5500。对于本领域普通技术人员来说，有各种各样的标准适合选择邻近候选区。然而，申请人在下面给出一些优选的标准。
所述标准可以是所述每一候选眼睛区和所述中心候选区之间的大小差异。如果所述大小差异不大于预定的第一阈值，相应的候选眼睛区就作为邻近候选区。这里，所说的“大小”可以理解为面积，或者是宽度或高度，或者是宽度和高度。以面积值为例，所述第一阈值为0到所述图象的面积，最好是0.4S到10S，其中S是所述中心候选区以象素为单位的大小。最好，所述第一阈值为2S+15(象素)。
在一个变型中，所述标准可以是所述每一候选眼睛区和所述中心候选区之间的亮度差。如果所述亮度差不大于预定的第二阈值，相应的候选眼睛区就作为邻近候选区。这里，所述亮度可以按照255灰度级系统量度，并且所述第二阈值为0到255，更好的是20到80，最好，所述第二阈值为50。
在另一个变型中，所述标准是每一候选眼睛区和所述中心候选区之间的距离。如果所述距离不大于预定的第三阈值，相应候选眼睛区就作为邻近候选区。所述距离可以是欧拉距离或者其他距离，比如横坐标差或者纵坐标差或者它们的组合。当所述距离采用欧拉距离时，所述第三阈值为0到所述所述图象中任意两象素间的最大距离。如果所述距离为横坐标差和纵坐标差的组合，则所述第三阈值由横坐标差阈值和纵坐标差阈值构成。仅当横坐标差和纵坐标差分别不超过所述横坐标差阈值和所述纵坐标差阈值时，相应的候选眼睛区才被确定为所述中心候选区的邻近候选区。所述横坐标差阈值和纵坐标差阈值分别为0到所述图象的宽度和0到所述图象的高度。更好的是，所述横坐标差阈值为0.2×AW到5×AW，所述纵坐标差阈值为0.2×AH到5×AH，其中AW是所述中心候选区的宽度，AH是所述中心候选区的高度。最好，所述横坐标差阈值为AW，所述纵坐标差阈值为AH。
更好的是，所述三个标准可以组合使用。最好，所述所有三个标准都用来确定邻近候选区。然而，如本领域普通技术人员所知，也可以使用其他标准。
作为例子，图11示出了6个候选眼睛区a，b，c，d，e和f，其中，候选眼睛区c是中心候选区。它们的参数示于下表1中表1
进一步，下表2示出了采用不同的标准时所得到的确定结果表2
从表2可以看出，采用的标准越多，所确定的邻近候选区越少，从而改善了本发明的方法所得的结果。
在图2中示出了所述邻近候选区确定步骤5000的一个优选实施例。在用于从所述候选列表选择一个候选眼睛区的选择步骤5002之后，在大小差异比较步骤5004、亮度差比较步骤5006和距离比较步骤5008中依次检查所述被选中的候选眼睛区。如果该候选眼睛区得以留下，则在加入步骤5010将其加入邻近候选区列表。在重复步骤5011中，对所述候选列表中每一个未经处理的候选眼睛区重复上述步骤。应当注意，如果被选中的候选眼睛区在所述三个比较步骤的任何一个步骤中被拒绝，则没有必要继续执行所述三个比较步骤中的其余步骤，过程将直接返回所述选择步骤5002。还应知道，所述三个比较步骤不一定按照图2所述的顺序进行，而可以按照任意顺序进行。
现在回到图1。所述方法的下一个步骤是处理步骤5500，在该步骤中确定一个包括所有邻近候选区的最小区域(邻域区)(如图3所示的领域区确定步骤5502)，然后处理该领域区，生成一系列暗区。这里，所述邻域区可以是任何形状，比如矩形、圆形、椭圆形和多边形等，并且可以采用各种方法处理所述邻域区以获得暗区。例如，所述暗区用确定所述候选列表时所用方法相同的方法确定。暗区也可以用不同的方法确定。如前所述，可以使用所述中国专利中请00127067.2所公开的方法，以及其他已知方法，比如区域生长法，区域分割法和混合式方法。
为获得所述暗区，最好对所述邻域区进行二值化处理。所述邻域区的二值化处理详细示于图3。在上述领域区确定步骤5502之后，有一个二值化阈值确定步骤5504。所述二值化阈值可以用下述公式计算阈值＝AvrBrightness×a+AvrBackground×b其中，系数a和b的和为1，AvrBrightness和AvrBackground分别是所有邻近候选区的平均亮度和平均背景。所述系数a可以为0-1，更好的是0.4-0.9，最好0.7；所述系数b可以是0-1，更好的是0.1-0.6，最好是0.3。
然后在二值化步骤5506中，在所述邻域区中执行二值化，从而使所述邻域区转换成黑白图像。在标记步骤5508，将连通的暗象素标记为暗区。
至此，图1所示的处理步骤5500就完成了。该方法的下一步骤是一个过滤步骤6000，基于所述暗区和所述候选眼睛区之间的一致性判断哪些候选眼睛区(包括所述中心候选区)是假的，并删除这些假的候选眼睛区。具体来说，通过比较所述暗区和所述候选眼睛区的相对位置和大小，将具有与之重叠得很好的暗区的候选眼睛区视为“真”眼睛区，从而保留在所述候选列表中。对于本领域普通技术人员，这样的比较和删除操作可以以各种各样的方式实现。例如，所述过滤步骤的实现可以利用所述暗区的中心和所述候选眼睛区的中心之间的距离，以及所述所述暗区与所述候选眼睛区的大小。但最好遵循如图4-7所示的方法。
参见图4，所述如图1所示的过滤步骤6000的第一子步骤是对应区确定步骤6006，其中，对于每一邻近候选区，确定一个对应暗区。该确定过程如下。首先，确定暗区和候选眼睛区之间的重叠面积。对于每一候选眼睛区，具有最大重叠面积的暗区作为该候选眼睛区的对应暗区。如果一个候选眼睛区对应两个或者更多个具有同样的最大重叠面积的暗区，则该候选眼睛区视为没有对应暗区。前述说明只是所述对应区确定步骤6006的一个例子；显然，所述确定过程可以以其它合适的方式实施。
下面结合附图5和6进一步描述所述对应区确定步骤6006。在图5中示出了经过本发明的人眼探测方法处理的一幅图像的举例视图，其中所述方法已进行到如图3所示的标记步骤5508。在该图中，阴影区B，D，F，I，J和L表示候选眼睛区，空白区A，C，E，G，K和M表示前述暗区。在图6中，非对应暗区已被删除了。具体来说，暗区A由于不与任何候选眼睛区重叠而被删除；暗区C和E由于与同一候选眼睛区重叠并具有同样的重叠面积而被删除；暗区H和M由于重叠面积分别小于暗区G和K的重叠面积而被删除。最后的结果是暗区G，K保留下来作为对应暗区。具体来说，所述暗区G对应于两个候选眼睛区F和I，而暗区K对应于两个候选眼睛区J和L。
回到图4。接下来的三个子步骤6008，6010，6012用来删除假候选眼睛区。下面结合图6和7详细描述这些步骤。如果一个对应暗区对应于多个候选眼睛区，则删除具有较小重叠面积的候选眼睛区，将具有最大重叠面积的候选眼睛区保留在所述候选列表中。如图6所示，候选眼睛区J应当被删除，因为另一候选眼睛区L与同一对应暗区K重叠并具有更大的重叠面积。如果多个候选眼睛区与同一对应暗区重叠并具有相同的重叠面积，则将这些候选眼睛区全部删除。如图6所示，所述候选眼睛区F和I与对应暗区G重叠，并具有相同的重叠面积，因而应当被删除。最后，没有对应暗区的候选眼睛区，比如示于图6中的候选眼睛区B和D，被删除。在图7中，前述子步骤已经完成，仅有一个候选眼睛区L留下来。显然，所述三个子步骤6008，6010和6012不一定按照图示的顺序，而可以是任何顺序。
这样就完成了图1所示的过滤步骤6000。之后为重复步骤7000，针对所述候选列表中所有未经处理的候选眼睛区重复从所述选择步骤4000到所述过滤步骤6000的步骤。在所述候选列表中所有的候选眼睛区都经过处理后，所述方法前进到输出步骤8000，输出所述候选列表用于后续的处理。
如上所述，对于本领域普通技术人员，有各种各样的标准适合在邻近候选区确定步骤5000中确定所述邻近候选区。同样，有各种各样的方法可以用在所述处理步骤5500中处理所述邻域区以获得暗区。同样，所述过滤步骤6000中基于一致性的操作也可以以各种方式实现。因此，所述三个步骤的如图2-7所示的特定子步骤只是举例而已。本发明不应局限于这样的特定子步骤。也就是说，本发明的方法包括所述三个步骤这样的事实就构成了本发明的关键，所述特定子步骤只不过是对本发明的进一步改进。
(第二实施例)在第二实施例中，本发明的方法还包括如下所述的步骤。如图8所示，在如图1所示的所述输出步骤8000之后，所述方法前进到人脸确定步骤404，基于在所述探测步骤402获得的剩余候选眼睛区确定候选人脸区。有许多方法可以用于从候选眼睛区确定候选人脸区。例如，可以基于眼睛和人类的固有相对位置从一个候选眼睛区确定一个候选人脸区。又例如，基于所述一对眼睛的对称性，和/或一对眼睛之间的距离和/或眼睛在图像中的一般相对位置，可以将所述候选眼睛区配成对，然后可以基于一对眼睛与人类的固有相对位置确定候选人脸区。
接下来是人脸删除步骤406，用来删除假人脸区例如利用所述待审中国专利申请01132807.x所提出的方法。当然，也可以使用其它方法来删除假人脸区，例如，基于人脸与人体其它部位之间的相对位置，或者基于人脸在图像中的相对位置，可以运用结构模式识别方法。最后在输出步骤408中，将所述剩余人脸区作为结果输出，用于后续的处理。
人眼探测设备和系统本发明还提供一种人眼探测设备和系统。下面将对其详细描述。与前述方法类似，构成本发明的人眼探测设备和系统的任何部件可以是前述任何信息处理设备的部件或者部件的组合，或者安装或结合在前述任何信息处理设备中的软件和/或硬件和/或固件的组合。对于本领域普通技术人员，很容易实现本发明的设备的所述部件。同样，对于本领域普通技术人员显而易见的是，每个所述部件的运行都涉及输入输出设备、存储设备、微处理器比如CPU等的使用。下文对本发明的设备和系统的说明不一定提及这些设备，但实际上使用了这些设备。作为前述信息处理设备的一个具体实例，前文已经描述过一个计算机系统，其描述在此不再赘述。
如图9所示，根据本发明的人眼探测系统包括一个图象源502、一个本发明的人眼探测系统500和一个后续处理设备516。所述图象源502可以是任何存储介质，比如PC的存储设备，或者可以是图像拾取设备比如照相机或者扫描仪等等。所述后续处理设备可以是输出设备比如监视器或者打印机，或者可以是用于根据所述人眼探测设备的输出在图像中确定人脸区的人脸确定设备，或者可以是自动控制系统比如门禁系统，等等。
当所述后续处理设备516是人脸确定设备时，它还包括下述装置候选人脸确定装置，用于基于所述人眼探测设备输出的剩余候选眼睛区确定候选人脸；假人脸删除装置，用于删除假人脸区；和输出装置，用于输出剩余人脸区用于后续处理。
如前所述，对于所述候选人脸确定装置，有许多方法用于从候选眼睛区确定候选人脸区。同样，如前所述，对于所述假人脸删除装置，有许多方法用于排除假候选人脸。
现在回到图9，本发明的所述人眼探测设备500包括读入装置504，候选眼睛区探测装置506，选择装置507，核实装置508，控制装置510和输出装置512。
所述读入装置504从图象源502接收输入。读入的图像由候选眼睛区探测装置506处理，生成候选眼睛区列表。所述选择装置负责从所述候选列表选择一个未经处理的候选眼睛区来由所述核实装置508处理。所述控制装置510从所述核实装置508获得输出，并控制所述选择装置507选择下一个未经处理的候选眼睛区，如果有的话。当所述候选列表中没有未经处理的候选眼睛区时，所述控制装置510通知所述输出装置512将最终的列表输出到所述后续处理设备516。
所述核实装置508的结构示于图10，其中，虚线箭头和方框用来说明所述核实装置的部件与所述人眼探测设备500的其它部件之间的连接关系。
如图10所示，所述核实装置508包括邻近候选区确定装置9020，暗区确定装置和假眼睛区过滤器9060。所述邻近候选区确定装置9020从所述选择装置507接收一个候选眼睛区作为中心候选区，围绕该中心候选区，确定符合条件的候选眼睛区作为该中心候选区的邻近候选区。然后，所述暗区确定装置9040处理包含所有所述邻近候选区的邻域区以获得暗区。关于所述中心候选区、邻近候选区和暗区的信息被传送到所述假眼睛区过滤器9060中，该过滤器基于所述暗区和所述候选眼睛区之间的一致性确定哪些候选眼睛区(包括所述中心候选区)是假的候选眼睛区，并将它们删除。得到的结果输出到所述控制装置616，该控制装置进而如上所述控制所述选择装置507或者将所述结果输出到所述后续处理设备516。
如前所述，对于本领域普通技术人员，有各种各样的标准适合选择邻近候选区，可以用在所述邻近候选区确定装置9020中。同样，有各种各样的方法可以应用在所述暗区确定装置9040中以处理所述邻域区而获得暗区。同样，在所述假眼睛区过滤器9060中，所述基于一致性的操作可以以各种方式实现。因此，所述邻近候选区确定装置9020、所述暗区确定装置9040和所述假眼睛区过滤器9060的如图1 0所述的特定结构只是举例。本发明不应局限于这种特定结构。也就是说，所述核实装置508包括所述邻近候选区确定装置9020、所述暗区确定装置9040和所述假眼睛区过滤器9060这样的事实本身构成本发明的关键。所述三个装置的上述具体结构只是本发明的进一步改进。
下面是所述三个装置的上述特定结构的详细描述。
如图10所示，作为优选实施例，所述邻近候选区确定装置9020包括用于将每一个未经处理的候选眼睛区和所述中心候选区之间的大小差异与一第一阈值进行比较的大小差异比较装置9022、用于将每一个未经处理的候选眼睛区和所述中心候选区之间的亮度差异与一第二阈值进行比较的亮度差比较装置9024，和用于将每一个未经处理的候选眼睛区和所述中心候选区之间的距离与一第三阈值进行比较的距离比较装置9022。基于所述比较结果，将合格的候选眼睛区加入邻近候选区列表。如前所述，所述邻近候选区确定装置可以仅仅包括所述三个比较装置中的一个或者它们的任意组合。并且，所述邻近候选区确定装置可以包括其它装置，或者由其它装置构成。
所述暗区确定装置9040可以与所述候选眼睛区探测装置506相同，或者是所述候选眼睛区探测装置506本身。或者，所述暗区确定装置可以如图10所示包括一个二值化装置9046。在图10中，所述暗区确定装置9040还包括最小区域确定装置9042，用于确定包含所有邻近候选区的最小区域；二值化阈值确定装置，用于计算所述二值化装置9046在对所述区域进行二值化时所用的二值化阈值；以及标记装置9048，用于将二值化后获得的连通暗象素标记为暗区。
所述假眼睛区过滤器9060的一个例子包括对应暗区确定装置9062和筛选装置9064。前者用于确定每一邻近候选区的对应暗区，后者用于删除不合格的候选眼睛区，如前所述。
存储介质本发明的所述目的还可以通过在如上所述的可以与所述图象源502和后续处理设备516通信的任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备、图象源和后续处理设备为公知的通用设备。因此，本发明的所述目的也可以仅仅通过提供实现所述人眼探测方法的程序代码来实现。也就是说，存储有实现所述人眼探测方法的程序代码的存储介质构成本发明。
对于本领域技术人员来说，可以轻易地用任何程序语言编程实现所述人眼探测方法。因此，在此省略了对所述程序代码的详细描述。
显然，所述存储介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储介质，因此也没有必要在此对各种存储介质一一列举。
尽管对本发明的上述说明是结合具体的步骤和结构进行的，但本发明并不局限于在这里所公开的细节。相反，在不脱离本发明的精神实质和范围的前提下，本申请应视为覆盖所有的修改或者变型。
权利要求
1.一种人眼探测方法，包括下列步骤a)读入图像；b)分析所述图像，获得候选眼睛区列表；c)从所述候选列表中选择一个未经处理的候选眼睛区作为中心候选区；d)基于预定的标准，确定所述中心候选区的邻近候选区；e)处理包含所有所述邻近候选区的最小区域以获得暗区；f)基于所述暗区和所述候选眼睛区之间的一致性确定和删除假候选眼睛区；g)重复步骤c)到f)，直到没有未经处理的候选眼睛区；和h)输出所述候选列表用于所述图像的后续处理。
2.如权利要求1所述的人眼探测方法，其特征在于所述方法还包括下列步骤基于所述步骤h)获得的剩余候选眼睛区确定候选人脸区；删除假人脸区；输出剩余人脸区用于后续处理。
3.如权利要求1或2所述的人眼探测方法，其特征在于，所述步骤c)包括根据大小以升序或者降序对所述候选眼睛区排序，然后从所述候选列表中顺序选择候选眼睛区作为所述中心候选区。
4.如权利要求1或2所述的人眼探测方法，其特征在于，所述步骤d)包括将每一未经处理的候选眼睛区和所述中心候选区之间的大小差异与一第一阈值进行比较，其中，如果所述大小差异不大于所述第一阈值，则将该未经处理的候选眼睛区确定为所述中心候选区的邻近候选区。
5.如权利要求4所述的人眼探测方法，其特征在于，所述大小是面积值，所述第一阈值为0到所述图像的面积。
6.如权利要求5所述的人眼探测方法，其特征在于，所述第一阈值为0.4×S到10×S，其中S是所述所述中心候选区的大小。
7.如权利要求6所述的人眼探测方法，其特征在于，所述第一阈值为2×S+15(象素)。
8.如权利要求1或2所述的人眼探测方法，其特征在于，所述步骤d)包括将每一未经处理的候选眼睛区和所述中心候选区之间的亮度差异与一第二阈值进行比较，其中，如果所述亮度差异不大于所述第二阈值，则将该未经处理的候选眼睛区确定为所述中心候选区的邻近候选区。
9.如权利要求8所述的人眼探测方法，其特征在于，所述亮度按照255灰度级系统进行量度，所述第二阈值为0到255。
10.如权利要求9所述的人眼探测方法，其特征在于，所述第二阈值为20到80。
11.如权利要求10所述的人眼探测方法，其特征在于，所述第二阈值为50。
12.如权利要求1或2所述的人眼探测方法，其特征在于，所述步骤d)包括，将每一未经处理的候选眼睛区和所述中心候选区之间的距离与一第三阈值进行比较，其中，如果所述距离不大于所述第三阈值，则将该未经处理的候选眼睛区确定为所述中心候选区的邻近候选区。
13.如权利要求12所述的人眼探测方法，其特征在于，所述距离为欧拉距离，所述第三阈值为0到所述图像中任意两像素之间的最长距离。
14.如权利要求12所述的人眼探测方法，其特征在于，所述距离为坐标差，包括横坐标差和纵坐标差，所述第三阈值包括横坐标差阈值和纵坐标差阈值，分别为0到所述图像的宽度和0到所述图像的高度，如果所述横坐标差和所述纵坐标差分别不大于所述横坐标差阈值和所述纵坐标差阈值，则相应的候选眼睛区被判定为所述中心候选区的邻近候选区。
15.如权利要求14所述的人眼探测方法，其特征在于，所述横坐标差阈值为0.2×AW到5×AW，所述纵坐标差阈值为0.2×AH到5×AH，其中AW为所述中心候选区的宽度，AH为所述中心候选区的高度。
16.如权利要求15所述的人眼探测方法，其特征在于，所述横坐标差阈值为AW，所述纵坐标差阈值为AH。
17.如权利要求1或2所述的人眼探测方法，其特征在于，所述步骤d)包括将每一个未经处理的候选眼睛区和所述中心候选区之间的大小差异、亮度差和距离分别与第一、第二和第三阈值进行比较，其中，如果所述大小差异、亮度差和距离分别不大于所述三个阈值，则该未经处理的候选眼睛区被确定为所述中心候选区的邻近候选区。
18.如权利要求1或2所述的方法，其特征在于，在步骤e)中，确定所述暗区的方法与步骤b)所用方法相同。
19.如权利要求1或2所述的方法，其特征在于所述步骤e)包括一个二值化步骤。
20.如权利要求19所述的人眼探测方法，其特征在于所述二值化步骤所用的二值化阈值根据以下公式计算阈值＝AvrBrightness×a+AvrBackground×b其中AvrBrightness和AvrBackground分别是所有邻近候选区的平均亮度和平均背景，系数a和b为0-1，且a+b＝1。
21.如权利要求20所述的人眼探测方法，其特征在于，所述系数a为0.4-0.9，所述系数b为0.1-0.6。
22.如权利要求21所述的人眼探测设备，其特征在于，所述系数a为0.7，所述系数b为0.3。
23.如权利要求1或2所述的人眼探测方法，其特征在于所述步骤f)包括下列步骤确定每一邻近候选区的对应暗区；根据以下标准删除候选眼睛区i)如果一个对应暗区对应于多个候选眼睛区，删除重叠面积较小的候选眼睛区；ii)如果多个候选眼睛区与同一对应暗区重叠并具有相同的重叠面积，则将它们全部删除；iii)删除没有对应暗区的候选眼睛区。
24.一种人眼探测设备(500)包括读入装置，用于读入图象；候选眼睛区探测装置，用于分析读入的图象，获得一个候选眼睛区列表；以及输出装置，用于输出该候选眼睛区列表以用于该图象的后续处理；其特征在于，所述设备还包括选择装置(507)，用于从所述候选列表中选取一个未经处理的候选眼睛区作为中心候选区；核实装置，用于从所述中心候选区的邻近候选区删除假眼睛区；以及控制装置，用于控制所述选择装置，使得所述候选列表中所有的候选眼睛区都得到处理；所述核实装置还包括邻近候选区确定装置，用于确定所述候选列表中哪些候选眼睛区应作为所述中心候选区的邻近候选区；暗区确定装置，用于处理包含所述邻近候选区的最小区域，从而获得一系列暗区；以及假眼睛区过滤器，用于基于所述暗区和所述候选眼睛区之间的一致性确定和删除假候选眼睛区。
25.如权利要求24所述的人眼探测设备(500)，其特征在于它还包括一个排序装置，用于将所述候选眼睛区按大小以升序或者降序排列，以有利于所述选择装置(507)的选择操作。
26.如权利要求24或25所述的人眼探测设备(500)，其特征在于，所述邻近候选区确定装置(9020)包括大小差异比较装置(9022)，后者通过将每一未经处理的候选眼睛区和所述中心候选区之间的大小差异与一第一阈值进行比较而确定所述中心候选区的邻近候选区。
27.如权利要求24或25所述的人眼探测设备(500)，其特征在于，所述邻近候选区确定装置(9020)包括亮度差比较装置(9024)，后者通过将每一未经处理的候选眼睛区和所述中心候选区之间的亮度差异与一第二阈值进行比较而确定所述中心候选区的邻近候选区。
28.如权利要求24或25所述的人眼探测设备(500)，其特征在于，所述邻近候选区确定装置(9020)包括距离比较装置(9026)，后者通过将每一未经处理的候选眼睛区和所述中心候选区之间的距离与一第三阈值进行比较而确定所述中心候选区的邻近候选区。
29.如权利要求24或25所述的人眼探测设备(500)，其特征在于，所述邻近候选区确定装置(9020)包括大小差异比较装置(9022)、亮度差比较装置(9024)和距离比较装置(9026)，分别用于将每一未经处理的候选眼睛区和所述中心候选区之间的大小差异、亮度差异和距离与第一、第二和第三阈值进行比较，所述大小差异、亮度差和距离均不大于所述三个阈值的候选眼睛区作为所述中心候选区的邻近候选区。
30.如权利要求24或25所述的人眼探测设备(500)，其特征在于所述暗区确定装置(9040)与所述候选眼睛区探测装置(506)相同。
31.如权利要求24或25所述的人眼探测设备(500)，其特征在于所述暗区确定装置(9040)包括二值化装置(9046)。
32.如权利要求31所述的人眼探测设备(500)，其特征在于所述暗区确定装置(9040)还包括二值化阈值确定装置，用于根据以下公式计算所述二值化装置(9046)使用的所述二值化阈值阈值＝AvrBrightness×a+AvrBackground×b其中AvrBrightness和AvrBackground分别是所有邻近候选区的平均亮度和平均背景，系数a和b为0-1，且a+b＝1。
33.如权利要求32所述的人眼探测设备，其特征在于，所述系数a为0.4-0.9，所述系数b为0.1-0.6。
34.如权利要求33所述的人眼探测设备，其特征在于，所述系数a为0.7，所述系数b为0.3。
35.如权利要求24或25所述的人眼探测设备，其特征在于所述假眼睛区过滤器包括对应暗区确定装置(9060)，用于为每一个邻近候选区确定一个对应暗区；和筛选装置(9064)，用于根据以下标准删除候选眼睛区i)如果一个对应暗区对应于多个候选眼睛区，删除重叠面积较小的候选眼睛区；ii)如果多个候选眼睛区与同一对应暗区重叠并具有相同的重叠面积，则将它们全部删除；iii)删除没有对应暗区的候选眼睛区。
36.一种人眼探测系统包括图象源(502)，如权利要求12所述的人眼探测设备(500)和后续处理设备(516)。
37.如权利要求36所述的人眼探测系统，其特征在于所述后续处理设备(516)为人脸确定设备，该人脸确定设备包括候选人脸确定装置，用于基于所述人眼探测设备输出的剩余候选眼睛区确定候选人脸区；假人脸删除装置，用于删除假人脸区；和输出装置，用于输出剩余的人脸区用于后续处理。
38.如权利要求36或37所述的人眼探测系统，其特征在于所述人眼探测设备(500)为权利要求24-35之一所述的人眼探测设备。
39.一种存储介质，存储有用于实现如权利要求1-23之一所述的人眼探测方法的程序代码。
全文摘要
本发明涉及一种人眼探测方法、设备、系统和存储介质。根据本发明，以下述方法从给定图象中探测候选眼睛区读入图象；分析该图象而获得一个候选眼睛区列表；从该候选列表中选择一个候选眼睛区作为中心候选区；基于预定的标准，确定所述中心候选区的邻近候选区；处理包含所有邻近候选区的最小区域以获得暗区；基于所述暗区和所述候选眼睛区之间的一致性确定和删除假候选眼睛区；对每一候选眼睛区重复所述选择步骤之后的步骤；输出所述候选列表用于图象的后续处理。本发明可以应用于人体探测。
文档编号G06K9/00GK1514398SQ0216040
公开日2004年7月21日 申请日期2002年12月31日 优先权日2002年12月31日
发明者陈新武, 纪新, 王立冰 申请人:佳能株式会社