专利名称：面部器官位置检测设备、方法及程序的制作方法
技术领域：
本发明涉及一种面部器官位置检测设备、方法及程序。更特别地，本发明涉及一种基于捕捉的面部图像来检测预定的面部器官位置的面部器官位置检测设备、方法及程序。
背景技术：
存在采用面部的边缘图案、光与影的许多方法来检测眼睛的位置。例如，JPH10(1998)-307923描述的已知面部器官提取设备通过将光与影的较暗部投影到水平方向来创建直方图以便获取眼睛和眉毛的位置，并基于直方图的结构来确定眼睛和眉毛的位置。面部器官提取设备通过创建直方图并利用在直方图中显示的与例如眼睛、眉毛、嘴的器官相对应的峰值，来提取眼睛、眉毛及嘴的位置。
在JP2000-339476中，描述了一种用于稳定地检测眼睛及面器官置的已知眼睛位置及面器官置检测设备。采用该已知眼睛位置及面器官置检测设备，基于垂直边直方图来估测面部的中心，基于面部的中心位置来估测面部的右轮廓和左轮廓，并且在估测的面部右轮廓及左轮廓的范围内通过将水平边以及垂直和水平边投影到水平方向来创建直方图。因此，峰值将出现在眼睛及眉毛的位置，由此检测出眼睛和眉毛的位置。
但是，依据JPH10(1998)-307923及JP2000-339476所述的已知设备，在驾驶员带着眼镜时，与眼睛和眉毛相对应的峰值所不同的直方图峰值将出现在眼睛周围，从而不能精确地检测出眼睛和眉毛的位置。在采用灰度图像时，反射到面部的阴影将导致类似的问题。
JPH10(1998)-307923及JP2000-339476所述的已知设备的情形是面器官置被近似识别出。但是，在面器官置较远的情况下，眼睛和眉毛的精确位置不可能被检测，这是因为除了眼睛和眉毛之外的额外直方图峰值将出现或者这些峰值在背景下是不可读的。
此外，采用按照JPH10(1998)-307923的面部器官提取设备，检测鼻孔以确定面器官置。但是，为了检测鼻孔，图像捕捉设备必须置于作为检测对象的人的脸部下方，由此限制了图像捕捉设备的设置位置。
采用JP2000-339476所述的眼睛位置及面器官置检测设备，首先从用于检测面器官置的垂直边直方图来检测面部的中心。但是，其缺陷在于，由于从鼻子、眼镜等的垂直边很难识别面部的中心，以致不可能检测到精确的面器官置。
因此，需要这样的面部器官位置检测设备、方法及程序，其能够不受作为检测对象的人的状态影响，可靠地检测出面部器官位置。
发明内容
鉴于上述问题，本发明提供一种面部器官位置检测设备，该设备包括图像输入装置，其用于输入捕捉的面部图像；轮廓位置检测装置，其基于图像输入装置输入的图像来检测面部器官右轮廓位置及左轮廓位置；面部器官区域设定装置，其基于轮廓位置检测装置检测的面部右轮廓位置及左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域；水平边检测装置，其基于图像输入装置输入的图像来检测水平边；水平边直方图创建装置，其通过将水平边检测装置检测的水平边投影到水平方向来创建水平边直方图；拟定位置设定装置，其通过水平边直方图创建装置将水平边直方图的多个峰值分别设定为多个拟定位置；及最佳位置检测装置，其基于面部器官区域设定装置设定的面部器官区域和拟定位置设定装置设定的每个拟定位置来检测面部器官区域的最佳位置。
依据本发明的另一方案，本发明提供一种用于检测面部器官位置的方法，该方法包括下述步骤基于捕捉的面部图像来检测面部右轮廓位置及左轮廓位置；基于检测到的面部器官右轮廓位置及左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域；基于输入的图像来检测水平边；通过将检测到的水平边投影到水平方向来创建水平边直方图；将创建的多个水平边直方图的多个峰值分别设定为多个拟定位置；以及基于每个设定的拟定位置和设定的面部器官区域来检测面部器官区域的最佳位置。
依据本发明的再一方案，本发明提供一种用于检测面部器官位置的程序，其使得计算机执行如下处理基于捕捉的面部图像来检测面部右轮廓位置及左轮廓位置；基于检测到的面部器官右轮廓位置及左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域；基于输入的图像来检测水平边；通过将检测到的水平边投影到水平方向来创建水平边直方图；将创建的水平边直方图的多个峰值分别设定为多个拟定位置；以及基于每个设定的拟定位置和设定的面部器官区域来检测面部器官区域的最佳位置。
依据本发明，图像输入装置输入捕捉到的面部图像。该图像不仅包括主观意义上的人的面部，而且还包括背景。
依据本发明，轮廓位置检测装置基于输入的图像来检测面部右轮廓位置及左轮廓位置。由此，能够检测出从面部的一端到面部的另一端的长度。
依据本发明，面部器官区域设定装置基于面部器官右轮廓位置和左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域。因为从人的面部到用于捕捉面部图像的图像捕捉装置的距离不总是固定的，所以输入的面部图像尺寸也不总是固定的。由此，面部器官区域设定装置基于面部器官右轮廓和左轮廓位置来设定面部器官区域。
水平边检测装置检测在输入图像中的水平边。水平边直方图创建装置通过将水平边投影到水平方向来创建水平边直方图。在水平边直方图中，峰值依据在水平方向上的水平边的亮度来呈现。
拟定位置设定装置将水平边直方图的多个峰值设定为多个拟定位置。水平边直方图的峰值表示被照亮的水平边的位置，而该位置很可能是诸如面部的眉毛、眼睛、鼻子和嘴等的面部器官所处的位置。由此，这些峰值被确定为面部器官区域最佳位置的拟定位置。
依据本发明，最佳位置检测装置通过基于设定的面部器官区域和每个拟定位置将面部器官区域与每个拟定位置进行匹配来检测面部器官区域的最佳位置。
采用依据本发明实施例的面部器官位置检测设备、方法及程序，能够基于设定的面部器官区域和每个拟定位置，可靠地检测出面部器官位置并避免例如戴着眼镜或头发挡在眼睛上之类的主观意义上的人的状态的影响。
由下述参照附图的详细说明，本发明的前述及其它特点和特性将变得更清晰。在附图中图1是示出了依据本发明第一实施例的面部器官位置检测设备的构造视图；图2是示出计算机结构的方框图；图3是示出存储在ROM中的面部器官位置检测程序的例程流程图；图4是示出在步骤S2中面部右轮廓和左轮廓检测例程的实例流程图；图5A至图5F是示出了在面部右轮廓和左轮廓检测例程中的每个处理中创建的图像视图；图6是示出由面部右轮廓及左轮廓检测例程检测的面部右轮廓及左轮廓的状态视图；图7是示出在驾驶员处于理想状态时所得到的水平边及与驾驶员处于理想状态时的水平边相对应的水平边直方图的视图；图8A是示出在驾驶员带着眼镜时的水平边及与水平边相对应的水平边直方图的视图；图8B是示出当头发挡在眼睛和眉毛上时的水平边及与水平边相对应的水平边直方图的视图；图8C是示出当面部向右侧或左侧倾斜时的水平边及与水平边相对应的水平边直方图的视图；图9是示出了面部器官模板的视图；图10是示出了人的面部器官的统计尺寸的视图；图11是示出了在步骤S6的处理中所确定的面部器官区域的视图；图12A至图12C是说明将眼睛的拟定位置与面部器官区域进行匹配的视图；图13A是在较高对称度时CPU24计算对称性的说明图；图13B是在较低对称度时CPU24计算对称性的说明图；图14是示出了假定脸部转向侧边时的面部器官区域的视图；图15是示出了从上方看到的人的头部视图；以及图16是示出了假定面部倾斜时的面部器官区域的视图。
具体实施例方式
下面将参照附图来说明本发明的实施例。尽管通过一个由捕捉驾驶车辆的驾驶员的面部图像来检测驾驶员面部器官的实例来解释本发明的实施例，但是依据本发明可检测除了该驾驶员以外的面部器官。
下面说明本发明的第一实施例。面部器官位置检测设备包括照相机10(即作为图像捕捉装置)，其用于通过捕捉驾驶员的面部图像来创建面部图像；照射光源12，其用于照射驾驶员的面部；计算机14，其用于检测面部器官位置(即计算机14作为面部器官位置检测装置)；以及与计算机14相连接的显示器16。
由照相机10创建的面部图像包括驾驶员的面部和背景。显示器16包括LCD(液晶显示器)或CRT(阴极射线管)，其显示从照相机10捕捉到的面部图像中所提取的二元图像等。
如图2所示，计算机14包括模拟/数字(A/D)转换器21，其用于将照相机10捕捉的图像转换成数字信号；图像存储器22，其用于存储由照相机10创建的面部图像；ROM23，其中存储有用于检测面部器官位置的程序(即ROM23作为面部器官位置检测装置)；CPU24，其基于在ROM23中存储的程序来执行预定计算；RAM25，其用作数据的工作区；显示控制器27，其用于控制显示装置16上的显示；以及发光控制器28，其用于控制光源12的打开和关闭。
如图3所示，CPU24执行下列处理例程中的步骤S1至S7。
在步骤S1中，CPU24将照相机10捕捉的面部图像输入计算机14，并通过A/D转换器21将该面部图像写入到图像存储器22(即CPU24作为图像输入装置)。然后，进行步骤S2的处理。
在步骤S2中，CPU24检测驾驶员面部的轮廓即检测驾驶员面部的右轮廓和左轮廓(即CUP24用作轮廓位置检测装置)。例如，CPU24计算面部图像的垂直边，并通过将所计算的垂直边投影到垂直方向来创建直方图。在此情况下，由于峰值出现在面部的右轮廓和左轮廓，所以这些峰值被检测作为驾驶员面部的轮廓即驾驶员面部的右轮廓和左轮廓。优选地，为了创建直方图，通过缩短时间或长度的方式对图像元素进行加权来消除噪声(例如头架或窗口框架之类的背景)。可通过诸如模板匹配及范围图像(range image)等的其他方法来检测面部的左轮廓和右轮廓。具体地，CPU24执行下述处理。
在步骤S11中，CPU24从图像存储器22读取面部图像(如图5A所示)，并在水平方向(即横向)求取面部图像的图像元素值(像素值)的微分。更特别地，计算每个图像元素的亮度和与该图像元素邻近的图像元素的亮度之间的亮度差，从而创建边部提取图像(如图5B所示)。然后处理进行到步骤S12。在图5B中的虚线表示原始图像的轮廓。在边部提取图像中，提取了背景的垂直边31和面部图像的垂直边32，而几乎没有保留由虚线示出的原始图像轮廓。即使在驾驶员不移动时，也提取这些垂直边31和32。
在将边部提取图像的图像元素值(即亮度的微分值)投影到垂直方向(即纵向)的情况下，得到图5B底端所示的直方图。在该直方图中，由于所有边部的亮度都近似相等，所以无法确定面部的右轮廓和左轮廓。
在步骤S12中，CPU24从图像存储器22读取面部图像(如图5A所示)，并求取面部图像的图像元素的时间微分。具体地，计算每个图像元素在特定时间的亮度与每个图像元素在刚刚前一时间的亮度之间的亮度差，然后创建仅突出了移动对象的图像元素值时间微分图像(如图5C所示)。然后，处理进行到步骤S13。
因为驾驶员在驾驶车辆过程中不是完全处于静止不动的状态，所以在图像元素值时间微分图像中，仅移动对象的轮廓即驾驶员的轮廓线以粗线显示。另一方面，因为诸如窗口、柱子或头架之类的背景中的其他对象依然保持静止状态，所以背景中的对象轮廓几乎没有保留在图像元素值时间微分图像中。因此，采用该图像元素值微分图像，在驾驶员移动时可检测面部轮廓，但是在驾驶员几乎不动时却不可能检测出面部轮廓。为了解决这个问题，需要执行下列处理。
在步骤S13和S14中，CPU24通过组合边部提取图像和图像元素值时间微分图像而创建合成图像1(如图5D所示)，并且通过将合成图像1的图像元素值(即亮度)投影到垂直方向而创建直方图。通过组合边部提取图像和图像元素值时间微分图像而创建合成图像1。由此，不管驾驶员是否移动，驾驶员的垂直边或轮廓线也呈现在合成图像1中。
可选地，通过将边部提取图像的图像元素值投影到垂直方向并将图像元素值时间微分图像的图像元素值也投影到垂直方向来创建两个直方图，然后可将这两个直方图组合在一起。之后，在合成图像1的直方图中检测峰值34和35，并且处理进行到步骤S15。
在步骤S15中，CPU24从合成图像1的直方图中检测出的多个峰值34和35选择两个峰值，这两个峰值具有与人的面部宽度达到最佳匹配的峰值间隔；并将这两个峰值确定为面部的右轮廓和左轮廓。此时，面部右轮廓和左轮廓检测例程的处理结束，且处理进行到图3所示的步骤S3。
面部右轮廓和左轮廓检测例程不限于上述处理，而且可按照如下来构成。
例如，在步骤S12中，CPU24可以采用边部提取图像(如图5B所示)以替代面部图像(如图5A所示)作为图像元素值的时间微分计算的对象。换句话说，在步骤S12，对边部提取图像(如图5B所示)中的图像元素值(即亮度)进行时间微分，以创建边部时间微分图像(如图5E所示)。由此，通过从图5B所示的边部提取图像中的多个垂直边31及32中删除不移动的、诸如窗口和头架之类的背景的垂直边，可只提取出移动着的面部图像的垂直边33，如图5E所示。
在该可选的处理中，在步骤S13之后，CPU24执行与上述类似的处理。在步骤S13和S14中，CPU24将像前述一样通过将边部提取图像和边部时间微分图像组合来创建合成图像2(如图5F所示)，并通过将合成图像2的图像元素值(亮度)投影到垂直方向来产生直方图。基于该创建的直方图，可检测出峰值34和35。
如图6所示，CPU24从直方图的多个峰值中选择两个峰值，这两个峰值具有与人的面部宽度达到最佳匹配的峰值间隔；并将这两个峰值检测为面部右轮廓和左轮廓位置。
由此，CPU24能够通过不受作为检测对象的人及背景的移动的影响地执行面部右轮廓和左轮廓检测例程来选定面部的右轮廓和左轮廓。然后，执行图3所示的步骤S3之后的处理。
在步骤S3中，CPU24利用预定阈值来检测由照相机10捕捉的、并存储在图像存储器22内的面部图像的在垂直方向上变化的水平边(即白色-黑色-白色边)(也就是说，CPU24用作水平边检测装置)。在水平边(白色-黑色-白色边)中，图像元素在垂直方向上从白色变为黑色，然后从黑色变为白色。然后，处理进行到步骤S4。
在步骤S4中，当图像中的面部垂直长度大约为60个像素时，CPU24可检测出垂直方向上具有2-4个像素长度的黑色像素，也就是具有低亮度的图像元素。在该处理中，因为具有一个像素宽度的黑色像素被忽略，所以，可以消除噪声元素。此外，通过将待检测图像元素的长度限定为等于或小于4个像素，可特别针对包括眉毛、眼睛、鼻子、嘴在内的面部器官进行检测。但是图像元素在垂直方向的检测长度不局限于上述值，在面部的垂直长度明显不同于60个像素时，该检测长度可以相应改变。此外，CPU24不仅可检测白色—黑色—白色边，而且可检测一般的白色—黑色边。
在水平边中，只有水平长度等于或大于预定值(例如等于或大于10％的面部宽度)的水平边可被检测出。由此，由于噪声产生的短的水平边能被消除。在此情况下，基于面部图像的统计数据而定义等于或大于10％的标准值，这是因为面部器官的宽度相对于面度宽度的比例假定为等于或大于10％。
图7给出了在驾驶员处于理想状态下(例如，驾驶员不戴眼镜或太阳镜，头发没有挡在驾驶员的眼睛上，而且驾驶员的脸是笔直向前的)所得到的水平边。
在步骤S4中，CUP24通过将水平边投影到水平方向来创建表示在水平方向上的水平边亮度的水平边直方图(即CPU24作为水平边直方图创建装置)。随后，处理进行到步骤S5。
在步骤S5中，CPU24检测水平边直方图的多个峰值，并将检测到的多个峰值设为眼睛的拟定位置(即CUP24作为拟定位置设定装置)。随后，处理进行到步骤S6。如图7所示，水平边直方图的多个峰值主要出现在眉毛、眼睛、鼻子和嘴器官。尽管没有指定待检测水平边直方图的峰值数目，但是考虑到诸如眼睛、眉毛、眼镜的底部和顶部框架、嘴、鼻子等的面部图像特征，优选的峰值数目采用等于或大于6。
例如，在驾驶员处于如上所述的理想状态下，通过从顶部依次提取图7中所示的水平直方图的多个峰值，就可确定眉毛、眼睛、鼻子和嘴的位置。
然而，实际上，由于受背景、发型、眼镜及太阳镜等的影响，驾驶员不总是处于理想状态，从而不能得到清晰的峰值。即使在前述不理想的状态下，即使不清楚的峰值也将出现在对应于眉毛、眼睛和嘴的器官。
参照图8A至图8C，与图7中所示的多个峰值相比，尽管在图8A至图8C中的直方图的多个峰值不够清晰，但是依然可以获得多个峰值。CPU24可将例如图8A至图8C所示的水平边直方图的不清晰的多个峰值确定为眼睛的拟定位置。
在步骤S6中，CPU24基于预存的面部器官模板来确定与眉毛、眼睛、鼻子和嘴的构造相对应的区域(即下文中所称的面部器官区域)，并确定在步骤S1中检测到的面部右轮廓和左轮廓(即CPU24作为面部器官区域设定装置)。
图9所示的面部器官模板给出了诸如眉毛、眼睛、鼻子和嘴之类的面部器官位置，并假定脸朝前时每个面部器官区域的比例。面部器官模板在将面部宽度定义为参考值100时定义了从面部中心至内眼角的长度a、从面部中心至外眼角的长度b、从眼的底部到眼的顶部的长度c、从眼的底部至嘴的底部的长度d及从面部的中心至嘴角的长度e。这里，每个长度按如下定义a＝10、b＝40、c＝30、d＝60及e＝30。这些长度是基于人的面部器官统计尺寸来确定的，而且这些不限定于前述值。
图10给出了人的面部器官的统计尺寸。当面部宽度定义为参考值为100时，按如下方式统计地定义面部器官尺寸从面部中心至内眼角的长度为10-20；从内眼角至外眼角的长度为15-25；从眼的底部到眉毛的顶部的长度为20-30；从眼的底部至嘴的底部的长度为40-60；从面部的中心至嘴角的长度为20-30。
因此，优选面部器官模板在该统计范围内制作。在给特定的单个对象定制面部器官模板的情况下，该面部器官模板的每个部分的长度不局限于该统计范围。
面部图像的大小可依据驾驶员与照相机10之间的距离而变化。由此，如图11所示，CPU24基于面部图像模板和面部的右轮廓及左轮廓来确定面部器官区域。然后，处理进行到步骤S7。
在步骤S7中，CPU24通过将面部器官区域和水平边直方图的多个峰值进行匹配来输出眼睛、鼻子和嘴的位置的检测结果(即拟定的眼睛位置)。
如图12A至12C所示，通过将拟定的眼睛位置和面部器官区域的眼睛位置进行匹配来确认面部器官区域是否处于正确位置。依据本发明的实施例，CPU24利用面部器官区域的对称性来确认面部器官区域的眼睛位置是否处于正确位置。也就是说，在假定水平边在面部器官区域内为对称时，为了计数水平边的点(points)，将面部器官区域的眼睛位置依次应用到眼睛拟定位置。当计数值为最大值时，对称度为最高，而且在该点(point)，面部器官区域的位置与实际的眼睛、鼻子和嘴的位置相吻合。
CPU24检测在面部器官区域内相对于对称轴对称的水平边，随后在检测水平边在右、左方向上的预定长度时来计数(count)点(point)。如果能够检测到对称延伸的对象，则代替检测预定长度的水平边，检测预定区域内的水平边即足够。
例如，如图13A所示，因为9个点对称，所以对称度(即计数值)等于九(9)。在图13B中，因为3个点对称，所以对称度等于三(3)。在此情况下，图13A中定位的面部器官区域与眼睛、鼻子和嘴的实际位置相吻合。
此外，在检测出面部器官区域的最佳位置后，CPU24可分别检测出眉毛、眼睛、鼻子和嘴在面部器官区域的每个位置作为眉毛、眼睛、鼻子和嘴的实际位置(即CPU24用作最佳位置检测装置)。
如前所述，依据本发明第一实施例的面部器官位置检测设备创建水平边直方图，该直方图反映了面部图像在水平方向上的水平边；将水平边直方图的各多个峰值设定为眼睛的拟定位置；且将眼睛的拟定位置与面部器官区域相匹配，从而检测出面部器官区域的最佳位置。由此，即使由于驾驶员戴着眼镜或头发挡在眼睛和眉毛上使得与眼睛相对应的水平边峰值不可能出现，但是由于将所述多个峰值设定为眼睛拟定位置以使其与面部器官区域匹配，所以该面部器官位置检测设备可以可靠地检测出面部器官的位置。
因为面部器官位置检测设备考虑了眉毛、眼睛、嘴等的水平边的对称性，所以在将眼睛拟定位置与面部器官区域相匹配时，可以不受噪声影响地检测出面部器官位置。
下面说明本发明的第二实施例。相同的附图标记表示与第一实施例中的器官相同，所以在此不再重复其说明。
步骤S6中确定的面部器官区域是在假定脸面朝前的情况下确定的。因此，当驾驶员将脸转向侧边时，不能像在步骤S6中一样应用所确定的面部器官区域。
如图14所示，当驾驶员将脸转向侧面时，面部器官区域的眉毛和眼睛在脸所转向的一侧上的宽度需要采用比眉毛和眼睛在另一侧的宽度窄的值。
即使例如如图14所示的脸转向侧面时，也可依据本发明的第二实施例来确定面部器官区域。假定面部具有圆柱形状，根据面部的转动方向(即，面部转角)可改变面部器官区域。
如图15所示，从上方观察人的头部时，诸如眼睛之类的面部器官位于圆柱上，如图15中的实线所示。将实线投影在图像的平面上，邻近面部轮廓的面部器官的宽度要比靠近面部中心的面部器官的宽度窄。
用于确定面部器官区域的角度设为θ1和θ2，面部器官绕垂直轴方向旋转的旋转角(即面部转角)设为θ3，面部宽度的一半设为r，当脸朝前时面部器官的宽度设为W1，当脸转向侧面时面部器官的宽度设为W2，并确定有如下关系W1＝r(sinθ2-sinθ1)W2＝r{sin(θ2+θ3)-sin(θ1+θ3)}在确定面部器官模板的同时，θ1和θ2的值可被唯一地确定，并且r为在步骤S2中检测出的面部右轮廓和左轮廓之间的长度的一半。
因此，当脸转向侧面时，CPU24可执行步骤6的下列计算。也就是说，如同本发明的第一实施例一样，在基于面部器官模板和面部右轮廓及左轮廓而确定了面部器官区域后，面部转角θ3被检测到，随后可基于转角θ3来计算面部器官宽度W2。除了步骤S6外的其他处理可如本发明第一实施例一样来进行。
虽然在前述说明中假定人的脸(头部)为圆形，但是可将人的脸假定为包括椭圆、球形和椭球形等在内的其它形状。通过研究头部的统计结构，可将研究的结构设为头部的形状。
图16给出了假定脸向右倾斜或向左倾斜时的面部器官区域。绕着在面部右轮廓和左轮廓中心处朝前延伸的轴来旋转头部，从而可依据旋转坐标系统来进行对称性的计算。
如前所述，采用依据本发明第二实施例的面部器官位置检测设备，可检测脸转向侧面的角度和脸的倾斜角，依据检测到的角度可确定面部器官区域，随后将所确定的面部器官区域和眼睛的拟定位置相互匹配，从而即使在脸转向侧面或脸向右倾斜或向左倾斜时，也可检测出面部器官位置的最佳位置。由此，如本发明的第一实施例一样，可以检测出包括眉毛、眼睛、鼻子和嘴在内的理想面部器官位置。
本发明不限于第一实施例和第二实施例，并在权利要求的范围内可以应用到其它设计。
例如，CPU24可读取存储在诸如磁盘或光盘之类的其它介质上的程序，而且可基于存储在其它介质而不是存储在ROM23上的程序来检测面部器官位置。
依据本发明的实施例，图像输入装置输入捕捉的面部图像。该图像不仅包括主观意义上的人的脸，还包括客观背景。
依据本发明的实施例，轮廓位置检测装置基于输入的图像来检测面部的右轮廓位置和左轮廓位置。由此，可检测出从面部的一端到面部的另一端的长度。
依据本发明的实施例，面部器官区域设定装置基于面部的右轮廓及左轮廓来设定面部器官区域，该面部器官区域表示存在面部器官的区域。因为从人的面部到用于捕捉面部图像的图像捕捉装置之间的距离不总是固定的，所以输入的面部图像尺寸不总是固定的。由此，面部器官区域设定装置基于面部的右轮廓和左轮廓位置来设定面部器官区域。
水平边检测装置检测输入图像中的水平边。水平边直方图创建装置通过将水平边投影到水平方向来创建水平边直方图。在水平边直方图中，依据在水平方向上的水平边的亮度而呈现峰值。
拟定位置设定装置将水平边直方图的多个峰值分别设定为多个拟定位置。水平边直方图的峰值给出了被照亮的水平边的位置，该位置很可能是诸如面部的眉毛、眼睛、鼻子和嘴等的面部器官所处的位置。由此，这些峰值被确定为面部器官区域最佳位置的拟定位置。
依据本发明的实施例，最佳位置检测装置通过基于设定的面部器官区域和每个拟定位置将面部器官区域与每个拟定位置进行匹配来检测面部器官区域的最佳位置。
利用依据本发明实施例的面部器官位置检测设备、方法及程序，能够基于设定的面部器官区域和每个拟定位置，可靠地检测面部器官位置并避免例如带着眼镜或头发挡在眼睛上之类的主观意义上的人的状态的影响。
权利要求
1.一种面部器官位置检测设备，其特征在于，包括图像输入装置，其用于输入捕捉的面部图像；轮廓位置检测装置，其用于基于该图像输入装置输入的图像来检测面部的右轮廓及左轮廓位置；面部器官区域设定装置，其用于基于该轮廓位置检测装置检测的面部右轮廓及左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域；水平边检测装置，其用于基于该图像输入装置输入的图像来检测水平边；水平边直方图创建装置，其用于通过将该水平边检测装置检测的水平边投影到水平方向来创建水平边直方图；拟定位置设定装置，其用于通过该水平边直方图创建装置将该水平边直方图的多个峰值分别设定为多个拟定位置；以及最佳位置检测装置，其用于基于该面部器官区域设定装置设定的面部器官区域和该拟定位置设定装置设定的每个拟定位置来检测面部器官区域的最佳位置。
2.如权利要求1所述的面部器官位置检测设备，其中，该最佳位置检测装置通过将面部器官区域依次应用到一个拟定位置来检测在面部器官区域内的水平边的对称性，并将具有最高对称度的拟定位置检测为面部器官区域的最佳位置。
3.如权利要求1所述的面部器官检测设备，还包括面部器官位置检测装置，其用于基于该最佳位置检测装置检测出的面部器官区域的最佳位置来检测面部的眉毛、眼睛、鼻子及嘴中的至少一个器官的位置。
4.如权利要求1所述的面部器官位置检测设备，其中，该面部器官区域设定装置通过按照绕面部器官的垂直轴旋转的旋转角调整相对于面部器官区域对称轴的第一侧的区域宽度和第二侧的区域宽度，来设定面部器官区域。
5.如权利要求1所述的面部器官位置检测设备，其中，该面部器官区域设定装置将面部器官区域设定为按照绕着在面部器官中心处朝前方向上的轴旋转的旋转角旋转。
6.如权利要求1所述的面部器官位置检测设备，还包括图像捕捉装置，其用于通过捕捉人的面部图像来创建图像，并将所捕捉的图像提供给该图像输入装置。
7.一种用于检测面部器官位置的方法，该方法包括如下步骤基于捕捉的面部图像来检测面部右轮廓位置及左轮廓位置；基于检测出的面部右轮廓位置及左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域；基于捕捉的图像来检测水平边；通过将检测出的水平边投影到水平方向来创建水平边直方图；将创建的水平边直方图的多个峰值分别设定为多个拟定位置；以及基于每个设定的拟定位置和设定的面部器官区域来检测面部器官区域的最佳位置。
8.如权利要求7所述的用于检测面部器官位置的方法，其中，通过将面部器官区域连续地依次应用到一个拟定位置来检测在面部器官区域内的水平边的对称性，并且将具有最高对称度的拟定位置检测为最佳面部器官位置。
9.如权利要求7所述的用于检测面部器官位置的方法，其中，基于检测出的面部器官区域的最佳位置来检测面部的眉毛、眼睛、鼻子及嘴中的至少一个器官的位置。
10.如权利要求7所述的用于检测面部器官位置的方法，其中，通过按照绕面部器官的垂直轴旋转的旋转角调整相对于面部器官区域对称轴的第一侧的区域宽度和第二侧的区域宽度，来设定面部器官区域。
11.如权利要求7所述的用于检测面部器官位置的方法，其中，面部器官区域被设定为按照绕着在面部器官中心处朝前方向的轴旋转的旋转角来旋转。
12.一种用于检测面部器官位置的程序，其使得计算机执行如下处理基于捕捉的面部图像检测面部右轮廓位置及左轮廓位置；基于检测出的面部器官右轮廓位置及左轮廓位置来设定面部器官区域，该面部器官区域表示存在面部器官的区域；基于捕捉的图像检测水平边；通过将检测出的水平边投影到水平方向来创建水平边直方图；将创建的水平边直方图的多个峰值分别设定为多个拟定位置；及基于每个设定的拟定位置和设定的面部器官区域来检测面部器官区域的最佳位置。
全文摘要
一种面部器官位置检测设备、方法及程序，该设备包括图像输入装置，用于输入捕捉的面部图像；轮廓位置检测装置，其基于图像来检测面部的右轮廓及左轮廓位置；面部器官区域设定装置，其基于面部器官的右轮廓及左轮廓来设定面部器官区域，该面部器官区域表示存在面部器官的区域；水平边检测装置，其基于图像输入装置输入的图像来检测水平边；水平边直方图创建装置，其通过将水平边投影到水平方向上来创建水平边直方图；拟定位置设定装置，其用于将水平边直方图的多个峰值分别设定为多个拟定位置；及最佳位置检测装置，其用于检测面部器官区域的最佳位置。
文档编号G06T7/60GK1741039SQ200510096559
公开日2006年3月1日 申请日期2005年8月26日 优先权日2004年8月27日
发明者安达省泰, 林健, 春日井纯也, 田中勇彦, 白木伸征, 安藤道则, 二宫芳树 申请人:爱信精机株式会社, 丰田自动车株式会社