专利名称：人脸图像的嘴部定位方法与装置、嘴形识别方法及系统的制作方法
技术领域：
本发明涉及图像处理与模式识别领域，特别涉及一种人脸图像的嘴部定位方法与装置、嘴形识别方法及系统。
背景技术：
随着社会对现代智能技术需求的日益增长，对人脸嘴部的状态进行侦测也正在成为一项具有重要意义的新兴研究课题。例如:在与生命息息相关的交通安全监控领域，如果能实现对司机驾驶的实时智能监控，并能在监控中对张嘴打呵欠的疲劳情况给予及时提醒，必将显著降低交通事故率；在表情识别技术领域中，嘴部的轮廓形状将是用作表情分类的一项重要特征；在针对聋哑人的唇语辅助识别技术领域中，嘴形的连续变化过程将会是对话语内容进行识别的基本依
据坐坐
J/Π，寸寸O而以上这一切所需解决的首要前提是:实现对嘴部的有效定位。传统的方法是预先对大量人脸图像中的肤色、唇色进行统计，并建立颜色分布模型，再基于所建立的颜色分布模型实现对输入的人脸图像的嘴部定位。然而，有些输入的人脸图像却存在偏色的情况，这将给通常所采取的预先统计建立颜色分布模型的方法带来较大的干扰，从而导致嘴部定位失效。为使在人脸图像存在偏色情况时嘴部定位依然有效，提出一种能精确定位彩色人脸图像嘴部的方法显得十分必要。相关技术还可参考公开号为CN 1710595A的中国专利申请，该专利申请公开了一种嘴角定位方法。
发明内容
本发明要解决的问题是提供一种人脸图像的嘴部定位方法，能有效地实现对人脸图像中的嘴部精确定位，从而有助于提高对嘴形识别的准确率。为解决上述问题，本发明技术方案提供一种人脸图像的嘴部定位方法，包括:对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从所述第一图像中提取出嘴部预估区域，获得第二图像；基于所述第一图像，建立人脸的肤色模型；将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像；对所述第三图像进行二值化处理，形成第五图像；将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；对所述第九图像进行数学形态学操作，形成第十一图像；基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。
可选的，从所述第一图像中提取出嘴部预估区域，获得第二图像包括从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿；从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿；沿上、下、左、右四个边沿裁剪出所述嘴部预估区域形成所述第二图像。可选的，所述基于所述第一图像，建立人脸的肤色模型包括将所述第一图像转换到亮度与色度分离的色彩空间；选取所述色彩空间中的色度分量，统计建立所述肤色模型。可选的，所述亮度与色度分离的色彩空间为Lab色彩空间。可选的，所述肤色模型为高斯模型。可选的，对所述第三图像进行二值化处理，形成第五图像包括对所述第三图像进行二值化操作后获得第四图像；判断所述第四图像中白色像素的个数是否大于第一阈值，是则对所述第四图像进行取反操作后输出所述第五图像，否则直接以第四图像作为所述第五图像输出；所述第一阈值按所述第四图像总像素个数乘以大于50%的比例进行设定。可选的，将所述第二图像基于色调分量形成第八图像包括将所述第二图像转换到具有色调分量的色彩空间；选取所述色调分量输出第六图像；对所述第六图像进行二值化处理，形成第八图像。可选的，所述具有色调分量的色彩空间为HSV色彩空间，所述色调分量为H分量。可选的，所述对所述第六图像进行二值化处理，形成第八图像包括对所述第六图像进行二值化操作后获得第七图像；判断所述第七图像中白色像素的个数是否大于第二阈值，是则对所述第七图像进行取反操作后输出所述第八图像，否则直接以第七图像作为所述第八图像输出；所述第二阈值按所述第七图像总像素个数乘以大于50%的比例进行设定。可选的，所述以所述第八图像对所述第五图像进行辅助检测，形成第九图像包括对于所述第五图像中的白色像素，若其在所述第八图像中相应像素的预定邻域中的像素均为黑色像素，则将所述第五图像中的该白色像素设置为黑色像素；遍历所述第五图像中的所有像素后，形成所述第九图像。可选的，对所述第九图像进行数学形态学操作，形成第十一图像包括对所述第九图像进行连通区标注，并保留面积最大的一个连通区，形成第十图像；对所述第十图像进行闭运算操作，形成所述第十一图像。可选的，所述基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置包括对所述第十一图像分别进行水平投影和垂直投影；自上向下以及自下向上逐行判断水平投影产生的投影值，若投影值超过第三阈值，则将所述投影值对应的位置分别作为所述嘴部区域的上边沿和下边沿；自左向右以及自右向左逐列判断垂直投影产生的投影值，若投影值超过第四阈值，则将所述投影值对应的位置分别作为所述嘴部区域的左边沿和右边沿；以上、下、左、右四个边沿确定人脸图像中嘴部区域的位置。可选的，所述第三阈值和第四阈值均为最大投影值的1% 5%。为解决上述问题，本发明技术方案还提供一种人脸图像的嘴形识别方法，包括以上述嘴部定位方法对输入的人脸图像的嘴部进行定位，并基于定位后确定的所述嘴部区域进行嘴形识别。为解决上述问题，本发明技术方案还提供一种人脸图像的嘴部定位装置，包括预处理单元，适于对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；提取单元，适于从所述第一图像中提取出嘴部预估区域，获得第二图像；肤色模型建立单元，适于基于所述第一图像，建立人脸的肤色模型；肤色概率计算单元，适于将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第二图像；第一二值化单元，适于对所述第三图像进行二值化处理，形成第五图像；色调辅助检测单元，适于将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；数学形态学操作单元，适于对所述第九图像进行数学形态学操作，形成第十一图像；投影定位单元，适于基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。为解决上述问题，本发明技术方案还提供一种嘴形识别系统，包括上述人脸图像的嘴部定位装置；识别单元，适于基于所述嘴部定位装置对输入的人脸图像的嘴部进行定位后确定的所述嘴部区域进行嘴形识别。与现有技术相比，本发明的技术方案具有以下优点通过对输入的人脸图像即时建立自适应肤色模型从而获得对应于该图像的肤色分布，然后提取出人脸图像的嘴部预估区域形成第二图像并向所述肤色模型进行投影以计算出肤色概率，从而获得第三图像，进而对所述第三图像进行二值化处理形成第五图像，与此同时将所述第二图像基于色调分量所形成的第八图像对所述第五图像进行辅助检测，继而再进行连通区保留、闭运算等一系列数学形态学操作，最后通过投影法来精确定位嘴部区域，从而能有效地实现人脸图像中的嘴部精确定位，由此还能提高对嘴形识别的准确率。其中，通过结合色调分量进行辅助检测能使二值化处理的结果更加精确，从而达到对所述人脸图像中嘴部区域更好的定位效果。
图1是本发明实施方式提供的人脸图像的嘴部定位方法的流程示意图；图2是提取嘴部预估区域的示意图；图3a至图13a是本发明实施例的人脸图像在未偏色情况下的嘴部定位的实际示例图；图3b至图13b是本发明实施例的人脸图像在第一种偏色情况下的嘴部定位的实际示例图；图3c至图13c是本发明实施例的人脸图像在第二种偏色情况下的嘴部定位的实际示例图；图3d至图13d是本发明实施例的人脸图像在第三种偏色情况下的嘴部定位的实际示例图；图14是本发明实施方式提供的人脸图像的嘴部定位装置的结构示意图。
具体实施例方式现有技术通常预先对大量人脸图像中的肤色、唇色进行统计，建立颜色分布模型，再基于所建立的颜色分布模型实现对输入的人脸图像的嘴部定位，然而，当输入的人脸图像存在偏色情况时，很可能会导致对人脸图像的嘴部定位失效，从而难以有效地实现对人脸图像中的嘴部精确定位，进而影响对嘴形识别的准确率。为此，本技术方案首先使用人眼定位技术对输入的人脸图像中双眼的位置进行定位，并基于定位后的结果对所述人脸图像进行几何校正，通过对输入的人脸图像即时建立自适应肤色模型从而获得对应于该图像的肤色分布，然后提取出预估的嘴部大致区域(嘴部预估区域)，再将嘴部预估区域所形成的图像(第二图像)向所述肤色模型进行投影从而获得概率分布图(第三图像)，进而对第三图像进行二值化处理，与此同时结合色调分量进行辅助检测，继而再进行连通区保留、闭运算等一系列数学形态学操作，最后通过投影法来精确定位嘴部区域，从而能有效地实现人脸图像中的嘴部精确定位，从而有助于提高对嘴形识别的准确率。本技术方案的优点是无需预先对肤色、唇色进行统计建模，而是对输入的人脸图像即时自适应建模，从而不会受到图像偏色对嘴部定位的影响，在提升了嘴部定位结果可靠性的同时，也增强了算法的灵活性。为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式
做详细的说明。在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式
的限制。图1是本发明实施方式提供的人脸图像的嘴部定位方法的流程示意图。如图1所示，所述人脸图像的嘴部定位方法包括步骤S101，对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；步骤S102，从所述第一图像中提取出嘴部预估区域，获得第二图像；步骤S103，基于所述第一图像，建立人脸的肤色模型；步骤S104，将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第二图像；步骤S105，对所述第三图像进行二值化处理，形成第五图像；步骤S106，将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；步骤S107，对所述第九图像进行数学形态学操作，形成第十一图像；步骤S108，基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。图3a至图13a是本发明实施例的人脸图像在未偏色情况下的嘴部定位的实际示例图。下面结合图1以及图3a至图13a，以具体实施例对上述人脸图像的嘴部定位方法作详细说明。首先，执行步骤S101，对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像。本实施例中，输入的人脸图像为彩色人脸图像，在具体实施时，也可将输入的彩色人脸图像转为灰度图像后，再进行双眼检测定位以及几何校正，当然，步骤SlOl后所形成的所述第一图像仍然为彩色人脸图像。本实施例中，对输入的人脸图像进行两点(双眼)检测定位，可采用现有技术中任意一种人眼定位方法，例如AdaBoost方法、人工神经网络法、模板匹配法、灰度投影法等等。至于各种人眼定位技术为本领域技术人员所公知，在此不再赘述。步骤SlOl是对输入的人脸图像进行预处理的过程。对于各种人脸识别的方法，人脸图像的标准化都是很重要的，对最终的识别结果也有着直接的影响。这里的标准化主要是指在各幅人脸图像中，人脸的关键部位在图像中的相对位置是否一致。由于通常是利用整幅图像的信息进行人脸识别的，对于不经过任何处理的原始图像，人脸部位在图像中的位置可能存在偏移，这会影响人脸的正确识别。特别地，本发明实施例是对人脸图像的嘴部进行定位，如果人脸部位在图像中的位置不准确势必会影响嘴部定位，所以需要对输入的人脸图像进行几何校正，以使不同输入情况下的人脸图像最后都归一到同样的尺寸，并且人脸关键部位也尽量保持一致。几何校正主要包括缩放、旋转、翻转。缩放就是把原始图像中包含的人脸缩放到统一的尺寸，其依据是双眼的坐标关系(通过上述人眼定位技术获得)。人眼是人面部很重要的一个部件，通过缩放处理来保证双眼间距离的相同，从而其他部位如鼻、嘴、脸颊等位置也都保持在相对标准的位置。旋转就是把原始图像中人脸图像进行平面内的旋转处理，主要目的是使两眼之间的连线保持在水平的位置。翻转主要是考虑到有的人脸图像可能存在上下颠倒的问题，便可以通过翻转来进行纠正，以使目标图像中的人脸保持正面。因为本发明实施方式所述的人脸图像的嘴部定位方法具体是对输入的人脸图像中的嘴部区域进行定位，为了便于后续步骤能够较为准确地提取出嘴部预估区域，本实施例中，所述几何校正主要是通过旋转的方式对输入的人脸图像进行的水平校正，即采用人眼定位技术获得双眼的位置(坐标)后，以双眼连线为基准对姿态不正的人脸图像进行水平校正。通过步骤SlOl对输入的人脸图像进行预处理，并输出第一图像后，执行步骤S102，从所述第一图像中提取出嘴部预估区域，获得第二图像。本实施例中，步骤S102具体可包括步骤S102a，从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿；步骤S102b，从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿；
步骤S102c，从所述第一图像中，沿步骤S102a、步骤S102b所确定的上、下、左、右四个边沿裁剪出所述嘴部预估区域，形成所述第二图像。图2是提取嘴部预估区域的示意图。参阅图2，该图为对输入的人脸图像进行预处理之后获得的第一图像的示意图，图中示出了人脸图像中的面部主要部位，如眼、鼻、嘴、脸颊等。假设所述第一图像的宽度为W，高度为h，本实施例中，确定嘴部预估区域时，从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿，即如图2所示，所述嘴部预估区域的左边沿与所述第一图像的左边沿之间的距离为O. 25w，所述嘴部预估区域的右边沿与所述第一图像的右边沿之间的距离为O. 25w(即所述嘴部预估区域的右边沿与所述第一图像的左边沿之间的距离为O. 75w,图中未标示)；从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿，即如图2所示，所述嘴部预估区域的上边沿与所述第一图像的下边沿之间的距离为O. 35h(即所述嘴部预估区域的上边沿与所述第一图像的上边沿之间的距离为O. 65h，图中未标示)，所述嘴部预估区域的下边沿与所述第一图像的下边沿重合。确定所述嘴部预估区域的上、下、左、右四个边沿后，便能确定出所述嘴部预估区域，如图2中虚线框所示矩形区域即为所述嘴部预估区域。所述嘴部预估区域界定出了人脸图像中嘴部所在的大致区域，能够初步划定嘴部所处的范围，由此能更有针对性地精确确定出嘴部的具体位置，不仅能使后续对嘴部区域定位更为准确，也减小了后续步骤对嘴部区域进行定位时的计算量。需要说明的是，本实施例所述嘴部预估区域的上、下、左、右四个边沿是根据实际经验确定的，既要确保嘴部落在所述嘴部预估区域的范围内，又不能使所述嘴部预估区域的范围太大从而影响定位的准确性以及增大定位时的计算量。在其他实施例，也可采取其他标准确定嘴部预估区域的上、下、左、右四个边沿，例如，可使所述嘴部预估区域的左边沿与所述第一图像的左边沿之间的距离为O. 2w，所述嘴部预估区域的右边沿与所述第一图像的右边沿之间的距离为O. 2w，所述嘴部预估区域的上边沿与所述第一图像的下边沿之间的距离为O. 4h，所述嘴部预估区域的下边沿与所述第一图像的下边沿重合，这样确定的嘴部预估区域相对于本实施所确定的嘴部预估区域范围更大，能保证嘴部落在所述嘴部预估区域的范围内，但后续对嘴部区域进行精确定位时的计算量也会相对较大。在第一图像中，裁剪出所获得的嘴部预估区域，由所述嘴部预估区域形成第二图像后，便完成了对嘴部预估区域的提取。图3a是第二图像的一个具体示例。如图3a所示，提取出的嘴部预估区域中主要包括人脸的嘴部、下巴以及部分脸颊等，通过提取出的嘴部预估区域，基本确定嘴部的大致范围，为了能够实现嘴部的精确定位，接下来所面临的就是肤色、唇色两类区分的问题，因此还需要对第二图像进行一系列的处理，通过肤色与唇色的区分确定第二图像中嘴部轮廓。通过步骤SlOl形成所述第一图像后，还需要执行步骤S103，基于所述第一图像，建立人脸的肤色模型。需要说明的是，步骤S103需基于步骤SlOl形成的第一图像才能执行，因此步骤S103是在步骤SlOl之后执行的，但是步骤S102与步骤S103的执行顺序则并无先后之分，可以先执行步骤S102后执行步骤S103，也可以先执行步骤S103后执行步骤S102，还可以将步骤S102、步骤S103同时执行。本实施例中，步骤S103具体的建模方法如下
步骤S103a，将所述第一图像转换到亮度与色度分离的色彩空间；步骤S103b，选取所述色彩空间中的色度分量，统计建立所述肤色模型。由于日常使用的CCD (Charged Coupled Device,电荷f禹合器件)图像采集设备直接感知的是RGB (红绿蓝)分量，然而从RGB值中很难知道所表示的颜色认知属性，且各分量都包含亮度信息也给图像处理和压缩带来了困难，所以，通常的做法是将图像从RGB空间转换到一个亮度与色度分离的色彩空间(颜色空间)以获得较好的聚类特性。本实施例中，所述亮度与色度分离的色彩空间为Lab色彩空间，即选择Lab色彩空间来建立所述肤色模型，因为Lab色彩空间是CIE(国际照明委员会)推荐的均匀色彩空间，它由亮度通道L和颜色通道a、b组成，a通道表示从红色至绿色的范围，b通道表示从蓝色至黄色的范围。该色彩空间与人们对颜色的感知非常接近，且不同颜色间的距离可以直接使用欧式距离来进行衡量。在其他实施例中，所述亮度与色度分离的色彩空间也可以为YCbCr色彩空间，其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。一般肤色模型大致可区分为两类:参数式模型(Parametric)与非参数式模型(Non-parametric)，其两者在肤色样本训练所需的计算时间以及参数的储存空间上都有很大差异。参数式肤色模型例如高斯模型(GM, Gaussian Model)、高斯混合模型(GaussianMixture Model)、椭圆边界肤色模型(Elliptic boundary model)等；非参数式肤色模型例如贝氏分类器(Bayes classifier) > Normalized Lookup Table (NLUT)、Self-OrganizingMap(SOM)等。本实施例中，建立的所述肤色模型为参数式肤色模型中的高斯模型。具体地，将所述第一图像转换到Lab色彩空间后，选取a、b分量统计建立肤色二维高斯模型Ν(μ，σ),其中，μ为该模型的均值参数，σ为该模型的标准差参数。由于肤色占据了所述第一图像的绝大部分，所以建立的模型总体上反映的是肤色分布，而嘴唇、眼睛、眉毛等由于占据的面积比例明显比肤色面积小许多，所以这部分像素在肤色建模过程中起到的只是噪声的作用，不会改变肤色的整体分布。需要说明的是，步骤S103并非如现有技术中常用的预先对肤色、唇色进行统计建模，而是对每一幅输入的人脸图像即时自适应建模，即所建立的模型的参数根据输入的人脸图像的色彩的不同而相应变化，从而不会受到图像偏色对嘴部定位的影响，能提升后续嘴部定位结果的可靠性，还增强了算法的灵活性。完成步骤S102、步骤S103之后，为了实现第二图像中肤色与唇色的区分，执行步骤S104，将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像。步骤S104是对所述第二图像的每个像素点进行肤色侦测从而获得肤色概率分布图的过程。肤色侦测最主要是要藉由肤色模型来判断所测的像素点是否为肤色点，由于肤色概率分布可视为常态分布(Normal Distribution),故本实施例中对肤色建立了高斯模型来逼近其肤色概率分布，通过向该模型投影即可计算出像素点对应的肤色概率值。具体地，每个像素点的肤色概率值P可按如下公式计算，即实现每个像素点向所述肤色模型投影:其中，d为向量维数,本实施例中，d = 2 ;X 为建模向量，X= (a, b)；
μ为向量均值
权利要求
1.一种人脸图像的嘴部定位方法，其特征在于，包括: 对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像； 从所述第一图像中提取出嘴部预估区域，获得第二图像； 基于所述第一图像，建立人脸的肤色模型； 将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像； 对所述第三图像进行二值化处理，形成第五图像； 将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像； 对所述第九图像进行数学形态学操作，形成第十一图像； 基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的·位置。
2.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，从所述第一图像中提取出嘴部预估区域，获得第二图像包括: 从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿； 从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿； 沿上、下、左、右四个边沿裁剪出所述嘴部预估区域形成所述第二图像。
3.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，所述基于所述第一图像，建立人脸的肤色模型包括: 将所述第一图像转换到亮度与色度分离的色彩空间； 选取所述色彩空间中的色度分量，统计建立所述肤色模型。
4.根据权利要求3所述的人脸图像的嘴部定位方法，其特征在于，所述亮度与色度分离的色彩空间为Lab色彩空间。
5.根据权利要求1或3或4所述的人脸图像的嘴部定位方法，其特征在于，所述肤色模型为高斯模型。
6.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，对所述第三图像进行二值化处理，形成第五图像包括: 对所述第三图像进行二值化操作后获得第四图像； 判断所述第四图像中白色像素的个数是否大于第一阈值，是则对所述第四图像进行取反操作后输出所述第五图像，否则直接以第四图像作为所述第五图像输出； 所述第一阈值按所述第四图像总像素个数乘以大于50%的比例进行设定。
7.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，将所述第二图像基于色调分量形成第八图像包括: 将所述第二图像转换到具有色调分量的色彩空间； 选取所述色调分量输出第六图像； 对所述第六图像进行二值化处理，形成第八图像。
8.根据权利要求7所述的人脸图像的嘴部定位方法，其特征在于，所述具有色调分量的色彩空间为HSV色彩空间，所述色调分量为H分量。
9.根据权利要求7所述的人脸图像的嘴部定位方法，其特征在于，所述对所述第六图像进行二值化处理，形成第八图像包括: 对所述第六图像进行二值化操作后获得第七图像； 判断所述第七图像中白色像素的个数是否大于第二阈值，是则对所述第七图像进行取反操作后输出所述第八图像，否则直接以第七图像作为所述第八图像输出； 所述第二阈值按所述第七图像总像素个数乘以大于50%的比例进行设定。
10.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，所述以所述第八图像对所述第五图像进行辅助检测，形成第九图像包括: 对于所述第五图像中的白色像素，若其在所述第八图像中相应像素的预定邻域中的像素均为黑色像素，则将所述第五图像中的该白色像素设置为黑色像素； 遍历所述第五图像中的所有像素后，形成所述第九图像。
11.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，对所述第九图像进行数学形态学操作，形成第十一图像包括:· 对所述第九图像进行连通区标注，并保留面积最大的一个连通区，形成第十图像； 对所述第十图像进行闭运算操作，形成所述第十一图像。
12.根据权利要求1所述的人脸图像的嘴部定位方法，其特征在于，所述基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置包括: 对所述第十一图像分别进行水平投影和垂直投影； 自上向下以及自下向上逐行判断水平投影产生的投影值，若投影值超过第三阈值，则将所述投影值对应的位置分别作为所述嘴部区域的上边沿和下边沿； 自左向右以及自右向左逐列判断垂直投影产生的投影值，若投影值超过第四阈值，则将所述投影值对应的位置分别作为所述嘴部区域的左边沿和右边沿； 以上、下、左、右四个边沿确定人脸图像中嘴部区域的位置。
13.根据权利要求12所述的人脸图像的嘴部定位方法，其特征在于，所述第三阈值和第四阈值均为最大投影值的1% 5%。
14.一种人脸图像的嘴形识别方法，其特征在于，以权利要求1至13任一项所述的嘴部定位方法对输入的人脸图像的嘴部进行定位，并基于定位后确定的所述嘴部区域进行嘴形识别。
15.一种人脸图像的嘴部定位装置，其特征在于，包括: 预处理单元，适于对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像； 提取单元，适于从所述第一图像中提取出嘴部预估区域，获得第二图像； 肤色模型建立单元，适于基于所述第一图像，建立人脸的肤色模型； 肤色概率计算单元，适于将所述第二图像向所述肤色模型进行投影以计算出肤色概率，获得第二图像； 第一二值化单元，适于对所述第三图像进行二值化处理，形成第五图像； 色调辅助检测单元，适于将所述第二图像基于色调分量形成第八图像，并以所述第八图像对所述第五图像进行辅助检测，形成第九图像；数学形态学操作单元，适于对所述第九图像进行数学形态学操作，形成第十一图像；投影定位单元，适于基于所述第十一图像，分别以水平投影和垂直投影确定输入的人脸图像中嘴部区域的位置。
16.根据权利要求15所述的人脸图像的嘴部定位装置，其特征在于，所述提取单元包括: 第一边沿确定单元，适于从左至右以所述第一图像宽度的25%处作为所述嘴部预估区域的左边沿，以所述第一图像宽度的75%处作为所述嘴部预估区域的右边沿；从上至下以所述第一图像高度的65%处作为所述嘴部预估区域的上边沿，以所述第一图像的下边沿作为所述嘴部预估区域的下边沿； 裁剪单元，适于沿所述第一边沿确定单元所确定的上、下、左、右四个边沿裁剪出所述嘴部预估区域形成所述第二图像。
17.根据权利要求15所述的人脸图像的嘴部定位装置，其特征在于，所述肤色模型建立单元包括: 第一转换单元，适于将所述第一图像转换到亮度与色度分离的色彩空间； 统计建立模型单元，适于选取所述色彩空间中的色度分量，统计建立所述肤色模型。
18.根据权利要求1·7所述的人脸图像的嘴部定位装置，其特征在于，所述亮度与色度分离的色彩空间为Lab色彩空间。
19.根据权利要求15或17或18所述的人脸图像的嘴部定位装置，其特征在于，所述肤色模型为高斯模型。
20.根据权利要求15所述的人脸图像的嘴部定位装置，其特征在于，所述第一二值化单元包括: 第一二值化操作单元，适于对所述第三图像进行二值化操作后获得第四图像； 第一判断单元，适于判断所述第四图像中白色像素的个数是否大于第一阈值； 第一输出单元，适于当所述第一判断单元的判断结果为是则对所述第四图像进行取反操作后输出所述第五图像，否则直接以第四图像作为所述第五图像输出； 所述第一阈值按所述第四图像总像素个数乘以大于50%的比例进行设定。
21.根据权利要求15所述的人脸图像的嘴部定位装置，其特征在于，所述色调辅助检测单元包括: 第二转换单元，适于将所述第二图像转换到具有色调分量的色彩空间； 第三输出单元，适于选取所述色调分量输出第六图像； 第二二值化单元，适于对所述第六图像进行二值化处理，形成第八图像； 设置单元，适于对于所述第五图像中的白色像素，若其在所述第八图像中相应像素的预定邻域中的像素均为黑色像素，则将所述第五图像中的该白色像素设置为黑色像素，遍历所述第五图像中的所有像素后，形成所述第九图像。
22.根据权利要求21所述的人脸图像的嘴部定位装置，其特征在于，所述具有色调分量的色彩空间为HSV色彩空间，所述色调分量为H分量。
23.根据权利要求21所述的人脸图像的嘴部定位装置，其特征在于，所述第二二值化单元包括: 第二二值化操作单元，适于对所述第六图像进行二值化操作后获得第七图像；第二判断单元，适于判断所述第七图像中白色像素的个数是否大于第二阈值； 第二输出单元，适于当所述第二判断单元的判断结果为是则对所述第七图像进行取反操作后输出所述第八图像，否则直接以第七图像作为所述第八图像输出； 所述第二阈值按所述第七图像总像素个数乘以大于50%的比例进行设定。
24.根据权利要求15所述的人脸图像的嘴部定位装置，其特征在于，所述数学形态学操作单元包括: 连通区处理单元，适于对所述第九图像进行连通区标注，保留面积最大的一个连通区，形成第十图像； 闭运算操作单元，适于对所述第十图像进行闭运算操作，形成所述第十一图像。
25.根据权利要求15所述的人脸图像的嘴部定位装置，其特征在于，所述投影定位单元包括: 投影单元，适于对所述第十一图像分别进行水平投影和垂直投影； 第二边沿确定单元，适于自上向下以及自下向上逐行判断水平投影产生的投影值，若投影值超过第三阈值，则将·所述投影值对应的位置分别作为所述嘴部区域的上边沿和下边沿；还适于自左向右以及自右向左逐列判断垂直投影产生的投影值，若投影值超过第四阈值，则将所述投影值对应的位置分别作为所述嘴部区域的左边沿和右边沿； 定位单元，适于以上、下、左、右四个边沿确定人脸图像中嘴部区域的位置。
26.根据权利要求25所述的人脸图像的嘴部定位装置，其特征在于，所述第三阈值和第四阈值均为最大投影值的1% 5%。
27.一种人脸图像的嘴形识别系统，其特征在于，包括:权利要求15至26任一项所述的人脸图像的嘴部定位装置；识别单元，适于基于所述嘴部定位装置对输入的人脸图像的嘴部进行定位后确定的所述嘴部区域进行嘴形识别。
全文摘要
人脸图像的嘴部定位方法与装置、嘴形识别方法及系统，所述嘴部定位方法包括对输入的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从第一图像中提取出嘴部预估区域，获得第二图像；基于第一图像，建立人脸的肤色模型；将第二图像向所述肤色模型进行投影以计算出肤色概率，获得第三图像；对第三图像进行二值化处理，形成第五图像；将第二图像基于色调分量形成第八图像，以第八图像对第五图像进行辅助检测，形成第九图像；对第九图像进行数学形态学操作，形成第十一图像；基于第十一图像，分别以水平投影和垂直投影来确定输入的人脸图像中嘴部区域的位置。本技术方案能有效实现嘴部精确定位。
文档编号G06K9/00GK103077368SQ201110328138
公开日2013年5月1日 申请日期2011年10月25日 优先权日2011年10月25日
发明者王晓平, 曾文斌, 赵文忠 申请人:上海银晨智能识别科技有限公司