基于双色彩空间的嘴唇检测方法与流程

本发明涉及一种数字图像处理和模式识别技术领域的方法，具体地说，是一种基于双色彩空间的嘴唇检测方法。

背景技术：
嘴唇检测在生物识别领域（如人脸识别、唇读）有着广泛的应用,它是系统功能实现的第一步，也是重要的一步。一般要求嘴唇检测算法不仅要保证不同环境下的分割有效性，还要兼顾计算高效性。目前，嘴唇检测主要有基于颜色空间的方法和基于嘴唇纹理模型的方法，利用像素R、G、B分量的关系进行肤色与唇色分割的方法计算速度快，但是对于光源不稳定的情况分割效果差，无法适应光线不稳定的情况；依据唇部纹理特征进行唇部分割的方法存在适用环境单一的缺点；用AdaBoost算法进行嘴唇区域的框定的方法得到的矩形区域粗略，不能体现唇部的细节信息；还有一种基于模型特征的主动变形模板方法，它基于灰度图像对嘴唇进行分割，这种方法虽然鲁棒性好，但是应用的初始条件以及能量函数的选取严格，速度慢。

技术实现要素：
基于此，有必要提供一种不受环境光照影响的基于双色彩空间的嘴唇检测方法。一种基于双色彩空间的嘴唇检测方法，包括：提取嘴唇像素：采用下述级联式唇色滤波器进行唇色级联滤波：cb*(cb&y)>cr*(g&cr)(r*b-y)(r*g+y-255)>r*b*g*y(r2+b*y)*y>(y2+r*g)*gr*cb*cr*(cb&cr)>C*b*y*(b⊕g)其中，r、g、b、y、cb、cr分别为RGB、YCbCr色彩空间的六个分量；C为常量；*为数值运算符，表示前后两元素相乘；&为逻辑运算符，表示前后两元素按位相与；⊕为逻辑运算符，表示前后两元素按位异或；过滤不满足上述判定式的像素，提取嘴唇像素以进行下一步处理。在优选的实施例中，还包括：计算嘴唇中心位置：根据提取出的嘴唇像素点计算嘴唇的中心位置a的坐标(xa,ya)：其中，xi、yi为嘴唇像素点的横、纵坐标，N为嘴唇像素个数；计算嘴唇特征点的位置：以嘴唇中心位置为基准将唇部区域旋转划分子区域，并将旋转划分的子区域内嘴唇像素的平均位置点作为嘴唇特征点；其中，为bm的横、纵坐标；为子区域m内嘴唇像素的横、纵坐标；Nm为子区域m内嘴唇像素的个数；局部二值化：根据嘴唇特征点将唇部区域横向划分子区域，并依据亮度对该横向划分所得子区域做二值化处理，横向划分的子区域中亮度小于子横向划分的区域二值化阈值的像素标记为嘴唇像素，横向划分的子区域二值化阈值：其中yi为子区域像素i的亮度,by为子区域特征点的亮度，N为子区域像素个数。在优选的实施例中，还包括：嘴唇区域定限分离:在局部二值化处理后的唇部二值图像基础上对嘴唇像素做横向投影统计，利用统计结果计算嘴唇区域的纵向限度，并将纵向限度范围外的像素判定为非嘴唇像素去除，嘴唇区域纵向限度其中K为子区域特征点到中心点的纵向距离，H为子区域的高度，ci为累计嘴唇像素数目。在优选的实施例中，还包括：局部亮度一致性滤波：对横向划分的子区域中的嘴唇像素进行亮度检测，去除其中与该横向划分的子区域特征点的亮度差异大于一致性阈值的像素。在优选的实施例中，还包括：调整嘴唇特征点的位置：基于嘴唇形态的对称性，对嘴唇特征点进行调整。在优选的实施例中，还包括：调整嘴唇特征点的位置：基于嘴唇形态的左右对称性，对嘴唇特征点进行调整；对于处于在一条横线上的嘴唇特征点，将两者的纵坐标取平均值调整；对于唇尖的嘴唇特征点，将两者的横坐标取平均值调整：对于嘴角的嘴唇特征点的横坐标进行调整：在该嘴唇特征点的原横坐标基础上增加该嘴唇特征点横坐标与相邻点横坐标的差值的平均值进行调整。在优选的实施例中，所述提取嘴唇像素前还包括：图像预处理：对唇部图像在进行YCbCr空间下的亮度分量y的直方图均衡。在优选的实施例中，所述亮度分量y的直方图均衡包括：对唇部图像像素进行逐一扫描，统计出亮度分量分布直方图n(yk)-yk，即每一个亮度值yk与对应该亮度值yk的像素个数n(yk)之间的对应关系；对每个亮度值进行变换：其中，yk'亮度值变换结果，n为识别区域像素个数，L为区域亮度等级。对以上变换结果值进行调整：ykhe=round[yk'.{max(Y)-min(Y)}+min(Y)]其中ykhe是所需的均衡化亮度，round是取整操作；max(Y)是均衡化量度最大值。在优选的实施例中，所述计算嘴唇特征点的位置还包括：以嘴唇中心位置a为基准，将唇部区域旋转划分为八个子区域，并将旋转划分的子区域内嘴唇像素的平均位置点作为嘴唇特征点，记为b0、b1、b2、b3、b4、b5、b6、b7，嘴唇特征点bm(m=0,1,…,7)的位置：其中，为bm的横、纵坐标，为旋转划分的子区域m内嘴唇像素的横、纵坐标，Nm为子区域m内嘴唇像素的个数；所述局部二值化还包括：根据嘴唇特征点将唇部区域横向划分为六个子区域，并依据亮度分量对每个横向划分的子区域做二值化处理，横向划分的子区域中亮度值小于横向划分的子区域二值化阈值的像素被标记为嘴唇像素，横向划分的子区域二值化阈值：其中，byi为横向划分的子区域特征点i的亮度，yi为横向划分的子区域像素i的亮度；Hi与Wi为横向划分的子区域i的高度和宽度。在优选的实施例中，所述嘴唇区域定限分离还包括:在局部二值化处理后的唇部二值图像基础上分别对横向划分的第二子区域、第六子区域与第三子区域、第五子区域对嘴唇像素做横向投影统计，利用统计结果计算嘴唇区域的纵向限度，并将纵向限度范围外的像素判定为非嘴唇像素去除，嘴唇区域纵向限度LHup、LHdw如下：其中，Hup、Hdw为横向划分的第一子区域、第四子区域的高度，Kup为横向划分的第一区域特征点b0到嘴唇中心位置或中心点a的纵向距离，Kdw为横向划分的第四区域特征点b4到嘴唇中心位置或中心点a的纵向距离，ci为横向划分的子区域横向投影时第i条水平线上的累计嘴唇像素数目。在优选的实施例中，所述调整嘴唇特征点的位置：基于嘴唇形态的对称性，对旋转划分的八个子区域的8个特征点位置进行调整：其中，为特征点b2原来的横、纵坐标值，为特征点b2调整之后的横、纵坐标值；yb3为特征点b3原来的横、纵坐标值，为特征点b3调整之后的横、纵坐标值。上述的基于双色彩空间的嘴唇检测方法，利用RGB和YCbCr空间中8个色彩分量之间的算术、逻辑运算构建嘴唇像素判定条件，进行判定；四组级联式唇色滤波器的判定式是在大量实验的基础上确定的，效果明显，功能互补，较传统方法，本发明所用嘴唇像素判定方法具有处理速度快，资源占用少的特点，最重要的是，在不同光照情况下（如亮度变动、分布不均匀等）对非嘴唇像素（口腔、皮肤、牙齿、胡须）有更好的滤除效果，可以提取出可靠的嘴唇像素。附图说明图1为本发明一实施例的基于双色彩空间的嘴唇检测方法的流程图；图2为本发明一优选实施例的基于双色彩空间的嘴唇检测方法的流程图；图3为本发明一实施例的唇部区域旋转划分示意图；图4为本发明一实施例的唇部区域横向划分示意图；图5a为利用本发明一实施例的基于双色彩空间的嘴唇检测方法在不均匀强光环境下嘴唇检测结果；如图5b所示，为利用本发明一实施例的基于双色彩空间的嘴唇检测方法在不均匀弱光环境下嘴唇检测结果；图6为本发明一实施例的嘴唇坐标系；图7为本发明另一实施例的嘴唇坐标系。具体实施方式如图1所示，本发明一实施例的基于双色彩空间的嘴唇检测方法，包括：步骤S303,提取嘴唇像素。步骤S303，提取嘴唇像素采用下述级联式唇色滤波器进行唇色级联滤波：cb*(cb&y)>cr*(g&cr)(r*b-y)(r*g+y-255)>r*b*g*y(r2+b*y)*y>(y2+r*g)*gr*cb*cr*(cb&cr)>C*b*y*(b⊕g)其中，r、g、b、y、cb、cr分别为RGB、YCbCr色彩空间的六个分量；C为常量；*为数值运算符，表示前后两元素相乘；&为逻辑运算符，表示前后两元素按位相与；⊕为逻辑运算符，表示前后两元素按位异或；过滤不满足上述判定式的像素，提取嘴唇像素以进行下一步处理。进一步，本实施例的基于双色彩空间的嘴唇检测方法，还包括：步骤S305，计算嘴唇中心位置：根据提取出的嘴唇像素点计算嘴唇的中心位置a的坐标(xa,ya)：其中，xi、yi为嘴唇像素点的横、纵坐标，N为嘴唇像素个数。步骤S307，计算嘴唇特征点的位置：以嘴唇中心位置为基准将唇部区域旋转划分子区域，并将旋转划分的子区域内嘴唇像素的平均位置点作为嘴唇特征点；其中，为bm的横、纵坐标；为子区域m内嘴唇像素的横、纵坐标；Nm为子区域m内嘴唇像素的个数。本实施例中，以嘴唇中心位置为基准将唇部区域旋转划分子区域时，根据嘴唇唇形具有横向左右对称的特性，选用能旋转得到横向对称分布特征点的子区域进行旋转划分；同时，嘴角和唇尖（如图6及图7所示的b2、b6、b60、b4）作为一定要提取的最重要的嘴唇特征进行提取。步骤S309，局部二值化：根据嘴唇特征点将唇部区域横向划分子区域，并依据亮度对该横向划分所得子区域做二值化处理，横向划分的子区域中亮度小于子横向划分的区域二值化阈值的像素标记为嘴唇像素，横向划分的子区域二值化阈值：其中yi为子区域像素i的亮度,by为子区域特征点的亮度，N为子区域像素个数。进一步，本实施例的基于双色彩空间的嘴唇检测方法，还包括：步骤S311，嘴唇区域定限分离:在局部二值化处理后的唇部二值图像基础上对嘴唇像素做横向投影统计，利用统计结果计算嘴唇区域的纵向限度，并将纵向限度范围外的像素判定为非嘴唇像素去除，嘴唇区域纵向限度其中：K为子区域特征点到中心点的纵向距离，H为子区域的高度，ci为累计嘴唇像素数目。进一步，本实施例的基于双色彩空间的嘴唇检测方法，还包括：步骤S313，局部亮度一致性滤波：对横向划分的子区域中的嘴唇像素进行亮度检测，去除其中与该横向划分的子区域特征点的亮度差异大于一致性阈值的像素。本实施例中的一致性阈值可通过实验获得，可选取通过判定式对非嘴唇像素滤除效果最好，同时能保证唇形完整的数值。由于实际获得的嘴唇特征点位置可能存在误差，需要进行调整。进一步，本实施例的基于双色彩空间的嘴唇检测方法，还包括：步骤S308，调整嘴唇特征点的位置：基于嘴唇形态的对称性，对旋转划分的子区域的嘴唇特征点进行调整。如图6所示，嘴唇特征点位置的调整根据理想特征点的横向对称分布性质进行。如图6所示，针对处于在一条横线上的嘴唇特征点，如图7所示的b1、b7，将纵坐标进行均衡调整，即取两者的平均值又如处于在一条横线上的嘴唇特征点b3、b5，将两者的纵坐标进行平均值调整另又如处于在一条横线上的嘴唇特征点b2、b6，将两者的纵坐标进行平均调整对于唇尖的嘴唇特征点b0、b4，将两者的横坐标值进行平均调整：如图6所示，两嘴角的嘴唇特征点b2、b6需要适当向外张，根据实验可选择：根据分别与嘴角的嘴唇特征点b2、b6相邻的两个嘴唇特征点（b1、b3）、（b7、b5）进行扩张调整。在一优选的实施例中，对于嘴角的嘴唇特征点的横坐标进行调整：在该嘴唇特征点的原横坐标基础上增加该嘴唇特征点横坐标与相邻点横坐标的差值的平均值进行调整：如图7所示，本发明另一实施例的旋转划分子区域获取嘴唇特征点，当旋转划分的子区域个数多于8个时，根据上述方法进行调整。如图7所示，对新增的嘴唇特征点做如下调整：处于在一条横线上的嘴唇特征点b8、b9，将两者的纵坐标进行平均值调整：处于在一条横线上的嘴唇特征点b10、b11，将两者的纵坐标进行平均值调整：进一步，本实施例的基于双色彩空间的嘴唇检测方法，还包括：设置在在提取嘴唇像素前的步骤S301，图像预处理：对唇部图像在进行YCbCr空间下的亮度分量y的直方图均衡。本实施例中，对唇部图像在进行YCbCr空间下的亮度分量y的直方图均衡包括：对唇部图像像素进行逐一扫描，统计出亮度分量分布直方图n(yk)-yk，每一个亮度值yk与拥有该亮度的像素个数n(yk)之间的对应关系；对每个亮度值进行变换：其中，yk'亮度值变换结果，n为唇部图像像素个数，L为唇部图像亮度等级。对以上变换结果值进行调整：ykhe=round[yk'.{max(Y)-min(Y)}+min(Y)]其中ykhe为均衡化亮度，round是取整操作；max(Y)是均衡化量度最大值；本实施例中，优选的，可采用max(Y)取255，min(Y)取0进行计算；将唇部图像每个像素的原有亮度替换成相应的均衡化亮度。为了进一步清楚说明本发明的技术方案，下面采用一个进一步具体的优选实施例进行详细说明。本实施例中，采用图像格式为YCbCr422，分辨率为640像素*480像素的嘴唇图像进行说明。本实施例具体使用的YCbCr-RGB空间转换关系如下：本实施例中的位置在如下坐标系中表示：以图像的左上角为原点，图像的上边沿为X轴，图像的左边沿为Y轴正方向，以像素为单元。如图2所示，本实施例的基于双色彩空间的嘴唇检测方法包括如下步骤：步骤S501，图像预处理：对唇部图像在进行YCbCr空间下的亮度分量Y的直方图均衡。步骤S503，提取嘴唇像素：本实施例将提取目标设定为嘴唇像素，采用四组级联方式进行唇色滤波，四组唇色滤波器的判定式为：cb*(cb&y)>cr*(g&cr)(r*b-y)(r*g+y-255)>r*b*g*y(r2+b*y)*y>(y2+r*g)*gr*cb*cr*(cb&cr)>C*b*y*(b⊕g)其中，r、g、b、y、cb、cr分别为RGB、YCbCr色彩空间的六个分量，由无符号八位数据表示。C为常量，C优选为384与1024之间的数值，会有较好的效果，本实施例中选用1024。步骤S505,计算嘴唇中心位置：根据提取出的嘴唇像素点计算嘴唇的中心位置a的坐标(xa,ya)：其中，xi、yi为嘴唇像素点的横、纵坐标，N为嘴唇像素个数。步骤S507,计算嘴唇特征点的位置：以嘴唇中心位置a为基准，将唇部区域旋转划分为八个子区域，并将旋转划分的子区域内嘴唇像素的平均位置点作为嘴唇特征点，记为b0、b1、b2、b3、b4、b5、b6、b7。本实施例中，优选的，将唇部区域以嘴唇中心位置a为中心，45度角旋转等分，相邻的两份组成一个子区域，共八个子区域。如图3所示，采用数字0,1,…，7分别标出八个子区域的取法。嘴唇特征点bm(m=0,1,…,7)的位置：其中，为bm的横、纵坐标，为旋转划分的子区域m内嘴唇像素的横、纵坐标，Nm为子区域m内嘴唇像素的个数。步骤S509,调整嘴唇特征点的位置：基于嘴唇形态的对称性，对旋转划分的八个子区域的8个特征点位置进行调整：其中，为特征点b2原来的横、纵坐标值，为特征点b2调整之后的横、纵坐标值。步骤S511,局部二值化：根据嘴唇特征点将唇部区域横向划分为六个子区域，并依据亮度分量对每个横向划分的子区域做二值化处理，横向划分的子区域中亮度值小于横向划分的子区域二值化阈值的像素被标记为嘴唇像素。如图4所示，唇部区域横向划分的方式，其中横向划分的子区域由数字1、2、3、4、5、6标出。本实施例的横向划分的子区域二值化阈值：其中，byi为横向划分的子区域特征点i的亮度（区域1到6的特征点分别为b0、b1、b3、b4、b5、b7），yi为横向划分的子区域像素i的亮度；Hi与Wi为横向划分的子区域i的高度和宽度。步骤S513,嘴唇区域定限分离:在局部二值化处理后的唇部二值图像基础上分别对横向划分的第二子区域、第六子区域与第三子区域、第五子区域对嘴唇像素做横向投影统计，利用统计结果计算嘴唇区域的纵向限度，并将纵向限度范围外的像素判定为非嘴唇像素去除，嘴唇区域纵向限度LHup、LHdw如下：其中，Hup、Hdw为横向划分的第一子区域、第四子区域的高度，Kup为横向划分的第一区域特征点b0到嘴唇中心位置或中心点a的纵向距离，Kdw为横向划分的第四区域特征点b4到嘴唇中心位置或中心点a的纵向距离，ci为横向划分的子区域横向投影时第i条水平线上的累计嘴唇像素数目。本实施例中，横向划分的第二子区域、第六子区域投影时，i=1行为图像的最上边一行，从上往下递增。横向划分的第三子区域、第五子区域投影时，i=1行为图像的最下边一行，从下往上递增。步骤S515，局部亮度一致性滤波：对横向划分的子区域中的嘴唇像素进行亮度检测，去除其中与该横向划分的子区域特征点的亮度差异大于一致性阈值的像素：|yi-byi|<25i=1,2,…,6。若横向划分的子区域中的嘴唇像素亮度不满足上述判定式，则被作为非嘴唇像素去除。其中，yi为横向划分子区域i嘴唇像素的亮度，byi为横向划分子区域i特征点的亮度（区域1到6的特征点分别为b0、b1、b3、b4、b5、b7）。如图5a所示，为利用本实施例的基于双色彩空间的嘴唇检测方法在不均匀强光环境下嘴唇检测结果；如图5b所示，为利用本实施例的基于双色彩空间的嘴唇检测方法在不均匀弱光环境下嘴唇检测结果。人在正常说话的过程中，第一视角(正面)嘴唇的会呈现出不同的形状，而这些形状绝大部分都具有横向左右对称的特点，且嘴唇上下两部分的水平中线（嘴角连线）的位置变动也较不明显。这样，如图6所示，以嘴角连线和唇尖连线为轴就可以构成嘴唇坐标系。嘴唇坐标系下，唇部被分为四部分，每一部分的唇形都类似于一个二次曲线。一个二次曲线至少需要三个点来确定，本实施例优选的将这三点选为曲线的端点和曲线上的一点。因此8个点就可以有效描述完整唇形，如图中黑点所示。本实施例优选的采用旋转划分（以O为中心45度等分，相邻两份组成一个子区间）、子区间内嘴唇像素位置平均的方法得到上述8个点。本实施例中，所用的嘴唇特征点提取方法有稳定、快捷的特点。由于相邻两子区域之间的重叠致使它们的中心点（特征点）相互关联，如此，8个特征点之间相互关联，互相约束，这样可以减小由环境变化（如光照变化）引起的特征点变动，稳定性好。本实施例的嘴唇特征点提取方法计算速度快，仅通过一次对图像的遍历即可完成特征点的提取。本实施例中利用RGB和YCbCr空间中8个色彩分量之间的算术、逻辑运算构建嘴唇像素判定条件，进行判定。在大量实验的基础上确定了四组效果明显，功能互补的判定条件，如下表一所示：表一：较传统方法，本发明采用的嘴唇像素判定方法具有处理速度快，资源占用少的特点。最重要的是，在不同光照情况下（如亮度变动、分布不均匀等）对非嘴唇像素（口腔、皮肤、牙齿、胡须）有更好的滤除效果，可以提取出可靠的嘴唇像素。本发明采用上述的独特的唇色级联滤波方式保证了不同光照强度下嘴唇像素提取的稳定性。采用的唇部多块局部分割操作减少了光照不均对嘴唇区域分割的影响。本发明优选的选用双色彩空间（RGB、YCbCr），YCbCr色彩模型广泛应用于视屏、图像的编码和传输中，图像采集设备的输出很多在YCbCr色彩空间下表示，对于具体的压缩编码形式比如YCbCr422或者YCbCr420等情况都适用。同时，YCbCr空间具有亮度色度分离的特点，可以用一个分量更突出的表示图像灰度，其色彩受亮度影响较弱，而RGB空间具有基础色彩的分离的特点，对色彩的表达较为准确，但三个分量都很容易受到亮度的影响。将两者的特点结合起来进行优劣互补，可以提升对图像描述的能力。且YCbCr、RGB都是线性表达的色彩空间，所以相对于其他空间而言，在资源消耗以及处理速度上有很大的优势。本发明首先采用了一种能够适应不同光照条件的唇色级联滤波，然后依据滤波所得嘴唇像素对唇部区域进行多块局部分割，之后利用唇形的连续性进行嘴唇区域限定，最后进行局部亮度一致性滤波。本发明的基于双色彩空间的嘴唇检测方法，计算速度较快、分割内容完整，具有环境鲁棒性，其有效性不受环境中光照强度变化、光照不均匀等因素影响。本发明的的基于双色彩空间的嘴唇检测方法在于兼顾了算法的有效性和快速性，在嘴唇区域检测效果和检测用时之间取得了平衡，非常适合作为生物识别系统的一部分。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。