专利名称：检测红眼的方法及装置、去除红眼的方法及装置的制作方法
技术领域：
本发明涉及图像技术领域，尤其涉及一种检测红眼的方法及装置、去除红眼的方法及装置。
背景技术：
“红眼效应”是指用闪光灯拍摄人物照片时，由于被拍摄者眼底血管的反光而导致的人眼瞳孔中央形成的红点现象。其形成原因主要是由于人的瞳孔在环境光比较暗时会放大，近距离闪光灯的强光经过放大的瞳孔，照在视网膜后的微血管组织上，反射回红色的光线，造成实际成像的照片呈现“红眼”状，红眼和人们一般所认知的眼睛的颜色差别很大，大大的降低了照片的质量。随着具有闪光功能的数码相机、手机、摄像机等的应用越来越广泛，对于“红眼效应”的去除具有很强的实际应用性，且也变得越发的重要。就目前而言，现有技术提供了较多的方法来检测数码照片中的红眼区域。例如:借助人脸检测器来检测人脸的区域；或者借助基于肤色的人脸检测器先检测图像中的像素点是否属于肤色，并通过图像中的肤色像素点进行聚类分析，来检测人脸区域；或者通过脸部特征如:嘴巴、鼻子、眉毛等的提取，来检测人脸区域。在检测到人脸区域后，通过霍夫变换法或变形模板法或边缘特征分析法或基于特征映射的方法等来提取眼部区域。一般来讲，红眼区域像素点的红色色调的能量要比其他区域的像素点的红色色调的能量大，因此在提取到的眼部区域中获取红眼色特征，进而基于所述的红眼色特征来提取红眼区域。然后基于红眼的形状(通常为圆形、类圆形、椭圆形、类椭圆形)对提取到的红眼区域的形状特征进行相应的验证。在判定提取到的红眼区域的确为拍摄过程中形成的红眼区域后，对提取到的红眼区域的红眼色进行纠正，并对红眼区域的边缘进行各种光滑处理，使得纠正后的眼部图像看起来更自然。又如:利用各种不同的颜色分割方法，如:不同颜色空间上不同通道的联合阈值分割，基于统计意义的概率分割等，来提取大致的红眼区域，然后对提取到的红眼区域进行进一步的判断以确定真正的红眼区域。如可以对提取到的红眼区域进行形态学的闭运算以填补提取到的红眼区域中的空洞。若在预定的填充率下，对所述提取到的红眼区域中的空洞进行填充后，提取到的红眼区域还存在空洞，则该提取到的红眼区域也不是真正的红眼区域。若在预定的填充率下，对所述提取到的红眼区域中的空洞进行填充后，提取到的红眼区域不存在空洞，则对红眼区域的形状特征进行相应的验证，如上所描述的，红眼区域的形状通常为圆形、类圆形、椭圆形、类椭圆形，对提取到的红眼区域的外接矩形的长宽比、提取到的红眼区域的面积等进行相应的判断，以进一步地验证所述提取到的红眼区域是否为真正的红眼区域。如:所述外接矩形的长宽比满足I 2，提取到的红眼区域的面积应在预定的阈值内，所述预定的阈值关联于眼部区域的面积。否则提取到的红眼区域也不是真正的红眼区域。
再如:利用拍摄前的最后一帧预览照片(无红眼照片)，通过检测红眼照片中哪些红色像素在无红眼照片中是黑色的来检测红眼区域。然而，对于上述的检测红眼区域的方法而言，其检测红眼的准确率不高，因此，如何能够提供一种准确率较高的检测红眼的方法成为目前亟待解决的问题之一。其他有关红眼检测的相关技术还可以参见公开号为W02007116947A1，发明名称为 RED EYE DETECTING APPARATUS, RED EYE DETECTINGMETHOD AND RED EYE DETECTINGPROGRAM的国际专利申请。
发明内容
本发明解决的问题是提供一种准确率较高的检测红眼的方法及装置、去除红眼的方法及装置。为了解决上述问题，本发明提供了一种检测红眼的方法，包括:获取眼部区域的白色区域，计算所述白色区域的平均亮度；确定所述眼部区域中亮度小于亮度阈值的像素点所在的区域为黑色区域，所述亮度阈值为预设倍数的所述白色区域的平均亮度与图像传感器的黑水平中的最小值，所述预设倍数大于或等 于1/4且小于1/2 ；对所述黑色区域进行预处理；若预处理后的黑色区域的外接矩形的长宽比在预定范围内，则确定所述预处理后的黑色区域为黑色眼珠区域；确定所述黑色眼珠区域中红色度大于红色度阈值的像素点所在的区域为红眼区域，所述红色度阈值关联于所述黑色眼珠区域内的平均红色度。可选的，所述对所述黑色区域进行预处理包括:计算所述黑色区域中的像素点在预设方向的邻域内黑色像素点的填充率，所述预设方向为垂直于所述像素点与所述白色区域中心的连线的方向；若所述填充率小于填充阈值，则去除该像素点。可选的，所述对所述黑色区域进行预处理包括:将预设矩形与水平方向平行的边沿列方向逼近所述黑色区域，或者将所述预设矩形与竖直方向平行的边沿行方向逼近所述黑色区域，或者将所述矩形与水平方向平行的边、与竖直方向平行的边交替沿列方向、行方向逼近所述黑色区域，所述预设矩形包围所述黑色区域；若所述与水平方向平行的边上的黑色像素点的密度小于第一密度阈值，则去除所述与水平方向平行的边上的黑色像素点；若所述与竖直方向平行的边上的黑色像素点的密度小于第二密度阈值，则去除所述与竖直方向平行的边上的黑色像素点。为解决上述问题，本发明还提供了一种检测红眼的装置，包括:获取单元，用于获取眼部区域的白色区域，计算所述白色区域的平均亮度；确定单元，用于确定所述眼部区域中亮度小于亮度阈值的像素点所在的区域为黑色区域，所述亮度阈值为预设倍数的所述白色区域的平均亮度与图像传感器的黑水平中的最小值，所述预设倍数大于或等于1/4且小于1/2 ；预处理单元，用于对所述黑色区域进行预处理；
判断单元，用于在预处理后的黑色区域的外接矩形的长宽比在预定范围内时，确定所述预处理后的黑色区域为黑色眼珠区域；红眼区域确定单元，用于确定所述黑色眼珠区域中红色度大于红色度阈值的像素点所在的区域为红眼区域，所述红色度阈值关联于所述黑色眼珠区域内的平均红色度。可选的，所述预处理单元包括:计算单元，用于计算所述确定单元确定的黑色区域中的像素点在预设方向的邻域内黑色像素点的填充率，所述预设方向为垂直于所述像素点与所述白色区域中心的连线的方向；第一去除单元，用于在所述填充率小于填充阈值时，去除该像素点。可选的，所述预处理单元包括:逼近单元，用于将预设矩形与水平方向平行的边沿列方向逼近所述确定单元获取的黑色区域，或者将所述预设矩形与竖直方向平行的边沿行方向逼近所述黑色区域，或者将所述矩形与水平方向平行的边、与竖直方向平行的边交替沿列方向、行方向逼近所述黑色区域；第二去除单元，用于在所述与水平方向平行的边上的黑色像素点的密度小于第一密度阈值时，去除所述与水平方向平行的边上的黑色像素点；第三去除单元，用于在所述与竖直方向平行的边上的黑色像素点的密度小于第二密度阈值时，去除所述与竖直方向平行的边上的黑色像素点。为解决上述问题，本发明还提供了一种去除红眼的方法，包括:
采用上述的检测红眼的方法检测红眼区域；对所述红眼区域进行纠正。可选的，所述对所述红眼区域进行纠正包括:利用所述红眼区域附近的黑色眼珠区域对所述红眼区域进行纠正。为解决上述问题，本发明还提供了一种去除红眼的装置，包括:上述的检测红眼的装置；纠正单元，用于对所述红眼区域进行纠正。可选的，所述纠正单元用于利用所述红眼区域附近的黑色眼珠区域对所述红眼区域进行纠正。与现有技术相比，本发明的技术方案具有以下优点:基于白色区域的平均亮度及图像传感器的黑水平确定黑色区域，对所述黑色区域进行预处理和判断以获得较为准确的黑色眼珠区域，进而通过所述黑色眼珠区域来检测红眼区域。相对于现有技术根据红眼的颜色和形状来检测红眼区域而言，通过准确的黑色眼珠区域来定位红眼区域，可以获得更加准确的红眼区域，提高了检测红眼区域的准确率。对黑色区域进行预处理可以通过计算黑色像素点的填充率或密度来确定并去除黑色区域中的噪声点，因而可以获得更为准确的黑色眼珠区域。
图1是本发明实施例的检测红眼的方法的流程示意图；图2是本发明实施例的采用方式一对黑色区域进行预处理的示意图3是本发明实施例的采用方式二对黑色区域进行预处理的示意图；图4是本发明实施例的预处理后的黑色区域的示意图；图5是本发明实施例的检测红眼的装置的结构示意图；图6是本发明实施例的去除红眼的方法的流程示意图；图7是本发明实施例的去除红眼的装置的结构示意图。
具体实施例方式为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式
做详细的说明。在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式
的限制。正如背景技术中所描述的，现有的检测红眼的方法在检测红眼区域时，准确率不闻。发明人发现，通过提取眼部区域，再在提取到的眼部区域中获取红眼色特征，进而基于所述红眼色特征来提取红眼区域，然后基于红眼的形状对提取到的红眼区域进行验证，对红眼的颜色和形状的依赖性很强，一旦红眼的颜色有较大的变化就会导致提取红眼区域的失败，另外，若红眼在形状上有较大的变化，也会导致对提取到的红眼区域进行验证的失败，进而导致了检测红眼区域时的准确率较低。而通过各种不同的颜色分割方法来获得红眼区域的方法，由于实际拍摄过程中光照、人种等因素的影响，实际的红眼色分布较广，可能会与皮肤、其他脸部特征等的颜色相混淆，故无论是采用不同颜色空间上不同通道的联合阈值分割还是基于统计意义的概率分害I]，其分割获得的红眼区域不准确进而导致最终确定红眼区域时准确率很低。另外，由于实际拍摄过程中拍摄角度或眼睛张开程度的不同，上下眼唇及眼皮区域容易与红眼区域混淆，故分割获得的红眼区域很容易受噪声污染，进而导致最终获得的红眼区域不准确。发明人提出，利用与红眼区域具有嵌套关系的黑色眼珠区域来更加准确的定位红眼区域。为了获得准确的黑色眼珠区域，对获取的黑色区域进行预处理，以去除获取的黑色区域的噪声，对去噪后的黑色区域进行判断以获得准确的黑色眼珠区域，进而利用准确的黑色眼珠区域来检测红眼区域。请参见图1，图1是本发明实施例的检测红眼的方法的流程示意图，如图1所示，所述检测红眼的方法包括:步骤Sll:获取眼部区域的白色区域，计算所述白色区域的平均亮度。步骤S12:确定所述眼部区域中亮度小于亮度阈值的像素点所在的区域为黑色区域，所述亮度阈值为预设倍数的所述白色区域的平均亮度与图像传感器的黑水平中的最小值，所述预设倍数大于或等于1/4且小于1/2。步骤S13:对所述黑色区域进行预处理。步骤S14:若预处理后的黑色区域的外接矩形的长宽比在预定范围内，则确定所述预处理后的黑色区 域为黑色眼珠区域。步骤S15:确定所述黑色眼珠区域中红色度大于红色度阈值的像素点所在的区域为红眼区域，所述红色度阈值关联于所述黑色眼珠区域内的平均红色度。本实施例中，在执行步骤Sll之前，需要先提取眼部区域。所述眼部区域的提取可以采用现有的人脸检测方法来检测出人脸所在的区域，然后通过霍夫变换法或变形模板法或边缘特征分析法或基于特征映射的方法等来对人脸区域中眼睛所在的区域进行定位，进而提取眼部区域。所述人脸检测方法可以为:基于人脸器官分布规律的人脸检测方法、基于肤色的人脸检测方法、基于概率模型的人脸检测方法、基于特征空间的人脸检测方法、基于人工神经网络的人脸检测方法、基于模板匹配的人脸检测方法等。采用人脸检测方法检测出人脸所在的区域，并在人脸区域内提取眼部区域为本领域的公知常识，故此处不再展开具体详述。由于红眼产生时，闪光灯几乎直射入眼部，故眼部中心区域会出现一片高饱和亮度区域，且所述高饱和亮度区域一般为白色区域，故先获取眼部区域中的白色区域。以下对步骤Sll进行相应的说明。本实施例中，获取眼部区域的白色区域是指获取所述眼部区域中像素点的亮度大于第一阈值、饱和度小于第二阈值的像素点所在的区域。所述第一阈值Tie [128,255],所述第二阈值T2e
。将提取到的眼部区域中像素点的亮度大于Tl、饱和度小于T2的像素点所在的区域标记为白色区域，则获得所述白色区域。本实施例中，对于像素点的亮度等于Tl、饱和度等于T2的像素点可以标记为白色像素点，也可以不标记为白色像素点，是否将像素点的亮度等于Tl、饱和度等于T2的像素点标记为白色像素点取决于红眼区域检测时的精度需求。本实施例中，所述像素点的亮度、饱和度分别通过如下公式获得:L = a*R+(l-a-b)*G+b*B
权利要求
1.一种检测红眼的方法，其特征在于，包括: 获取眼部区域的白色区域，计算所述白色区域的平均亮度； 确定所述眼部区域中亮度小于亮度阈值的像素点所在的区域为黑色区域，所述亮度阈值为预设倍数的所述白色区域的平均亮度与图像传感器的黑水平中的最小值，所述预设倍数大于或等于1/4且小于1/2 ； 对所述黑色区域进行预处理； 若预处理后的黑色区域的外接矩形的长宽比在预定范围内，则确定所述预处理后的黑色区域为黑色眼珠区域； 确定所述黑色眼珠区域中红色度大于红色度阈值的像素点所在的区域为红眼区域，所述红色度阈值关联于所述黑色眼珠区域内的平均红色度。
2.如权利要求1所述的检测红眼的方法，其特征在于，所述白色区域是指所述眼部区域中像素点的亮度大于第一阈值、饱和度小于第二阈值的像素点所在的区域。
3.如权利要求2所述的检测红眼的方法，其特征在于，所述第一阈值大于或等于128，所述第二阈值大于或等于0.1且小于或等于0.3。
4.如权利要求2所述的检测红眼的方法，其特征在于，所述计算所述白色区域的平均亮度通过如下公式进行:
5.如权利要求1所述的检测红眼的方法，其特征在于，所述对所述黑色区域进行预处理包括: 计算所述黑色区域中的像素点在预设方向的邻域内黑色像素点的填充率，所述预设方向为垂直于所述像素点与所述白色区域中心的连线的方向； 若所述填充率小于填充阈值，则去除该像素点。
6.如权利要求1所述的检测红眼的方法，其特征在于，所述对所述黑色区域进行预处理包括: 将预设矩形与水平方向平行的边沿列方向逼近所述黑色区域，或者将所述预设矩形与竖直方向平行的边沿行方向逼近所述黑色区域，或者将所述矩形与水平方向平行的边、与竖直方向平行的边交替沿列方向、行方向逼近所述黑色区域，所述预设矩形包围所述黑色区域； 若所述与水平方向平行的边上的黑色像素点的密度小于第一密度阈值，则去除所述与水平方向平行的边上的黑色像素点； 若所述与竖直方向平行的边上的黑色像素点的密度小于第二密度阈值，则去除所述与竖直方向平行的边上的黑色像素点。
7.如权利要求1所述的检测红眼的方法，其特征在于，所述预定范围为[1，2]。
8.如权利要求1所述的检测红眼的方法，其特征在于，所述像素点的红色度通过如下公式获得:I = kfR-k^G-(Iifk2) *B 其中，I为像素点的红色度，R、G、B分别为像素点的红色通道值、绿色通道值、蓝色通道值，k” k2为权重系数、ki > k2且V k2 e (O, I]。
9.如权利要求8所述的检测红眼的方法，其特征在于，所述权重系数Ic1e
,k2 e
、所述红色度阈值大于0.3且小于I。
10.一种去除红眼的方法，其特征在于，包括: 采用权利要求1 9任一项所述的检测红眼的方法检测红眼区域； 对所述红眼区域进行纠正。
11.如权利要求10所述的去除红眼的方法，其特征在于，所述对所述红眼区域进行纠正包括:利用所述红眼区域附近的黑色眼珠区域对所述红眼区域进行纠正。
12.如权利要求11所述的去除红眼的方法，其特征在于，利用所述黑色眼珠区域的像素点的像素值均值代替红眼区域中的像素点的像素值。
13.一种检测红眼的装置，其特征在于，包括: 获取单元，用于获取眼部区域的白色区域，计算所述白色区域的平均亮度； 确定单元，用于确定所述眼部区域中亮度小于亮度阈值的像素点所在的区域为黑色区域，所述亮度阈值为预设倍数的所述白色区域的平均亮度与图像传感器的黑水平中的最小值，所述预设倍数大于或等于1/4且小于1/2 ； 预处理单元，用于对所述黑色区域进行预处理； 判断单元，用于在预处理后的黑色区域的外接矩形的长宽比在预定范围内时，确定所述预处理后的黑色区域为黑色眼珠区域； 红眼区域确定单元，用于确定所述黑色眼珠区域中红色度大于红色度阈值的像素点所在的区域为红眼区域，所述红色度阈值关联于所述黑色眼珠区域内的平均红色度。
14.如权利要求13所述的检测红眼的装置，其特征在于，所述白色区域是指所述眼部区域中像素点的亮度大于第一阈值、饱和度小于第二阈值的像素点所在的区域。
15.如权利要求14所述的检测红眼的装置，其特征在于，所述第一阈值大于或等于128，所述第二阈值大于或等于0.1且小于或等于0.3。
16.如权利要求14所述的检测红眼的装置，其特征在于，所述获取单元通过如下公式获取白色区域并计算所述白色区域的平均亮度:
17.如权利要求13所述的检测红眼的装置，其特征在于，所述预处理单元包括: 计算单元，用于计算所述确定单元确定的黑色区域中的像素点在预设方向的邻域内黑色像素点的填充率，所述预设方向为垂直于所述像素点与所述白色区域中心的连线的方向； 第一去除单元，用于在所述填充率小于填充阈值时，去除该像素点。
18.如权利要求13所述的检测红眼的装置，其特征在于，所述预处理单元包括: 逼近单元，用于将预设矩形与水平方向平行的边沿列方向逼近所述确定单元获取的黑色区域，或者将所述预设矩形与竖直方向平行的边沿行方向逼近所述黑色区域，或者将所述矩形与水平方向平行的边、与竖直方向平行的边交替沿列方向、行方向逼近所述黑色区域； 第二去除单元，用于在所述与水平方向平行的边上的黑色像素点的密度小于第一密度阈值时，去除所述与水平方向平行的边上的黑色像素点； 第三去除单元，用于在所述与竖直方向平行的边上的黑色像素点的密度小于第二密度阈值时，去除所述与竖直方向平行的边上的黑色像素点。
19.如权利要求13所述的检测红眼的装置，其特征在于，所述预定范围为[1，2]。·
20.如权利要求13所述的检测红眼的装置，其特征在于，所述红眼区域确定单元通过如下公式获得像素点的红色度:I = k^R-ka^G- (Iifk2) *B 其中，I为像素点的红色度，R、G、B分别为像素点的红色通道值、绿色通道值、蓝色通道值，k” k2为权重系数、ki > k2且V k2 e (O, I]。
21.如权利要求20所述的检测红眼的装置，其特征在于，所述权重系数Ic1e
、k2 e
、所述红色度阈值大于0.3且小于I。
22.一种去除红眼的装置，其特征在于，包括: 权利要求13 21任一项所述的检测红眼的装置； 纠正单元，用于对所述红眼区域进行纠正。
23.如权利要求22所述的去除红眼的装置，其特征在于，所述纠正单元用于利用所述红眼区域附近的黑色眼珠区域对所述红眼区域进行纠正。
24.如权利要求23所述的去除红眼的装置，其特征在于，所述纠正单元用于利用所述黑色眼珠区域的像素点的像素值均值代替红眼区域中的像素点的像素值。
全文摘要
一种检测红眼的方法及装置、去除红眼的方法及装置。所述检测红眼的方法包括获取眼部区域的白色区域，计算所述白色区域的平均亮度；确定所述眼部区域中亮度小于亮度阈值的像素点所在的区域为黑色区域，所述亮度阈值为预设倍数的所述白色区域的平均亮度与图像传感器的黑水平中的最小值，所述预设倍数大于或等于1/4且小于1/2；对所述黑色区域进行预处理；若预处理后的黑色区域的外接矩形的长宽比在预定范围内，则确定所述预处理后的黑色区域为黑色眼珠区域；确定所述黑色眼珠区域中红色度大于红色度阈值的像素点所在的区域为红眼区域。本发明的技术方案，检测和去除红眼的准确率高。
文档编号G06K9/00GK103246865SQ20121002472
公开日2013年8月14日 申请日期2012年2月3日 优先权日2012年2月3日
发明者黄玉春, 林福辉, 彭晓峰 申请人:展讯通信(上海)有限公司