专利名称：一种色情图像检测方法
技术领域：
本发明涉及一种色情图像检测的方法，具体地说，它是基于与人脸信息相关的高层视觉特征的色情图像检测方法。
背景技术：
互联网上色情图像的非法传播带来了一系列的社会问题和法律问题。如何保护网民不受色情图像的骚扰，以及防止青少年对色情图像的访问成为一个亟待解决的问题。一种解决途径是计算机系统在显示图像以前判断图像内容是否为色情内容，这就需要基于图像视觉内容的色情图像检测方法。
在现有的基于图像视觉内容的色情图像检测方法中(例如，在2004年亚洲计算机视觉会议(ACCV 2004)论文集第198页至第203页中所公开的，所采用的表征图像视觉内容的视觉特征只具有低级的语义内容，这些特征包括颜色，纹理和形状等。这些特征对图像内容的描述能力有限，其所描述的图像内容与人对图像内容的理解相差很大。例如一张人脸特写图像和一张色情图像，两张图像中很可能存在相似的颜色特征，纹理特征和形状特征。对这两张图像，利用现有的技术很难区别出哪一张是色情图像。
如何抽取图像中适用于描述色情图像内容的高级语义特征以及利用这些特征来检测色情图像成为基于图像视觉内容的色情图像检测方法的一个难题。
发明内容
本发明要解决的技术问题是提供一种色情图像检测方法，克服现有基于图像中低级语义内容的视觉特征的色情检测方法的不足，提高色情图像检测的准确率。
为了解决上述技术问题，本发明提供一种色情图像检测方法，包括以下步骤a)系统初始化，根据用户需求设定各种阈值，建立全局的肤色模型；b)对输入的图像利用全局的肤色模型对图像进行肤色检测；
c)判断图像中的肤色像素的比例是否超过设定的阈值？如果是，执行步骤d)，如果否，执行步骤p)；d)人脸检测，判断图像是否包含人脸？如果是，执行步骤f)，如果否，执行步骤e)；e)根据图像的低级视觉特征，包括颜色，形状和纹理特征判断图像是否为色情图像，检测过程结束；f)利用检测到的人脸区域的颜色信息建立人体肤色模型，即用人脸区域的颜色分布来表征人体的颜色分布；g)根据每个人体肤色模型在整幅图像上进行人体皮肤区域检测；h)根据皮肤区域检测的结果生成肤色掩码图像；i)根据生成的肤色掩码图像，抽取图像中具有高级语义内容的视觉特征，所述高级语义内容的视觉特征包括图像中人脸的数目；图像中人脸区域的相对大小，此特征定义为人脸区域中的像素数目与图像中像素总数的比值；人脸区域与图像中心的相对距离，此特征定义为人脸区域中心点与图像中心点的距离与图像宽度或高度的比值；图像中全部肤色区域面积与人脸区域面积的比值，此特征定义为图像中全部肤色像素的数目与人脸区域中的像素数目的比值；图像中最大的肤色区域面积与人脸区域面积的比值，此特征定义为图像中最大肤色区域中的像素数目与人脸区域中的像素数目的比值；j)判断人脸个数是否超过设定的阈值？如果是，执行步骤p)；如果否，执行步骤k)；k)判断人脸区域的相对大小是否超过设定的阈值？如果是，执行步骤p)；如果否，执行步骤l)；l)判断人脸区域位置与图像中心的相对距离是否超过设定的阈值？如果是，执行步骤m)，如果否，执行步骤p)；m)判断图像中全部肤色区域面积与人脸区域面积的比值是否超过设定的阈值？如果是，执行步骤n)，如果否，执行步骤p)；n)判断图像中最大的肤色区域面积与人脸区域面积的比值是否超过设定的阈值？如果是，执行步骤o)，如果否，执行步骤p)；o)认为是输入图像是色情图像，检测过程结束；p)认为是输入图像是正常图像，检测过程结束。
在上述方案中，步骤a)和b)中，所述肤色模型是离线建立的静态模型。
在上述方案中，步骤f)中，所述肤色模型根据步骤d)中检测到的人脸区域的颜色分布信息在线建立的动态模型。
在上述方案中，步骤d)中检测到的每个人脸区域对应步骤f)中的一个人体肤色模型。
在上述方案中，步骤h)中的肤色掩码图像是步骤g)中每次检测结果的总和。
由上可知，本发明通过利用与人脸信息相关的高层视觉特征来进行色情图像检测，可以有效的提高准确率，降低错误率，尤其是减少把人脸图像误认为色情图像的情况的发生。
图1为本发明的色情图像检测方法流程图。
具体实施例方式
本发明首先通过肤色检测判断图像中是否存在大面积的肤色区域，如果图像不存在大面积的肤色区域，直接将图像判定为正常图像。否则，在含有大面积肤色区域的图像中进行人脸检测，如果检测到人脸的出现，则说明图像中含有人，接下去的步骤用于验证图像中的人是否裸露出过多的皮肤区域。
如图1所示，本发明所涉及的基于与人脸信息相关的高层视觉特征的色情图像检测方法主要包括以下步骤步骤000，系统初始化，根据用户需求设定各种阈值，建立全局肤色模型；在步骤000中，系统中所用到的各种阈值由用户预先设定，全局肤色模型是由用户预先建立；步骤100，利用全局的肤色模型对图像进行肤色检测；在步骤100中，全局肤色模型是系统初始化中建立的静态模型；步骤110，判断图像中的皮肤像素的比例是否超过设定的阈值？如果是，执行步骤120，如果否，执行步骤230；步骤110中，肤色像素比例定义为图像中肤色像素的数目与图像中像素总数的比值。
步骤120，人脸检测，判断图像是否包含人脸？如果是，执行步骤140，如果否，执行步骤130；在步骤120中，人脸检测输出的信息包括图像中人脸的数目，人脸区域的绝对位置和人脸区域的绝对大小；人脸区域的绝对位置用人脸区域中心点在图像平面中的坐标来表征，人脸区域的绝对大小用人脸区域中包含的像素总数来表征；步骤130，根据图像的低级视觉特征，包括颜色，形状和纹理等特征判断图像是否为色情图像，检测过程结束；步骤140，利用检测到的人脸区域的颜色信息建立人体肤色模型；在步骤140中，用人脸区域的颜色分布来表征人体肤色的分布。
步骤150，根据每个人体肤色模型在整幅图像上进行人体皮肤区域检测；在步骤150中，利用步骤140中生成的每一个人体肤色模型都在图像中进行一次肤色检测，假设人脸检测技术检测到图像中有2个人脸，那么步骤150中生成与之对应的2个人体肤色模型。利用每一个人体肤色模型在图像中进行肤色检测，判断图像中的每个像素点的颜色值是否满足该人体肤色模型，若满足，判定该像素为肤色像素，否则，判定该像素为非肤色像素。最后，图像中的每个像素，只要它的颜色值满足2个人体肤色模型中的任意一个，就在肤色掩码图像中标记该像素为肤色像素。
步骤160，根据皮肤区域检测的结果生成肤色掩码图像；在步骤160中，肤色掩码图像就是把图像中的肤色像素与非肤色像素用不同的标记表示。肤色像素用一种标记，而非肤色像素另一种标记表示。肤色掩码图像是一个二值图像。
步骤170，根据生成的肤色掩码图像，抽取图像中具有高级语义内容的视觉特征；在步骤170中，高级语义内容的视觉特征包括图像中人脸的数目；图像中人脸区域的相对大小；人脸区域与图像中心的相对距离；图像中全部肤色区域面积与人脸区域面积的比值；图像中最大的肤色区域面积与人脸区域面积的比值。人脸数目，人脸区域的绝对位置和人脸区域的绝对大小这三个信息由步骤120给出。人脸数目就是人脸检测算法检测到的图像中包含的人脸个数；图像中人脸区域的相对大小定义为人脸区域中的像素数目与图像中像素总数的比值；人脸区域与图像中心的相对距离定义为人脸区域中心点与图像中心点的距离与图像宽度或高度的比值；图像中全部肤色区域面积与人脸区域面积的比值定义为肤色掩码图像中判定为肤色的像素的总数与人脸区域肤色总数的比值；图像中最大肤色区域面积与人脸面积的比值定义为肤色掩码图像中最大的肤色区域中的像素总数人脸区域肤色总数的比值。
步骤180，判断人脸数目是否超过设定的阈值？如果是，执行步骤230；如果否，执行步骤190；在步骤180中，预先设定的人脸数目的阈值必须大于2。
步骤190，判断人脸区域的大小是否超过设定的阈值？如果是，执行步骤230；如果否，执行下一步；步骤200，判断人脸区域与图像中心的相对距离是否超过设定的阈值，如果否，执行步骤230，如果是，执行下一步；步骤210，判断图像中全部的肤色区域面积与人脸区域面积的比值是否小于某一设定的阈值？如果是，执行步骤230，如果否，执行下一步；步骤220，判断图像中最大的肤色区域的面积与人脸区域面积的比值是否小于设定的阈值，如果是，执行步骤230，如果否，执行步骤240；以上各步骤中所用到的各个阈值由用户根据对本发明所述及方法的性能的不同要求而预先制定，不同的阈值可能会导致本发明所述及方法具有不同的准确率。
步骤230，认为输入图像是正常图像；步骤240，认为输入图像是色情图像。
下面为一个具体实例首先，收集大量含有人体皮肤的图像，统计在这些图像中各种YCbCr颜色值分别出现为肤色的概率和非肤色的概率，按照贝叶斯规则，计算每种YCbCr颜色值对应的肤色概率值。选取一个肤色阈值t，对于图像中的每个像素，如果像素点的颜色值的肤色概率大于肤色阈值t，判定该像素点是肤色像素，否则判定该像素点位非肤色像素。肤色阈值t的选取应该使得肤色正检率和误检率的比值最大。肤色正检率定义为检测到的真实肤色像素数目与全体肤色像素数目的比值。肤色误检率定义为错误检测为肤色的像素数目与全体非肤色像素数目的比值。YCbCr颜色空间中各种颜色值对应的肤色概率以及肤色阈值t构成了全局肤色模型。预先设定下列阈值人脸数目的阈值，图像中人脸区域的相对大小的阈值；人脸区域与图像中心的相对距离的阈值；图像中全部肤色区域面积与人脸区域面积的比值的阈值；图像中最大的肤色区域面积与人脸区域面积的比值的阈值。以上各个阈值由用户根据对本发明所述及方法的性能的不同要求而预先制定，不同的阈值可能会导致本发明所述及方法具有不同的准确率。
对输入的图像，如果图像的颜色空间不是YCbCr颜色空间，则把图像数据转换为用YCbCr颜色空间表示。利用全局肤色模型进行肤色检测，统计图像中肤色像素的数目，如果肤色像素总数与图像像素总数的比值小于设定的阈值，直接将图像判定为正常图像。肤色像素总数与图像像素总数的比值称为肤色像素比例。
对于肤色像素比例大于设定的阈值的图像进行人脸检测，人脸检测算法可以采用现有技术，例如2001年计算机视觉和模式识别会议(CVPR 2001)论文集第一卷第511至第518页所公开的。一个人的脸部皮肤的颜色跟他(她)身体其它部位的颜色大体上相当，因此可用脸部的肤色分布状况来表征其身体的肤色分布。计算检测到的人脸区域中所有像素点的颜色在Y，Cb，Cr三个颜色分量上的均值和方差包括(μy，δy2)，(μcb，δcb2)，(μcr，δcr2)。人体肤色在Y，Cb，Cr三个颜色分量的分布状况各用一个正态分布表示，表征每个颜色分量上正态分布的参数赋值为前述人脸区域对应颜色分量上的均值和方差。
对于人脸区域外的每一个像素点，如果它的颜色值(y，cb，cr)满足条件|y-μy|＜τyδy并且|cr-μcr|＜τcrδcr并且|cb-μcd|＜τcdδcb，判定其为皮肤像素。τy，τcr，τcb分别是三个颜色分量上的肤色阈值。τy，τcr，τcb分别初始设置为2.5，2，2。首先利用初始肤色阈值进行肤色检测，然后判断初始检测结果中的每个肤色连同区域是否具有光滑的纹理。如果某区域具有光滑的纹理，则认为其为皮肤区域，否则，每个肤色阈值都乘以0.9，然后用新的阈值在该区上进行肤色检测，这个过程重复进行，直到区域具有光滑的纹理为止。
基于人脸检测和肤色检测的结果，可以从图像抽取如下特征图像中人脸的数目；图像中人脸区域的相对大小；人脸区域与图像中心的相对距离；图像中全部肤色区域面积与人脸区域面积的比值；图像中最大的肤色区域面积与人脸区域面积的比值。人脸数目就是人脸检测算法检测到的图像中包含的人脸个数；图像中人脸区域的相对大小定义为人脸区域中的像素数目与图像中像素总数的比值；人脸区域与图像中心的相对距离定义为人脸区域中心点与图像中心点的距离与图像宽度或高度的比值；图像中全部肤色区域面积与人脸区域面积的比值定义为肤色掩码图像中判定为肤色的像素的总数与人脸区域肤色总数的比值；图像中最大肤色区域面积与人脸面积的比值定义为肤色掩码图像中最大的肤色区域中的像素总数人脸区域肤色总数的比值。
利用上述五个特征判断图像是否为色情图像。首先，如果图像中的人脸数目超过设定的阈值，图像为正常图像；否则，接着判断人脸区域的相对大小，若人脸区域的相对大小超过设定的阈值，判定图像为正常图像；否则，再接着判断人脸区域与图像中心的相对距离，如果该相对距离小于设定的阈值，判断图像为正常图像；否则，接着判断图像中全部肤色区域面积与人脸区域面积的比值是否小于设定的阈值，如果是，判定图像为正常图像；否则，接着判断图像中最大的肤色区域面积与人脸区域面积的比值，如果最大的肤色区域面积与人脸区域面积的比值小于设定的阈值，如果是，判断图像为正常图像，否则为判断图像为色情图像。
最后所应说明的是以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围。
权利要求
1.一种色情图像检测方法，其特征在于包括以下步骤a)系统初始化，根据用户需求设定各种阈值，建立全局的肤色模型；b)对输入的 图像利用全局的肤色模型对图像进行肤色检测；c)判断图像中的肤色像素的比例是否超过设定的阈值？如果是，执行下一步，如果否，执行步骤p)；d)人脸检测，判断图像是否包含人脸？如果是，执行步骤f)，如果否，执行下一步；e)根据图像的低级视觉特征，包括颜色，形状和纹理特征判断图像是否为色情图像，检测过程结束；f)利用检测到的人脸区域的颜色信息建立人体肤色模型，即用人脸区域的颜色分布来表征人体的颜色分布；g)根据每个人体肤色模型在整幅图像上进行人体皮肤区域检测；h)根据皮肤区域检测的结果生成肤色掩码图像；i)根据生成的肤色掩码图像，抽取图像中具有高级语义内容的视觉特征，所述高级语义内容的视觉特征包括图像中人脸的数目；图像中人脸区域的相对大小，此特征定义为人脸区域中的像素数目与图像中像素总数的比值；人脸区域与图像中心的相对距离，此特征定义为人脸区域中心点与图像中心点的距离与图像宽度或高度的比值；图像中全部肤色区域面积与人脸区域面积的比值，此特征定义为图像中全部肤色像素的数目与人脸区域中的像素数目的比值；图像中最大的肤色区域面积与人脸区域面积的比值，此特征定义为图像中最大肤色区域中的像素数目与人脸区域中的像素数目的比值；j)判断人脸个数是否超过设定的阈值？如果是，执行步骤p)；如果否，执行下一步；k)判断人脸区域的相对大小是否超过设定的阈值？如果是，执行步骤p)；如果否，执行下一步；l)判断人脸区域位置与图像中心的相对距离是否超过设定的阈值？如果是，执行下一步，如果否，执行步骤p)；m)判断图像中全部肤色区域面积与人脸区域面积的比值是否超过设定的阈值？如果是，执行下一步，如果否，执行步骤p)；n)判断图像中最大的肤色区域面积与人脸区域面积的比值是否超过设定的阈值？如果是，执行下一步，如果否，执行步骤p)；o)认为是输入图像是色情图像，检测过程结束；p)认为是输入图像是正常图像，检测过程结束。
2.如权利要求1所述的一种色情图像检测方法，其特征在于，在步骤a)和b)中，所述肤色模型是离线建立的静态模型。
3.如权利要求1所述的一种色情图像检测方法，其特征在于，在步骤f)中，所述肤色模型根据步骤d)中检测到的人脸区域的颜色分布信息在线建立的动态模型。
4.如权利要求1所述的一种色情图像检测方法，其特征在于，步骤d)中检测到的每个人脸区域对应步骤f)中的一个人体肤色模型。
5.如权利要求1所述的一种色情图像检测方法，其特征在于，步骤h)中的肤色掩码图像是步骤g)中每次检测结果的总和。
6.如权利要求1所述的一种色情图像检测方法，其特征在于，步骤j)中预先设定的人脸数目的阈值大于2。
全文摘要
本发明公开了一种色情图像检测方法，旨在提高对色情图像检测的准确率。其技术要点是通过肤色检测，排除含有很少肤色像素的图像；进行人脸检测，判断图像中是否包含人脸；利用检测到的人脸区域的颜色分布信息建立人体肤色模型；根据所建立的人体肤色模型，检测图像中的人体皮肤区域；抽取图像中与人脸相关的具有高级语义内容的视觉特征；最后根据所抽取的图像视觉特征进行图像分类，判断图像是否为色情图像。
文档编号G06K9/64GK1704966SQ20041004287
公开日2005年12月7日 申请日期2004年5月28日 优先权日2004年5月28日
发明者高文, 郑清芳, 王伟强, 张明吉 申请人:中国科学院计算技术研究所