一种视频图像中大胡子检测的方法及系统的制作方法
【专利摘要】本发明涉及一种视频图像中大胡子检测的方法及系统，该方法通过根据获取视频图像宽高设置该视频图像中待检测的感兴趣区域；对感兴趣区域按预设前景检测方法进行前景检测，获得前景区域；在前景区域内进行基于Haar特征的人脸检测，获得人脸区域；在所述人脸区域进行肤色检测，定位出嘴部区域；计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并判断该比例是否超过设定的阈值，如超过则判定为大胡子，从而为在视频图像中有效地进行大胡子目标人物检测提供一种有效的检测手段。
【专利说明】
一种视频图像中大胡子检测的方法及系统
技术领域
[0001] 本发明属于图像识别技术领域，具体涉及一种视频图像大胡子检测的方法及系 统。
【背景技术】
[0002] 在一些不安全的地区，为了社会安全的需要，对一些穿着特别服饰或具有特别特 征的人物需要进行特别检测识别，提前进行预警提示，以提醒人们提前采取预防性措施。目 前的图像检测虽然可以采集监控区域的图像做到实时监测，但无法对采集的图像进行实时 分析，特别是对于一些可能的不安定人物，如留有大胡子的人，因为留有大胡子的人由于留 有大胡子，采用普通的面部识别技术对其面部特征很难识别，很难做到对这类人的有效监 控与预防，无法做到实时识别并提前预警提示。
【发明内容】
[0003] 本发明的目的在于解决上述的技术问题而提供一种视频图像中大胡子检测的方 法及系统。
[0004] 为实现上述目的，本发明采用如下技术方案：
[0005] -种视频图像中大胡子检测的方法，包括以下步骤：
[0006] 根据获取视频图像宽高设置该视频图像中待检测的感兴趣区域；
[0007]对所述感兴趣区域按预设前景检测方法进行前景检测，获得前景区域；
[0008] 在所述前景区域内进行基于Haar特征的人脸检测，获得人脸区域；
[0009] 在所述人脸区域进行肤色检测，定位出嘴部区域；
[0010] 计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并判断该比例是否超过设 定的阈值，如超过则判定为大胡子。
[0011]所述感兴趣区域为该帧视频图像中清晰度符合预设清晰度值的人脸区域。
[0012] 在所述人脸区域进行肤色检测的步骤为：
[0013] 首先运用均值滤波的方法对图像进行光照的补偿，再采用高斯模型进行肤色检 测，最后用0STU自适应阈值的方法将图像转换为输出肤色部分1、非肤色部分为0的二值图 像。
[0014] 所述嘴部区域与所述人脸区域均为矩形区域，所述嘴部区域为所述人脸区域的高 的2/3--4/5的矩形区域。
[0015] 所述前景检测方法为Vibe前景检测方法。
[0016] 本发明的目的还在于提供一种视频图像中大胡子检测的系统，包括：
[0017] 检测区域设置模块，用于获取一帧视频图像并设置该帧视频图像中待检测的感兴 趣区域；
[0018] 感兴趣区域获取模块，用于根据获取视频图像宽高设置该视频图像中待检测的感 兴趣区域；
[0019] 前景区域获取模块，用于对所述感兴趣区域按预设前景检测方法进行前景检测， 获得前景区域；
[0020] 人脸区域获取模块，用于在所述前景区域内进行基于Haar特征的人脸检测，获得 人脸区域；
[0021] 嘴部区域获取模块，用于在所述人脸区域进行肤色检测，定位出嘴部区域；
[0022] 大胡子判定模块，用于计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并 判断该比例是否超过设定的阈值，如超过则判定为大胡子。
[0023] 本发明通过以上技术方案，可以快速地在视频图像中检测出图像中的人物是否有 大胡子，并在检测出大胡子时进行报警，从而为在视频图像中检测图像中的人是否有大胡 子提供了 一种有效的检测解决方法。
【附图说明】
[0024] 图1为本发明实施例提供的视频图像中大胡子检测的方法的流程图；
[0025] 图2为Haar-like特征的示意图；
[0026] 图3为积分图；
[0027]图4所示级联强分类器的示意图。
【具体实施方式】
[0028] 下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局 限于所列的实施例。
[0029] 参见图1所示，一种视频图像中大胡子检测的方法，包括以下步骤：
[0030] S101，根据获取视频图像宽高设置该视频图像中待检测的感兴趣区域；
[0031] S102,对所述感兴趣区域按预设前景检测方法进行前景检测，获得前景区域；
[0032] S103,在所述前景区域内进行基于Haar特征的人脸检测，获得人脸区域；
[0033] S104,在所述人脸区域进行肤色检测，定位出嘴部区域；
[0034] S105,计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并判断该比例是否 超过设定的阈值，如超过则判定为大胡子，否则返回步骤S101。
[0035] 本发明通过以上技术方案，可以快速地在视频图像中检测出图像中的人物是否有 大胡子，并在检测出大胡子时进行报警，从而为在视频图像中检测图像中的人是否有大胡 子提供了 一种有效的检测解决方法。
[0036]本发明中，所述感兴趣区域为该帧视频图像中清晰度符合预设清晰度值的人脸区 域。
[0037] 本发明中，根据获取视频图像宽高设置该视频图像中待检测的感兴趣区域主要是 获取视频序列的宽和高，然后根据视频图像的宽和高计算出感兴趣区域的在视频图像中的 位置和宽高，从而实现设置感兴趣区域。
[0038] 本发明中，所述感兴趣区域是整个视频图像中人脸区域较为清晰的区域，在后续 的检测将在感兴趣区域内进行，这样要比在整幅图像中检测所用时间要少很多，提高了检 测速度。
[0039]本发明中，对感兴趣区域进行前景检测，获得前景区域，即获得前景区域所在矩形 的大小和位置，为后续在前景区域检测人脸区域提供了前提。
[0040] 具体在进行前景区域检测时，如可以采用Vibe(Visual Background extractor) 前景检测方法，下面对该前景检测方法的模型的工作原理;模型的初始化方法;模型的更新 策略进行说明如下。
[0041 ] 1.模型的工作原理
[0042]背景物体就是指静止的或是非常缓慢的移动的物体，而前景物体就对应移动的物 体。这样可以把物体检测看成一个分类问题，也就是来确定一个像素点是否属于背景点。在 ViBe检测模型中，背景模型为每个背景点存储了一个样本集，然后将每一个新的像素值和 样本集进行比较来判断是否属于背景点。可以知道如果一个新的观察值属于背景点那么它 应该和样本集中的采样值比较接近。
[0043]具体的讲，记v(x)为X点处的像素值;1(1) = {￥1，￥2，-1〃}为1处的背景样本集(样 本集大小为N); SR(v(x)):以X为中心R为半径的区域，如果M(x) [ {SR(v(x)) Π {vi, V2,...， vn} }]大于一个给定的阈值min,那么就认为x点属于背景点。
[0044] 2.模型的初始化方法
[0045] ViBe初始化就是填充像素的样本集的过程，由于一帧图像中不可能包含像素点的 时空分布信息，为此利用相近像素点拥有相近的时空分布特性，具体来讲就是:对于一个像 素点，随机的选择它的邻居点的像素值作为它的模型样本值。Mo( X) = {VQ(y | y eNG(x))}，t =〇初始时刻，NG(x)即为邻居点。这种初始化方法优点是对于噪声的反应比较灵敏，计算量 小速度快，可以很快的进行运动物体的检测，缺点是容易引入Ghost区域。
[0046] 3.模型的更新策略
[0047] 本方法中采用的更新策略是保守的更新策略+前景点计数方法。
[0048]前景点计数:对像素点进行统计，如果某个像素点连续N次被检测为前景，则将其 更新为背景点。
[0049] 随机的子采样:在每一个新的视频帧中都去更新背景模型中的每一个像素点的样 本值是没有必要的，当一个像素点被分类为背景点时，它有1/ Φ的概率去更新背景模型。
[0050] 具体的更新方法:每一个背景点有1/Φ的概率去更新自己的模型样本值，同时也 有l/φ的概率去更新它的邻居点的模型样本值。更新邻居的样本值利用了像素值的空间传 播特性，背景模型逐渐向外扩散，这也有利于Ghost区域的更快的识别。同时当前景点计数 达到临界值时将其变为背景，并有1/Φ的概率去更新自己的模型样本值。
[0051] 在选择要替换的样本集中的样本值时候，随机选取一个样本值进行更新，这样可 以保证样本值的平滑的生命周期由于是随机的更新，这样一个样本值在时刻t不被更新的 概率是(N-l)/N，假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率是
[0052]
[0053] 也可以写作，
[0054]
[0055]这就表明一个样本值在模型中是否被替换与时间t无关，随机策略是合适的。
[0056]通过前景检测后如检测出有前景图像则输出的是一个二值图像，其前景图像像素 值为1，背景图像像素值为〇,由于前景图像并不为一个连通区域，对此二值图像做多次腐 蚀，将其连通成为一个区域，再通过边缘检测，即可获得前景区域所在矩形的大小和位置， 从而确定前景区域或前景图像的轮廓，如在前景检测中未检测出有前景图像，则返回第一 步继续进行。
[0057]本发明中，在获得前景区域所在矩形大小和位置之后，在原RGB图像的矩形内进行 基于Haar特征的人脸检测，具体就是基于Haar特征的adaboost级联强分类器进行特征分 类，以判断前景图像是否为人脸图像，如是即获得相应的人脸区域，用混合高斯模型对人脸 区域进行肤色检测，并定位出嘴部区域，否则返回第一步继续进行检测。
[0058] 为了便于理解，以下基于Haar特征的adaboost级联强分类器的人脸检测做一说 明。
[0059] 1、Haar特征和积分图
[0060] Haar-like特征可见图2表示，每个特征由2~3个矩形组成，在这些小波示意图中， 浅色区域表示"累加数据"，深色区域表示"减去该区域的数据"。分别检测边界特征(Edge features)、线特征（Line features)、中心环绕特征（Center-surround features)，，这些 特征可表示为：
[0061]
[0062]其中，Wi为矩形的权，RectSum(ri)为矩形ri所围图像的灰度积分，N是组成 feature j的矩形个数。
[0063]如在一个24*24的图片中，有115984个特征，远远大于其像素个数。如果计算每个 特征的像素和，计算量会非常大，而且很多次运算是重复的。
[0064] Paul Viola提出一种利用积分图像法快速计算Haar特征的方法，简单说来，就是 先构造一张"积分图"（Integral image)，也叫Summed Area Table，之后任何一个Haar矩形 特征都可以通过查表的方法(Look Up Table)和有限次简单运算得到，大大减少了运算次 数。
[0065]①将矩形表示为：
[0066] r=(x,y,w,h,a) 0^x,x+w^；ff,0^；y,y+h^；H,x,y^:0,w,h>0,ae {〇° ,45°}
[0067] 其中，x，y表示起点坐标，w，h表示宽，高，a表示角度。
[0068] ②矩形内像素值之和表示为:RecSum(r)
[0069] ③构造积分图像(Summed Area Table)，见图3所示。
[0070] 积分图像中，每个点存储是其左上方所有像素之和：
[0071]
[0072]其中，I(x，y)表示图像(x，y)位置的像素值，积分图像可以采用增量的方式计算：
[0073] SAT(x，y)=SAT(x，y-l)+SAT(x_l，y)+I(x，y)_SAT(x_l，y_l)
[0074] 初始边界：SAT (-1，y) = SAT (x，-1) = SAT (-1，-1) = 0
[0075] 所以只需要对整张图像遍历一次就可以求得这张图的积分图像。
[0076] Adaboost级联强分类器是利用分类能力一般的弱分类器通过一定的方法叠加 (boost)起来，构成分类能力很强的强分类器。Adaboost训练强分类器的算法描述如下：
[0077] 给定一系列训练样本(xi，yi)，（X2，y2)，. . .（xn，yn)，其中xi表示第i个样本，yi=l时 为正样本(人脸），yi = 0表示负样本(非人脸）。对每个特征feature」，训练一个弱分类器hj (X)，之后对每个特征生成的弱分类器计算权重误差：
[0078]
[0079] 将具有最小误差的分类器叠加到强分类器中，并更新训练样本的概率分布：
[0080]
[0081]其中比=￡」/1-6」，61 = 0表示样本11被正确分类，否则61 = 1表示未被正确分类。最 终构成强分类器：
[0082]
[0083]其中b为设置的阈值，默认为0。
[0084] 级联强分类器示意图见图4所示，将多个Haar-like特征FiFs…合起来形成决 策树，通过将输入数据与该多个Haar-like特征阳2··%?行比较，判断符合的输出为人脸 (face)，一级一级地比较不符合的输出为非人脸(not face)。
[0085] Viola-Jones检测器利用瀑布(Cascade)算法分类器组织为筛选式的级联分类器， 级联的每个节点是AdaBoost训练得到的强分类器。在级联的每个节点设置阈值b，使得几乎 所有人脸样本都能通过，而绝大部分非人脸样本不能通过。节点由简单到复杂排列，位置越 靠后的节点越复杂，即包含越多的弱分类器。这样能最小化拒绝图像但区域时的计算量，通 知保证分类器的高检测率和低拒绝率。例如在识别率为99.9%，拒绝率为50%时，（99.9% 的人脸和50%的非人脸可以通过），20个节点的总识别率为：98%，而错误接受率仅为： 0.0001% .
[0086] 以上是基于Haar特征的adaboost分类器的人脸检测的原理。
[0087]本方法中就是运用基于Haar特征的adaboost级联强分类器再在前景区域进行人 脸检测，判断是否为人脸，如果是则获得人脸所在的矩形区域，如果不是则返回进一步检 测。
[0088]本发明中，在人脸区域进行肤色检测，首先运用均值滤波的方法对图像进行光照 的补偿，再采用高斯模型进行肤色检测，最后用0STU自适应阈值的方法将图像转换为二值 图像。为了便于理解，具体说明如下：
[0089] 1.均值滤波
[0090] 均值滤波也称为线性滤波，其采用的主要方法为邻域平均法。线性滤波的基本原 理是用均值代替原图像中的各个像素值，即对待处理的当前像素点（x，y)，选择一个模板， 该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点 (1，7)，作为处理后图像在该点上的灰度个8(1，7)，即个8(1，7) = 1/111乙；^(1，7)，111为该模板 中包含当前像素在内的像素总个数。
[0091] 2.高斯模型肤色检测
[0092] 2.1肤色模型的建立
[0093]为了利用肤色在色度空间的聚类性，选取YCbCr色彩空间进行肤色提取。首先选取 大量彩色图片进行手工处理只保留人体皮肤区域，接下来将彩色图片颜色空间转换到 YCbCr空间，然后对该区域的CbCr值进行统计处理。处理的方法就是采用高斯模型，m = E (X)，x=(CbCr)TC为协方差矩阵，C = E{(x-m)(x-m)T}。
[0094] 通过肤色高斯分布可得到待检测彩色图像中任意一像素点属于皮肤的概率。对于 某像素点s，从RGB空间转换到YCbCr色彩空间得到色度值(Cb，Cr)则该像素的肤色概率密度 可由下式计算得到：
[0095]
[0096] 通过计算，得到m和C的值如下：
[0097] m=[117.4316 148.5599]
[0098]
[0099] 2.2肤色分割步骤
[0100] 图片空间低通滤波是为了减少图像高频噪声的影响，先采用低通滤波器对图象进 行处理。采用的低通滤波器的冲击响应矩阵可以为：
[0101]
[0102] 对于一幅被检测的彩色图像，首先将它由RGB空间转换到YCbCr色彩空间，便于后 面的统计，具体如下：
[0103] (1)得到似然图：根据(Cb，Cr)值通过式(3.3)找到该值所对应的肤色似然度，并且 得到整幅图像的最大肤色似然度。每一点像素的肤色似然度除以最大肤色似然度所得到的 值，作为该像素点的灰度值，从而得到肤色似然度图像，其中每一个像素点的灰度值表征了 这个像素点属于皮肤的概率。
[0104] (2)阈值分割：阈值分割的目的是将皮肤与图片背景分开。通常有固定阈值法、自 适应阈值法等。建议采用固定阈值法，主要是从运算速度上考虑的。当然，相比之下，自适应 的阈值法一般不会漏检，检测效果肯定比固定值法好。
[0105] (3)图像二值化处理:二值化处理的目的是将皮肤区域和其他区域更好地区分开 来。皮肤区域用"Γ (白色)表示，其他区域用"0"（黑色)表示。
[0106] (4)形态学处理:该步骤的目的是改善分割效果。形态学(Morphology)原本是对于 动植物调查时采取的某种形式的研究。数学形态学(Mathematical Morphology)是分析几 何形状和结构的数学方法，它建立在集合代数的基础上，是用集合论方法定量描述集合结 构的学科。1985年之后，数学形态学逐渐成为分析图像几何特征的工具。数学形态学包括一 组基本的形态学运算子：腐蚀（Erosion)，膨胀（Dilation)、开运算（Opening)、闭运算 (Closing)等。运用这些算子及其组合来进行图像形状和结构的分析及处理。形态学的理论 基础是集合论。在图像处理中形态学的集合代表着黑白和灰度图像的形状，如黑白图像中 的所以黑像素点组成了此图像的完全描述。通常选择图像中感兴趣的目标图像区域像素集 合来进行形态学变换。
[0107]通常，当有噪声的图像用闭值二值化时，所得到的边界往往是不平滑的，物体区域 具有一些错判，背景区域上则散布着一些小的噪声。使用形态学上的连续的开和闭运算可 以显著的改善这种情况。开闭运算后的图像可以去除图像上的一些细小的毛刺，达到去噪 的目的。填孔处理可以进一步去除毛刺，但是也将一些非皮肤区域保留为皮肤区域处理。所 以综合考虑后，只采用开闭运算改善效果。
[0108] 通过以上处理后输出的人脸图像为检测为肤色部分为1，非肤色部分为0的二值图 像。
[0109] 本发明中，计算该嘴部区域肤色像素点占嘴部区域总像素点比例之前，还包括以 下步骤：
[0110]通过轮廓特征提取出预设的嘴部及下巴的位置，将它们分割开来，这样就使嘴部 区域的肤色区与非肤色区分开，然后再计算该嘴部区域肤色像素点占嘴部区域总像素点比 例，这样便于进行以下肤色区像素点的个数，便于后续的统计处理。
[0111] 本发明中，所述的在嘴部区域统计肤色像素所占的比例具体可以采用以下方法：
[0112] 在所获得的人脸区域的基础上，将人脸区域高的2/3-4/5的矩形区域作为嘴部区 域进行肤色像素点的统计，即遍历该区域的每一个像素点，计算出像素点的总个数Μ和像素 值为1的像素点（肤色像素点）的个数m，计算m / Μ的值，当它的值在一定的值范围内时，如 0.05到0.3之间时，则可以判定其为大胡子，输出报警，否则返回第一步继续进行检测。
[0113] 本发明的目的还在于提供一种视频图像中大胡子检测的系统，包括：
[0114] 检测区域设置模块，用于获取一帧视频图像并设置该帧视频图像中待检测的感兴 趣区域；
[0115] 感兴趣区域获取模块，用于根据获取视频图像宽高设置该视频图像中待检测的感 兴趣区域；
[0116]前景区域获取模块，用于对所述感兴趣区域按预设前景检测方法进行前景检测， 获得前景区域；
[0117] 人脸区域获取模块，用于在所述前景区域内进行基于Haar特征的人脸检测，获得 人脸区域；
[0118] 嘴部区域获取模块，用于在所述人脸区域进行肤色检测，定位出嘴部区域；
[0119] 大胡子判定模块，用于计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并 判断该比例是否超过设定的阈值，如超过则判定为大胡子。
[0120] 关于本发明的视频图像中大胡子检测的系统的检测方法及原理，请参见视频图像 中大胡子检测的方法的说明，在此不再进行说明。
[0121] 本发明通过以上技术方案，可以快速地在视频图像中检测出图像中的人物是否有 大胡子，并在检测出大胡子时进行报警，从而为在视频图像中检测图像中的人是否有大胡 子提供了 一种有效的检测解决方法。
[0122] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种视频图像中大胡子检测的方法，其特征在于，包括以下步骤： 根据获取视频图像宽高设置该视频图像中待检测的感兴趣区域； 对所述感兴趣区域按预设前景检测方法进行前景检测，获得前景区域； 在所述前景区域内进行基于Haar特征的人脸检测，获得人脸区域； 在所述人脸区域进行肤色检测，定位出嘴部区域； 计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并判断该比例是否超过设定的 阈值，如超过则判定为大胡子。2. 根据权利要求1所述视频图像中大胡子检测的方法，其特征在于，所述感兴趣区域为 该帧视频图像中清晰度符合预设清晰度值的人脸区域。3. 根据权利要求1所述视频图像中大胡子检测的方法，其特征在于，在所述人脸区域进 行肤色检测的步骤为： 首先运用均值滤波的方法对图像进行光照的补偿，再采用高斯模型进行肤色检测，最 后用OSTU自适应阈值的方法将图像转换为输出肤色部分1、非肤色部分为0的二值图像。4. 根据权利要求1所述视频图像中大胡子检测的方法，其特征在于，所述嘴部区域与所 述人脸区域均为矩形区域，所述嘴部区域为所述人脸区域的高的2/3-4/5的矩形区域。5. 根据权利要求1-4任一项所述视频图像中大胡子检测的方法，其特征在于，所述前景 检测方法为Vibe前景检测方法。6. -种视频图像中大胡子检测的系统，其特征在于，包括： 检测区域设置模块，用于获取一帧视频图像并设置该帧视频图像中待检测的感兴趣区 域； 感兴趣区域获取模块，用于根据获取视频图像宽高设置该视频图像中待检测的感兴趣 区域； 前景区域获取模块，用于对所述感兴趣区域按预设前景检测方法进行前景检测，获得 前景区域； 人脸区域获取模块，用于在所述前景区域内进行基于Haar特征的人脸检测，获得人脸 区域； 嘴部区域获取模块，用于在所述人脸区域进行肤色检测，定位出嘴部区域； 大胡子判定模块，用于计算该嘴部区域肤色像素点占嘴部区域总像素点比例，并判断 该比例是否超过设定的阈值，如超过则判定为大胡子。7. 根据权利要求6所述视频图像中大胡子检测的系统，其特征在于，所述感兴趣区域为 该帧视频图像中清晰度符合预设清晰度值的人脸区域。8. 根据权利要求6所述视频图像中大胡子检测的系统，其特征在于，在所述人脸区域进 行肤色检测的步骤为： 首先运用均值滤波的方法对图像进行光照的补偿，再采用高斯模型进行肤色检测，最 后用OSTU自适应阈值的方法将图像转换为输出肤色部分1、非肤色部分为0的二值图像。9. 根据权利要求6所述视频图像中大胡子检测的系统，其特征在于，所述嘴部区域与所 述人脸区域均为矩形区域，所述嘴部区域为所述人脸区域的高的2/3-4/5的矩形区域。10. 根据权利要求6-9任一项所述视频图像中大胡子检测的系统，其特征在于，所述前 景检测方法为Vibe前景检测方法。
【文档编号】G06K9/00GK105975952SQ201610361354
【公开日】2016年9月28日
【申请日】2016年5月26日
【发明人】张德馨
【申请人】天津艾思科尔科技有限公司