专利名称：多角度人脸检测装置与方法
技术领域：
本发明属于图像处理技术领域中的一种多角度人脸检测装置与方法。本发明使用多角度人脸检测方法判断摄像头采集的彩色图像中是否存在人脸，如果有人脸则定位图像中人脸的位置和所占的区域。
背景技术：
人脸检测是判断指定图像中所有人脸(如果存在)的位置和大小的过程，它是一项基础性工作，广泛应用于人机交互，人脸识别与跟踪，图像增强和检索，基于内容的视频编码等领域，已经成为模式识别和计算机视觉中十分活跃的研究课题。北京智安邦科技有限公司提出的专利申请“人脸检测方法及系统”(专利申请号 CN200910077430. 2，公开号CN10173卯49A)公开了一种用于驾驶员疲劳检测的人脸检测方法及系统。该方法的实施步骤是步骤一，预处理图像，彩色图像灰度化处理和降低图像分辨率；步骤二，处理图像，包括获取连通区域和获取积分图像；步骤三，选定候选人脸区域， 根据获取的连通区域及积分图像，选定候选人脸区域；步骤四，验证候选人脸区域，通过判决条件滤除虚假的人脸区域，并输出人脸区域。该专利申请还公开了一种装置，包括预处理图像模块、处理图像模块、选定候选人脸区域模块和验证候选人脸区域模块。该方法虽然简单有效的进行了人脸检测，较好的保证了驾驶员疲劳检测中的人脸和人眼定位，但是仍然存在的不足是该方法首先将彩色图像转化为灰度图像再进行人脸检测，没有有效的利用彩色信息，增加了处理时间；另外该发明公开的装置结构复杂，实现困难。华为技术有限公司提出的专利申请“一种人脸检测方法及装置”(专利申请号 200810198047. 8，公开号CN101344922A)公开了一种人脸检测方法。该方法实施步骤是步骤一，基于灰度统计模型对视频当前帧中的人脸进行检测，获得候选人脸区域；步骤二，基于单通道肤色模型对候选人脸区域进行肤色过滤，获得人脸检测结果。此外，该专利申请还公开了一种装置，该装置包括人脸区域检测模块，用于基于灰度统计模型对视频当前帧中的人脸进行检测，获得候选人脸区域；肤色过滤模块，用于基于单通道肤色模型对人脸区域检测模块所获得的候选人脸区域进行肤色过滤，获得人脸检测结果。该方法虽然利用人脸的灰度结构本身存在与其它事物相区分的特殊性进行人脸检测，同时利用基于单通道肤色模型对候选人脸区域进行肤色过滤排除大部分假正脸，但是仍然存在的不足是该方法首先采用了 boosting算法进行人脸检测再进行肤色过滤，boosting方法主要对正面人脸检测较为有效，但对水平方向其他角度人脸(如侧面人脸)检测效果较差，并不能实现多角度人脸检测。
发明内容
本发明针对现有技术的不足，提出一种彩色图像中多角度人脸检测的装置和方法，可以有效的利用彩色图像中肤色信息，实现水平方向的多角度人脸检测。为了实现上述目的，本发明装置包括图像采集模块，模数转换模块，图像处理模块，数据存储模块和通信模块五个模块，各模块之间通过总线连接；其中，图像采集模块采用电荷耦合器件摄像头采集外部模拟信号彩色图像数据，并将数据传送给模数转换模块； 模数转换模块采用数模转换芯片将图像采集模块获取的模拟信号数据转换为数字信号数据，为图像处理模块提供数据；图像处理模块采用数字信号处理器对获取的图像数字信号进行处理，通过多角度人脸检测算法，实现图像中人脸的检测；数据存储模块完成程序和图像数据的存储，以及图像处理过程中中间数据的暂存；通信模块采用通用串行总线发送和接收装置，实现与外部的串行通信，输出人脸检测结果。本发明装置实现多角度人脸检测方法包括如下步骤(1)建立人眼分类器la)采用手工标记方法从包含人眼的灰度图片中切割出人眼的双眼和左、右单眼图像；从不包含人眼的灰度图片随机切割出非人眼图像，人眼图像和非人眼图像分别作为训练时的正样本和负样本；lb)将收集到的人眼双眼和单眼图像的正样本和非人眼图像的负样本缩放为相同尺寸的样本；Ic)用直方图均衡法对缩放后正负样本进行光照补偿，获得补偿后的正负样本；Id)对补偿后的正负样本进行矩形特征提取，分别建立双眼和单眼级联分类器。(2)建立侧面人脸模板2a)收集水平方向朝右偏转20 50度之间的半侧人脸和水平方向朝右偏转50 90度之间的全侧人脸图像作为样本；2b)将收集到的样本缩放为相同尺寸大小的样本；2c)用直方图均衡法对缩放后的样本进行光照补偿，获得补偿后的样本；2d)对补偿后的样本进行灰度二值化处理，获得二值化样本；2e)分别将人脸的二值化样本相同位置像素点的灰度值累加后求平均值，将平均值图像分别作为朝右偏转的半侧人脸模板和全侧人脸模板，利用人脸对称性得到朝左偏转的半侧人脸模板和全侧人脸模板。(3)获取待处理图像图像采集模块将获取的模拟信号彩色图像输入到数模转换模块，模数转换模块将转换后的数字信号彩色图像作为后续待处理图像。(4)获取候选人脸区域4a)利用椭圆肤色模型法检测待处理图像的肤色点，获得图像的肤色区域；4b)对肤色区域进行肤色二值化图像处理，获得二值图像；4c)对二值图像进行积分投影，获得肤色区域的长度和宽度，将长宽比例在0. 5 2之间的肤色区域定为候选人脸区域。(5)判定正面人脸5a)将候选人脸区域转化为灰度图像；5b)将灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤Ic)建立的双眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过双眼分类器检测的窗口，说明检测到双眼，则判定存在正面人脸，执行步骤(8)；否则，执行下一步骤。(6)判定半侧人脸
6a)将步骤5a)中灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤lc)建立的单眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过单眼分类器检测的窗口，说明检测到单眼，则对灰度图像区域进行灰度二值化处理，获得二值图像，执行下一步骤；否则，执行步骤(7)；6b)利用步骤2e)建立的半侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0.6，则判定存在半侧人脸，执行步骤(8)；否则，执行下一步
马聚ο(7)判定全侧人脸7a)将步骤5a)的灰度图像区域进行灰度二值化处理，获得二值图像；7b)利用步骤2e)建立的全侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0. 6，则判定存在全侧人脸，否则判定该图像中无人脸，执行步骤⑶。(8)输出检测结果。本发明与现有技术相比有以下优点第一，本发明采用肤色模型检测出彩色图像中比例相对较小的肤色区域，然后在该区域进行人脸检测，克服了现有技术对整幅图像进行人脸检测计算量较大的缺点，使本发明节省了计算资源，提高了处理速度。第二，本发明采用肤色检测、人眼检测和模板匹配相结合的方法，克服了现有技术只能检测正面人脸的缺点，使本发明可以检测水平方向多个角度的人脸，包括正面人脸和侧面人脸。第三，本发明采用二值图像建立侧面人脸模板进行侧面人脸检测，充分利用了人脸侧面特征分布简单的特点，克服了现有技术模板建立复杂的缺点，使本发明侧面人脸模板建立容易，判定侧面人脸运算简单有效。
图1为本发明装置的方框图；图2为本发明方法的流程图；图3为本发明的仿真效果图。具体实施措施下面结合附图对发明做进一步描述。参照附图1，本发明装置包括五个模块图像采集模块，模数转换模块，图像处理模块，数据存储模块和通信模块，各模块之间通过总线连接。其中，图像采集模块采用电荷耦合器件摄像头采集外部模拟信号彩色图像数据，并将数据传送给模数转换模块；模数转换模块采用数模转换芯片将图像采集模块获取的模拟信号数据转换为数字信号数据，为图像处理模块提供数据；图像处理模块采用数字信号处理器对获取的图像数字信号进行处理，通过多角度人脸检测算法，实现图像中人脸的检测；数据存储模块完成程序和图像数据的存储，以及图像处理过程中中间数据的暂存；通信模块采用通用串行总线发送和接收装置，实现与外部的串行通信，输出人脸检测结果。本发明装置中包括快闪存储器和动态随机存储器，快闪存储器完成程序的存储，动态随机存储器完成图像数据的暂存和提供多角度人脸检测算法所需的内存。在本发明实施例中，图像采集模块采用SONY HQl型号电荷耦合器件摄像头，其信号制式为逐行倒相制式，分辨率(水平中心)为540电视行；模数转换模块采用ADV7183数模转换芯片，它是一款包含10位模数转换器的增强型视频解码器，内含两个10位精确模数转换器和完整的自动增益控制电路，有6个模拟视频信号输入信道，可以将模拟信号图像转换为数字信号图像；图像处理模块采用ADSPBF533芯片，可以提供强大的数字信号处理运算能力和多种接口，不但可以完成传统微处理器的控制功能，还可以针对图像特点运用二维直接内存存取传输数据，大大加快图像数据的传送和处理；快闪存储器采用M25P64芯片，动态随机存储器采用ffl~48LC32M16A2TG-75芯片；通信模块采用MAX232芯片组成符合标准RS232协议的串口通信电路。结合附图2对本发明方法的具体步骤描述如下步骤1，建立人眼分类器采用手工标记方法从包含人眼的灰度图片中切割出人眼的双眼和左、右单眼图像；从不包含人眼的灰度图片随机切割出非人眼图像，人眼图像和非人眼图像分别作为训练时的正样本和负样本。将收集到的正负样本缩放为相同尺寸，本发明实施例中将双眼样本图像缩放为 22X5像素，单眼样本图像归一化为18X12像素，非人眼样本分别对应人眼样本缩放为相同的尺寸。为了调整正负样本的亮度，用直方图均衡法对缩放后的正负样本进行光照补偿， 首先计算正负样本的灰度直方图，然后将直方图的分布变化为均勻分布的形式，由此获得补偿后正负样本。将矩形作为人眼检测的特征向量对补偿后的正负样本进行特征提取，采用 Adaboost算法分别建立双眼和单眼级联分类器，首先利用提取的特征训练弱分类器，再由弱分类器级联构成强分类器，然后由强分类器级联构成级联分类器。级联分类器的构建采用由重到轻，由简到繁的方法，这种方法可以在前面层检测人眼的同时排除大量非人眼，而把次要的特征放在后面层，以便进一步排除，由此能快速有效的完成人眼的检测。步骤2，建立侧面人脸模板收集水平方向朝右偏转20 50度之间的半侧人脸和水平方向朝右偏转50 90 度之间的全侧人脸图像作为样本，所选用的样本都包括完整的头发和脸部，并且这些图像中头发都没有遮挡耳朵。把收集到的样本缩放为相同尺寸大小的样本，本发明实施例中将样本统一缩放为70 X 110像素大小。为了调整样本的亮度，用直方图均衡法对缩放后的样本进行光照补偿，首先计算样本的灰度直方图，然后将直方图的分布变化为均勻分布的形式，由此获得补偿后样本。对补偿后的样本进行灰度二值化处理，将样本中灰度值小于一定阈值的像素赋灰度值的一个极值，大于该阈值的像素赋相反的极值，由此获得二值样本。本发明实施例中， 灰度二值化处理的阈值设定为90，将灰度值大于90的像素赋值255，小于90的像素赋值0。分别将半侧和全侧人脸二值样本相同位置像素点的灰度值累加后求平均值，获得平均图像，将平均图像分别作为朝右偏转的半侧人脸模板和全侧人脸模板，利用人脸对称性得到朝左偏转的半侧人脸模板和全侧人脸模板。
步骤3，获取待处理图像图像采集模块将获取的模拟信号彩色图像输入到数模转换模块，模数转换模块将转换后的数字信号彩色图像作为后续待处理图像。步骤4，获取候选人脸区域利用椭圆肤色模型法检测待处理图像的肤色点，在色彩空间YCrCb中，对待处理图像中每个像素点经过下式运算，求该点在CrCb空间中的特征值
权利要求
1.一种多角度人脸检测装置，包括图像采集模块，模数转换模块，图像处理模块，数据存储模块和通信模块五个模块，各模块之间通过总线连接；其中所述图像采集模块采用电荷耦合器件摄像头采集外部模拟信号彩色图像数据，并将数据传送给模数转换模块；所述模数转换模块采用数模转换芯片将图像采集模块获取的模拟信号数据转换为数字信号数据，为图像处理模块提供数据；所述图像处理模块采用数字信号处理器对获取的图像数字信号进行处理，通过多角度人脸检测算法，实现图像中人脸的检测；所述数据存储模块完成程序和图像数据的存储，以及图像处理过程中中间数据的暂存；所述通信模块采用通用串行总线发送和接收装置，实现与外部的串行通信，输出人脸检测结果。
2.根据权利要求1所述的多角度人脸检测装置，其特征在于，所述数据存储模块包括快闪存储器和动态随机存储器，快闪存储器完成程序的存储，动态随机存储器完成图像数据的暂存和提供多角度人脸检测算法所需的内存。
3.一种多角度人脸检测方法，包括如下步骤(1)建立人眼分类器la)采用手工标记方法从包含人眼的灰度图片中切割出人眼的双眼和左、右单眼图像； 从不包含人眼的灰度图片随机切割出非人眼图像，人眼图像和非人眼图像分别作为训练时的正样本和负样本；lb)将收集到的人眼双眼和单眼图像的正样本和非人眼图像的负样本缩放为相同尺寸的样本；Ic)用直方图均衡法对缩放后正负样本进行光照补偿，获得补偿后的正负样本； Id)对补偿后的正负样本进行矩形特征提取，分别建立双眼和单眼级联分类器；(2)建立侧面人脸模板2a)收集水平方向朝右偏转20 50度之间的半侧人脸和水平方向朝右偏转50 90 度之间的全侧人脸图像作为样本；2b)将收集到的样本缩放为相同尺寸大小的样本；2c)用直方图均衡法对缩放后的样本进行光照补偿，获得补偿后的样本；2d)对补偿后的样本进行灰度二值化处理，获得二值化样本；2e)分别将人脸的二值化样本相同位置像素点的灰度值累加后求平均值，将平均值图像分别作为朝右偏转的半侧人脸模板和全侧人脸模板，利用人脸对称性得到朝左偏转的半侧人脸模板和全侧人脸模板；(3)获取待处理图像图像采集模块将获取的模拟信号彩色图像输入到数模转换模块，模数转换模块将转换后的数字信号彩色图像作为后续待处理图像；(4)获取候选人脸区域4a)利用椭圆肤色模型法检测待处理图像的肤色点，获得图像的肤色区域； 4b)对肤色区域进行肤色二值化图像处理，获得二值图像；4c)对二值图像进行积分投影，获得肤色区域的长度和宽度，将长宽比例在0. 5 2之间的肤色区域定为候选人脸区域；(5)判定正面人脸5a)将候选人脸区域转化为灰度图像；5b)将灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤lc)建立的双眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过双眼分类器检测的窗口，说明检测到双眼，则判定存在正面人脸，执行步骤(8)；否则，执行下一步骤；(6)判定半侧人脸6a)将步骤5a)中灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤lc)建立的单眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过单眼分类器检测的窗口，说明检测到单眼，则对灰度图像区域进行灰度二值化处理，获得二值图像，执行下一步骤；否则，执行步骤(7)；6b)利用步骤2e)建立的半侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0.6，则判定存在半侧人脸，执行步骤(8)；否则，执行下一步骤；(7)判定全侧人脸7a)将步骤5a)的灰度图像区域进行灰度二值化处理，获得二值图像；7b)利用步骤2e)建立的全侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0. 6，则判定存在全侧人脸，否则判定该图像中无人脸，执行步骤 ⑶；(8)输出检测结果。
4.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤Id)所述的矩形特征是指将矩形作为人眼检测的特征向量。
5.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤Id)所述的级联分类器采用Adaboost算法建立，该方法先训练弱分类器，由弱分类器级联构成强分类器，再由强分类器级联构成的分类器。
6.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤2d)、步骤6a)和步骤7a)所述的灰度二值化处理是将灰度图像中灰度值小于一定阈值的像素赋灰度值的一个极值，大于该阈值的像素赋相反的极值。
7.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤4a)所述的椭圆肤色模型法是在色彩空间YCrCb中，对图像中一个像素点经过下式运算，求该点在CrCb空间中的特征值
8.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤4b)所述的肤色二值化处理是将图像中肤色区域在另一幅同样大小的灰度图像中的对应位置赋灰度值的一个极值，非肤色区域的对应位置赋相反的极值。
9.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤如)所述的积分投影方法是将二值图像进行水平投影和垂直投影得到投影图，垂直投影图中肤色分布集中区域的宽度为肤色区域的长度，水平投影图中肤色分布集中区域的宽度为肤色区域宽度。
10.根据权利要求3所述的多角度人脸检测方法，其特征在于，步骤6b)和步骤7b)所述的相关系数通过下式计算获得
全文摘要
本发明公开一种多角度人脸检测装置与方法，主要解决现有技术中不能有效利用图像中彩色信息和主要针对单个角度检测人脸的问题。其装置包括图像采集模块、模数转换模块、图像处理模块、数据存储模块和通信模块。其方法步骤为(1)建立人眼检测器；(2)建立侧面人脸模板；(3)获取待处理图像；(4)获取互选人脸区域；(5)判定正面人脸；(6)判定侧面人脸；(7)判定全侧人脸；(8)输出检测结果。本发明有效的利用了图像中的肤色信息，节省了计算资源，提高了处理速度；采用二值图像建立模板，可以简单有效的判定侧面人脸；将肤色检测、人眼检测和模板匹配方法结合，能够准确的检测水平方向多个角度的人脸。
文档编号G06K9/00GK102426646SQ20111032667
公开日2012年4月25日 申请日期2011年10月24日 优先权日2011年10月24日
发明者任艳朋, 张小华, 焦李成, 王桂婷, 田小林, 缑水平 申请人:西安电子科技大学