一种跟踪人脸的预处理方法及基于视频的智慧健康监视系统的制作方法
【专利摘要】本发明公开了一种跟踪人脸的预处理方法及应用，该方法包括步骤：(1)、通过色彩平衡处理将摄像头采集到的图像恢复至日常光照色温(5500K)下的色彩；(2)、将色彩平衡后的整幅图像进行噪声滤波，该噪声滤波采用中值滤波处理；(3)、利用肤色分割，将图像中属于人体皮肤色彩的部分从背景中分割出来；(4)、进一步约束处理满足人脸正常形态比例的区域才送入下一步人脸检测，否则就过滤掉；(5)、对通过步骤(4)操作后余下的每一块肤色区域进行AdaBoost检测。通过该预处理方法能够有效缩小AdaBoost算法的检测范围，提高检测速度。
【专利说明】
一种跟踪人脸的预处理方法及基于视频的智慧健康监视系统
技术领域
[0001]本发明涉及人脸智能识别领域。
【背景技术】
[0002] 对人脸检测的研究最初可以追溯到20世纪70年代，早期的研究主要致力于模板匹 配、子空间方法，变形模板匹配等。近期人脸检测的研究主要集中在基于数据驱动的学习方 法，如统计模型方法，神经网络学习方法，统计知识理论和支持向量机方法，基于马尔可夫 随机域的方法，以及基于肤色的人脸检测。目前在实际中应用的人脸检测方法多为基于 Adab ο 〇 s t学习算法的方法。
[0003] 而现有技术中，为了提取面部信息，首先利用AdaBoost算法从整幅画面中提取出 人脸，但对全幅画面进行人脸检测时，原始AdaBoost算法会因检测范围过大使得检测速度 过慢，导致检测过程缺乏实时性等问题。
【发明内容】
[0004] 发明目的：提供一种能够缩小AdaBoost算法的检测范围，提尚检测速度的跟踪人 脸的预处理方法，该跟踪人脸的预处理方法能够在进行AdaBoost检测前将检测范围有效缩 小。
[0005] 技术方案:为达到上述目的，本发明可采用如下技术方案：
[0006] -种跟踪人脸的预处理方法，包括以下步骤：
[0007] (1)、通过色彩平衡处理将摄像头采集到的图像恢复至值为5500K的日常光照色温 下的色彩；
[0008] 其中，步骤(1)中包括：
[0009] (1.1)、原始图像为RGB格式，首先将图片从RGB空间转换为YCrCb空间，并将YCrCb 格式下的图像进行分层，即分为Y通道、Cr通道、Cb通道三层，然后选取图片中满足Y- I Cb I -1 Cr I > Φ的像素点为参考白点，其中，Φ为阈值；
[0010] 对于白点区，根据灰度世界理论有R = G = B则Cb = Cr = 0，Yh为参考白点区域的亮
，~表示参考白点区的白点个数，Y (i )表示第i个白点像 素的Y分量值
[0011] (1.2)、根据得到的Yh，对图像中每个像素点计算得到RGB各通道的增益，其中Rh， Gh，Bh为图像在R、G、B三个通道中各自的平均值：
[0015] (1.3)、图像各像素值的调整如下：
[0019] (2)、将色彩平衡后的整幅图像进行噪声滤波，该噪声滤波采用中值滤波处理；
[0020] (3)、利用肤色分割，将图像中人体皮肤色彩的部分从背景中分割出来；
[0021] (4)、将步骤(3)中满足肤色的像素点置为255,不满足的点置为0而将一幅图像依 据肤色变为二值图像;对该二值图进行数字图像处理中的形态学处理，采用开+闭操作双重 模式，将肤色区域中的狭小细缝进行填补，再将非肤色区域中的噪声亮点进行滤除，最后对 剩余的连通域进行一系列条件约束，满足人脸正常形态比例的区域才送入下一步人脸检 测，否则就过滤掉；
[0022] (5)、对通过步骤(4)操作后余下的每一块肤色区域进行AdaBoost检测。
[0023] 有益效果：
[0024] 首先通过步骤3的肤色分割对图像中的人脸区域进行粗检测，该步骤便可以将非 人脸区域大面积排除，然后通过步骤4的形态学滤波与连通域约束，排除掉更多不属于人脸 的区域，如此两步操作剩下的区域变可以将检测区域基本定位到图像中人脸所在的部分。
[0025] 本发明还公开一种基于视频的智慧健康监视系统。
[0026]该基于视频的智慧健康监视系统使用了上述跟踪人脸的预处理方法，同时，还包 括使摄像头跟踪人脸的方法，包括：
[0027] (a)、在获得人脸框后，根据人脸框在视频画面中的位置，形成控制参数，进而自动 调整云台左右旋转与镜头缩放等操作;待操作完毕后，重新对下一帧图像中人脸进行检测， 保证摄像头角度调整后人脸依旧处于视频画面位置；
[0028] (b)、对于已经处于视频图像中心的人脸框进行Camshift跟踪，依据每一帧图像的 跟踪结果，即对显示的人脸窗口进行判断，如果人脸窗口不在视频图像的中心位置，则重复 步骤(a)的操作;如果已经调整到位，则持续对视频图像进行跟踪。
[0029]有益效果:该基于视频的智慧健康监视系统即作为上述跟踪人脸的预处理方法的 一个具体应用。在进行跟踪人脸的预处理后，再使摄像头跟踪人脸。由于在跟踪人脸的预处 理方法中能够显著的提高检测速度，故有利于使摄像头实时的追踪人脸。
【具体实施方式】
[0030]本发明中使用的技术术语：
[0031 ] AdaBoost算法:2001年Viola Johns在Boosting算法基础上提出一个实时人脸检 测算法；
[0032] Camshift:是在Meanshif t基础上增加了自适应窗口大小的跟踪算法，简单并且实 时性较高；
[0033] PCA:由信号的Fourier变换提取局部信息，引入了时间局部化的窗函数，现在窗口 Fourier变换即称为称为Gabor变换;通过Gabor变换提取到人脸的特征信息，再通过PCA算 法降维，得到Gabor变换中的主成分，然后可以通过不同的分类器或者机器学习方法进行表 情提取
[0034]角点检测：即将图像中的二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大 值的点检测出来，然后通过一些角点匹配算法如sift, harris, surf等进行角点间的匹配。 [0035]本发明公开一种跟踪人脸的预处理方法，包括以下步骤：
[0036] (1)、通过色彩平衡处理将摄像头采集到的图像尽可能统一恢复至日常光照色温 (5500K左右)下的色彩，从而确保人体肤色能准确重现，为后续提取人脸部分的肤色图像奠 定基础；
[0037]其中，步骤(1)中包括：
[0038] (1.1)、原始图像为RGB格式，首先将图片从RGB空间转换为YCrCb空间，并将YCrCb 格式下的图像进行分层，即分为Y通道、Cr通道、Cb通道三层，然后选取图片中满足Y- | Cb | -1 Cr | > Φ的像素点为参考白点，其中，Φ为阈值；
[0039] 对于白点区，根据灰度世界理论有R = G = B则Cb = Cr = 0，Yh为参考白点区域的亮 度平均值
.，N表示参考白点区的白点个数，Y(i)表示第i个白点像 素的Y分量值
[0040] (1.2)、根据得到的Yh，对图像中每个像素点计算得到RGB各通道的增益，其中Rh， Gh，Bh为图像在R、G、B三个通道中各自的平均值：
[0044] (1.3)、图像各像素值的调整如下：
[0048] (2)、将色彩平衡后的整幅图像进行噪声滤波，该噪声滤波采用中值滤波处理;避 免噪声对后续提取肤色时的不必要干扰。
[0049] (3)、进入肤色提取模块。利用肤色分割，将图像中可能是人体皮肤色彩的部分从 背景中分割出来。由于人脸属于皮肤区域，一般情况下特别是在室内时面部无遮挡，人脸检 测时，对肤色区域进行检测即可初步实现对人脸部分的分离，并不需要对整幅图像进行判 断，这样一来可大大降低检测的时间，也可以增强检测的准确度。
[0050] 在该步骤中，相对于YCrCb空间来讲，Lab色彩空间没有被广泛使用，并且色彩的显 示方式与YCrCb截然不同，本发明利用大量统计可以得出肤色在Lab空间每个通道中的分布 情况，再导出某个简单的阈值关系f (L，a，b)，HSV模型建立起一种配比关系g(H，S，V)，最后 采用两种融合
[0051] h(x，y) =f(L，a，b) Π g(H，S，V)
[0052] 通过这种关系模型对像素点进行判断
[0053] Stepl:在HSV模型下作一些变化，将经典的HS分布模型转换为H-SV模型，发现其也
[0054] 其中，k是混合阶数：
Σ^(1Χ d阶矩阵。其中的参数采用EM(Expectation-Maximitation)算法获得。
[0055] 通过一系列计算，满足本系统条件的简化模型为：
[0056] 0·005〈H〈0·14，0·2〈SV〈0·55，V>0·4
[0057] 5七6口2:给出以1^，&，13) = {1 = 68.9492，& = 12.6222，匕=11.7947}
[0058] Step3:满足11(^7)=€〇^，&，13)门8(!1，5，￥)即为最终的肤色点区域，对整个图像按 此模板计算后得到最终的肤色二值图片，满足肤色的像素值被置为255(亮），不满足的则为 0〇
[0059] (4)、将步骤(3)中满足肤色的像素点置为255,不满足的点置为0而将一幅图像依 据肤色变为二值图像;对该二值图进行数字图像处理中的形态学处理，采用开+闭操作双重 模式，将肤色区域中的狭小细缝进行填补，再将非肤色区域中的噪声亮点进行滤除，最后对 剩余的连通域进行一系列条件约束，满足人脸正常形态比例的区域才送入下一步人脸检 测，否则就过滤掉。
[0060] (5)、对通过步骤(4)操作后余下的每一块肤色区域进行AdaBoost检测；一幅图像 中可能会存在很多人脸候选窗口被送入AdaBoost检测，并且每一个人脸候选窗口中也可能 会检测出多个人脸，在一幅图像所有的待检测区都检测完成后，根据系统要求，只保留面积 最大，效果最好的一个人脸进行跟踪。这个效果包括对人脸形态比例、色彩区域等多个要 求。
[0061] 而上述的跟踪人脸的预处理方法，可以应用到健康监视系统，在本发明中也公开 了这样的一个应用。即一种基于视频的智慧健康监视系统，在采用了上述的跟踪人脸的预 处理方法的基础上，还包括使摄像头跟踪人脸的方法，包括：
[0062] (a)、在获得人脸框后，根据人脸框在视频画面中的位置，形成控制参数，进而自动 调整云台左右旋转与镜头缩放等操作;待操作完毕后，重新对下一帧图像中人脸进行检测， 保证摄像头角度调整后人脸依旧处于视频中心位置；
[0063] (b)、对于已经处于视频图像中心的人脸框进行Camshift跟踪，依据每一帧图像的 跟踪结果，即对显示的人脸窗口进行判断，如果人脸窗口不在视频图像的中心位置，则重复 Stepl的操作；如果已经调整到位，则持续对视频图像进行跟踪。在该步骤（b)中，采用 Camshif t跟踪的过程中，在CamShif t迭代时，对当前跟踪窗口进行HSV空间转换，然后依据Η 通道的反向投影图进行不断地循环迭代;在计算反向投影图时，首先对Η通道进行一次直方 图计算，对满足!1通道:0-180,3通道 :81^11-100，￥通道:0-100的区域进行处理；
[0064] 其中，S通道中，将Smin(i+1) = Smin(i)*area(i_l)/area(i)，将Smin与每次迭代 的窗口大小进行关联，area( i-1)表示上一次迭代的窗口面积，area( i)表示本次迭代后的 窗口面积，Smin(i)表示本次计算直方图时的Smin，Smin( i+Ι)表示下一次迭代时的Smin大 小;Η通道也采用与该S通道中同样的方式动态调整，即将Hmin(i+1) =Hmin(i)*area(i-l)/ area( i)，将Hmin与每次迭代的窗口大小进行关联，area( i-1)表示上一次迭代的窗口面积， area(i)表示本次迭代后的窗口面积，Hmin(i)表示本次计算直方图时的Hmin，Hmin(i+l)表 示下一次迭代时的Hmin大小。
[0065] 在该步骤(b)中，还包括跳变校验的算法优化，包括：
[0066] 限制每一次Camshift跟踪得到的新窗口的长宽比的阈值；
[0067] 限制初始窗口与新窗口之间的长和宽比的阈值。
[0068] 其中，优选的，限制每一次Camshift跟踪得到的新窗口的长宽比为[0.78,1.1];初 始窗口与新窗口之间的长和宽比分别为[0.77,1.3]，[0.77,1.3]。这两个比例都是根据本 系统给出的结果，不同的系统可以根据当时的情况自行更改。经过两个条件约束后的窗口， 既满足人脸与镜头保持距离不变情况下的跟踪，也能保证人脸在靠近或者远离镜头情况下 的跟踪。
[0069]人脸定位完成后，给红外温度探测系统发出操作信号，这时安装在摄像头机身上 的红外测温器的测温区域会自动对准人脸面部三角区，开始采集记录面部区域的温度，在 视频采集期间，相应的温度信息作为人体的生理参数之一被采集并上传；
[0070] 在定位完成并持续跟踪的情况下，对连续采集的人脸图像进行微表情分析，通过 表情识别，给出相应的表情信息，并作为人体的一种健康信息上传。
[0071] 体温与人脸表情信息将与人体的其他生理信息一起输入到后续的系统中进行处 理，从而实现对该用户人体健康状况的评估。
[0072] 在采集信息的过程中，表情信息的提取已经是一种热门的研究，但更多的是利用 Gabor小波+PCA或者角点检测等方式进行;于是提出一种新的方案:人在进行视频拍摄过程 中可能会故意做出一些不符合当前生理状态的表情，比如身体疼痛状态下，故意面露笑容 来拍摄等。利用微表情分析，将采集后的视频图像进行分析，根据面部表情的一些特征计算 出实际应有的生理状态，将机器学习等方法引入心理测评的功能来实现这一方案，并在分 析后给出一定的综合评价。
[0073] 另外，本发明的具体实现方法和途径很多，以上所述仅是本发明的优选实施方式。 应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做 出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各 组成部分均可用现有技术加以实现。
【主权项】
1. 一种跟踪人脸的预处理方法，其特征在于，包括以下步骤： (1) 、通过色彩平衡处理将摄像头采集到的图像恢复至值为5500K的日常光照色温下的 色彩； 其中，步骤(1)中包括： (1.1) 、原始图像为RGB格式，首先将图片从RGB空间转换为YCrCb空间，并将YCrCb格式 下的图像进行分层，即分为Y通道、Cr通道、Cb通道三层，然后选取图片中满足Y-|Cb|-|Cr > Φ的像素点为参考白点，其中，Φ为阀值；对于白点区，根据灰度世界理论有R = G = B则Cb = Cr = 0，Yh为参考白点区域的亮度平 均值，即 _示参考白点区的白点个数，Y (i)表示第i个白点像素的Y 分量值； (1.2) 、根据得到的￥11，对图像中每个像素点计算得到10各通道的增益，其中此心具为 图像在R、G、B三个通道中各自的平均值：(1.3 )、图像各像素值的调整如下：(2) 、将色彩平衡后的整幅图像进行噪声滤波，该噪声滤波采用中值滤波处理； (3) 、利用肤色分割，将图像中人体皮肤色彩的部分从背景中分割出来； (4) 、将步骤(3)中满足肤色的像素点置为255,不满足的点置为0而将一幅图像依据肤 色变为二值图像;对该二值图进行数字图像处理中的形态学处理，采用开+闭操作双重模 式，将肤色区域中的狭小细缝进行填补，再将非肤色区域中的噪声亮点进行滤除，最后对剩 余的连通域进行一系列条件约束，满足人脸正常形态比例的区域才送入下一步人脸检测， 否则就过滤掉； (5) 、对通过步骤(4)操作后余下的每一块肤色区域进行AdaBoost检测。2. 根据权利要求1所述的跟踪人脸的预处理方法，其特征在于:步骤(3)中，得出肤色在 Lab空间每个通道中的分布情况，再导出的阈值关系f(L，a，b)，HSV模型建立起一种配比关 系g(H，S，V)，最后采用两种融合 h(x，y)=f(L，a，b)flg(H，S，V) 通过这种关系模型对像素点进行判断;并设置简化模型为： 0.005〈H〈0.14,0.2〈S ν〈0·55，ν>0·4; 给出 f(L，a，b) = {L = 68.9492，a=12.6222，b=11.7947}; 满足11(^7)=€仏，&，13)门8(!1，5，￥)即为最终的肤色点区域，对整个图像按此模板计算 后得到最终的肤色二值图片，满足肤色的像素值被置为255,不满足的则为0。3. -种使用如权利要求1或2所述跟踪人脸的预处理方法的基于视频的智慧健康监视 系统，其特征在于： 还包括使摄像头跟踪人脸的方法，包括： (a) 、在获得人脸框后，根据人脸框在视频画面中的位置，形成控制参数，进而自动调整 云台左右旋转与镜头缩放等操作;待操作完毕后，重新对下一帧图像中人脸进行检测，保证 摄像头角度调整后人脸依旧处于视频画面中心位置； (b) 、对于已经处于视频图像中心的人脸框进行Camshift跟踪，依据每一帧图像的跟踪 结果，即对显示的人脸窗口进行判断，如果人脸窗口不在视频图像的中心位置，则重复步骤 (a)的操作;如果已经调整到位，则持续对视频图像进行跟踪。4. 根据权利要求3所述的智慧健康监视系统，其特征在于:步骤(b)中，采用Camshift跟 踪的过程中，在CamShift迭代时，对当前跟踪窗□进行HSV空间转换，然后依据Η通道的反向 投影图进行不断地循环迭代;在计算反向投影图时，首先对Η通道进行一次直方图计算，对 满足Η通道:0-180，S通道:smin-100，V通道:0-100的像素区域进行处理； 其中，3通道中，将5111；[11(1 + 1)=3111；[11(；〇*3代3(；[-1)/^63(；〇，将3111；[11与每次迭代的窗 口大小进行关联，area(i-l)表示上一次迭代的窗口面积，area(i)表示本次迭代后的窗口 面积，Smin(i)表示本次计算直方图时的5111；[11，51]1；[11(1+1)表示下一次迭代时的51]1；[11大小 ;!1 通道也采用与该S通道中同样的方式动态调整，即将Hmin(i+1) =Hmin(i)*area(i_l)/area (i)，将Hmin与每次迭代的窗口大小进行关联，area( i-1)表示上一次迭代的窗口面积，area (i)表示本次迭代后的窗口面积，Hmin(i)表示本次计算直方图时的Hmin，Hmin(i+l)表示下 一次迭代时的Hmin大小。5. 根据权利要求3所述的智慧健康监视系统，其特征在于： 步骤(b)中，还包括跳变校验的算法优化，包括： 限制每一次Camshift跟踪得到的新窗口的长宽比的阈值； 限制初始窗口与新窗口之间的长和宽比的阈值。6. 根据权利要求5所述的智慧健康监视系统，其特征在于:限制每一次Camshift跟踪得 到的新窗口的长宽比为[0.78，1.1 ];初始窗口与新窗口之间的长和宽比分别为[0.77， 1·3]，[0·77，1·3]。7. 根据权利要求3至6中任一项所述的智慧健康监视系统，其特征在于： 人脸定位完成后，给红外温度探测系统发出操作信号，这时安装在摄像头机身上的红 外测温器的测温区域会自动对准人脸面部三角区，开始采集记录面部区域的温度，在视频 采集期间，相应的温度信息作为人体的生理参数之一被采集并上传； 在定位完成并持续跟踪的情况下，对连续采集的人脸图像进行表情分析，通过表情识 另IJ，给出相应的表情信息，并作为人体的一种健康信息上传； 体温与人脸表情信息将与人体的其他生理信息一起输入到后续的系统中进行处理，从 而实现对该用户人体健康状况的评估。
【文档编号】G06T7/00GK105868735SQ201610259509
【公开日】2016年8月17日
【申请日】2016年4月25日
【发明人】季晓勇, 禹珍, 张轩, 张迎, 冯正伟, 夏煦菁
【申请人】南京大学