一种人脸深度跟踪装置及实现方法与流程
本发明涉及人脸跟踪技术，具体涉及一种人脸深度跟踪装置及实现方法，该装置由红外发射模块、红外测距采集模块、计算模块构成。
背景技术：
随着信息处理技术(特别是视频图像技术)的发展，越来越多的系统和设备需要从视频图像中对某种特定的对象进行跟踪识别。各行各业对于人脸检测识别跟踪技术的研究日益重视，人脸检测识别跟踪技术也取得了巨大发展，并逐渐形成了一种新的科学技术领域。
人脸跟踪技术的目的就是在序列图像中确定人脸出现的位置及运动轨迹。例如，在很多摄像监视系统中，往往需要对连续的视频图像中的人脸进行跟踪，从而实现对现场情况的识别和分析。由于在某些场合不仅需要确定人脸在空间中的二维坐标信息，而且需要进一步确定人脸五官的深度信息。然后根据跟踪到的人脸的二维信息和深度信息才可指示出人物的表情或姿态，因此，在一些人机交互的系统中，可从连续跟踪到的人脸特性识别出用户的某种情绪，该情绪可对应于用户输入的操作指示，从而实现更加友好和智能的交互操作。此外，跟踪到的人脸特性还可被用于进行面部动画生成、焦点检测和安全监控，视频会议、驾驶员疲劳驾驶检测、智能美颜等。由此可见，人脸跟踪技术备受人们关注。
首先对于人脸检测识别跟踪算法，工业上已有多种技术。例如haar-like人脸检测技术可较好的检测正脸以及偏转角度不大的人脸特征，但是对于多姿态人脸以及背景环境变换复杂的图像中的人脸，检测的精确度降低。基于npd(normalizedpixeldifference)人脸检测的算法对于小模型图像中的人脸有着较好的检测速度，但是对于光照的鲁棒性差，而且在处理大模型图像时提取的特征向量过多，计算复杂度高，会降低检测速度。并且以上人脸检测方法仅仅只是从整体上对人脸的刻画，不能获得人脸特征点的深度信息。
其次为了获得人脸识别中细节纹理方面的深度信息，就必须依赖于对三维场景准确且快速的分析。现有技术中有如下方法：基于图像的分析或激光扫描技术来获取场景的深度图,但其代价高昂且十分耗时。基于深度相机的人脸特征点跟踪方法作为距离测量中一种可替代的设备,拥有传统的三维测量系统所不具备的一些优点，能够较好地获得人脸特征点的深度信息，但是系统构架庞大、硬件成本也较高，而且人脸跟踪时易受到外界环境的干扰，例如光照强度差，光照不均匀等均会影响识别跟踪的精度。
技术实现要素：
针对现有技术存在的缺陷，本发明的目的在于提供一种人脸深度跟踪装置及实现方法。为了进一步提高人脸识别的准确性，减少受外界环境的影响程度，本发明采用人脸深度跟踪装置，在跟踪大模型图像的过程中，能够根据所获得的人脸深度图像准确的获得人脸图像特征点，进一步提高了人脸识别的准确性。在多姿态人脸、表情变化、背景环境以及光照影响的情况下，依旧可以保证高跟踪精度，快处理速度，可以大范围地应用在人机交互上，并进一步降低硬件成本。
一种人脸深度跟踪装置，包括红外发射模块、红外测距采集模块、计算模块。
所述的红外发射模块用于对待测人脸进行红外照明，红外发射模块发射波长在780～940nm的红外光，提供背光源照射目标物和背景，以确保采集环境中有良好的照明条件；
所述的红外测距采集模块用于对人脸深度图像信息的采集，该模块包括对红外波长敏感的感光芯片和半透玻璃膜，结果可参看图2；由红外发射模块发出的红外射线经过半透玻璃膜之后分为反射光线和透射光线两部分，反射光线则直接经过半透玻璃膜反射后照射在感光芯片上，而透射光线则透过半透玻璃膜后照射到人脸并且经由人脸反射至感光芯片上，如此形成两个光信号，然后测量两个光信号间的距离，从而将信号间的距离经过特定的公式计算出人脸的深度，并且向人脸深度图转换，并且绘制出深度图。
所述的红外测距采集模块的特点如下：感光芯片具有抗可见光干扰，抗电磁波干扰识别稳定，运算速度高等优点，可以在红外发射模块照明下只采集到红外波长(780～940nm)范围内的红外光线。半透玻璃膜具有透射远高于反射率的特点，因为在感光芯片上收到的两个光信号其一是经过一次半透膜的反射而得到的，另一个是经过两次半透膜的透射、一次人脸的反射得到的，所以，为了保证两个光信号的强度尽可能相等，要选取透射率远高于反射率的半透玻璃膜材质。
所述的计算模块：首先进行人脸区域的判断，然后读取红外测距采集模块采集到的人脸深度图像信息，最后对人脸五官进行的跟踪计算，具体实现如下：
首先利用计算模块中的摄像头直接捕捉图像，记作原图像；其次利用haar分类器直接检测该原图像是否为人脸图像，若不是人脸图像，则该帧原图像不予以跟踪，若是人脸图像，则利用npd特征来初步确定五官的大致位置，并且获取该人脸图像的中心坐标o，然后使用红外发射模块对目标人脸图像进行红外照明；红外发射波长在780～940nm的红外光，由红外测距采集模块进行人脸图像深度采集，并将采集到的人脸深度图像信息传输给计算模块，计算模块读取接收到的人脸深度图像信息，并在人脸深度图像上利用已经通过npd获取的五官各自的中心坐标o作测试补丁：以每一个中心坐标o为中心，特定长度为边长，每一块区域作一个小的矩形，该矩形的边长正好与人脸成一定比例，并且让五官图像正好被矩形区域所包含，该矩形所截取的部分深度图称为测试补丁。最后对人脸深度图各个测试补丁(包括包括眼睛、鼻子、眉毛、嘴巴和耳朵)进行主成分分析，提取每类测试补丁的主分量，设其中一类测试补丁眼睛用a表示，那么将训练集中所有a所对应的极大无关组取出，若补丁a的特征向量组能够由训练集中所得到的眼睛的极大无关组线性表出，则a被判定为眼睛。并对人脸深度图对应的补丁中心进行标点。并且将该人脸深度图上标点的坐标映射到原图像上去，并在原图像上将这些点标出，从而精确地跟踪人脸。
一种人脸深度跟踪装置的实现方法，具体包括如下步骤：
步骤1：利用摄像头直接捕捉待测图像，并且利用haar特征进行人脸区域检测。
步骤2：利用npd进行人脸五官位置估计，并获取五官位置的坐标。
步骤3：利用红外发射模块对待测人脸发射特定频率的红外光线。
步骤4：利用红外测距采集模块进行人脸区域的深度信息采集，得到人脸深度图像。
步骤5：在人脸深度图像中根据初步估计的五官位置坐标获取测试补丁。
步骤6：对测试补丁求极大无关组，如果能由对应的训练集中的极大无关组线性表出，则在原图像上对应坐标处标上点。
与现有技术相比，本发明的积极效果为：
1：跟踪稳定、不受环境光、电磁波等影响，鲁棒性好。
2：采用自创红外测距采集进行人脸深度图像信息采集，跟踪及深度测量精度高。
3：不需要额外标记点。
4：装置硬件成本相比基于深度相机的跟踪装置低。
5：可保证大模型图像中的人脸检测效率。
本发明能够在获得图像特征点的同时，进一步获得特征点的深度信息。本发明装置及方法跟踪精度高，速度快，可以大范围地应用在人机交互上，并进一步降低硬件成本。
附图说明
图1是系统流程图：
图2是红外测距采集模块原理示意图；
图3是红外测距采集模块侧视图；
图4是人脸识别过程流程图；
具体实施方式
以下结合附图对本发明实施例作进一步说明：
如图1-4所示，一种人脸深度跟踪装置，包括红外发射模块、红外测距采集模块、计算模块。
所述的红外发射模块用于对待测人脸进行红外照明，红外发射模块发射波长在780～940nm的红外光，提供背光源照射目标物和背景，以确保采集环境中有良好的照明条件；
所述的红外测距采集模块用于对人脸深度图像信息的采集，该模块包括对红外波长敏感的感光芯片和半透玻璃膜，结果可参看图2；由红外发射模块发出的红外射线经过半透玻璃膜之后分为反射光线和透射光线两部分，反射光线则直接经过半透玻璃膜反射后照射在感光芯片上，而透射光线则透过半透玻璃膜后照射到人脸并且经由人脸反射至感光芯片上，如此形成两个光信号，然后测量两个光信号间的距离，从而将信号间的距离经过特定的公式计算出人脸的深度，并且向人脸深度图转换，并且绘制出深度图。
所述的红外测距采集模块的特点如下：感光芯片具有抗可见光干扰，抗电磁波干扰识别稳定，运算速度高等优点，可以在红外发射模块照明下采集到红外波长(780～940nm)范围内的红外光线。半透玻璃膜具有透射率远高于反射率的特点，因为在感光芯片上收到的两个光信号其一是经过一次半透膜的反射而得到的，另一个是经过两次半透膜的透射、一次人脸的反射得到的，所以，为了保证两个光信号的强度尽可能相等，要选取透射率远高于反射率的半透玻璃膜材质。
所述的计算模块：首先进行人脸区域的判断，然后读取红外测距采集模块采集到的人脸深度图像信息，最后对人脸五官进行的跟踪计算，具体实现如下：
首先利用计算模块中的摄像头直接捕捉图像，记作原图像；其次利用haar分类器直接检测该原图像是否为人脸图像，若不是人脸图像，则该帧原图像不予以跟踪，若是人脸图像，则利用npd特征来初步确定五官的大致位置，并且获取该人脸图像的中心坐标o，然后使用红外发射模块对目标人脸图像进行红外照明；红外发射模块发射波长在780～940nm的红外光，由红外测距采集模块进行人脸图像深度采集，并将采集到的人脸深度图像信息传输给计算模块，计算模块读取接收到的人脸深度图像信息，并在人脸深度图像上利用已经通过npd获取的中心坐标o作测试补丁：以五官各自的中心坐标o为中心，特定长度为边长，作一个小的矩形，该矩形的边长正好与人脸成一定比例，并且使得五官各自的信息包含于对应的矩形中，该矩形称为测试补丁。最后对人脸深度图各个测试补丁(包括包括眼睛、鼻子、眉毛、嘴巴和耳朵)进行主成分分析，提取每类测试补丁的主分量，设其中一类测试补丁眼睛用a表示，那么将训练集中所有a所对应的极大无关组取出，若补丁a的特征向量组能够由训练集中所得到的眼睛的极大无关组线性表出，则a被判定为眼睛。并对人脸深度图对应的补丁中心进行标点。并且将该人脸深度图上标点的坐标映射到原图像上去，并在原图像上将这些点标出，从而精确地跟踪人脸。
红外测距采集模块中所述的将信号间的距离经过特定的公式计算出人脸的深度，并且向人脸深度图转换，并且绘制出深度图，具体实现如下：
如图2和3所示，红外发射模块采用波长为780～940nm的红外光，红外发射模块呈可调节的偏转角θ发射平行的红外光线束至半透玻璃膜，之后每一道光线分为两道光线，一道直接反射，另一道经过透射再反射后照射到感光芯片上，感光芯片将采集到的所有的红外信号对的信息，发送至红外测距采集模块，测得每一个红外信号对中两个光信号之间的距离，并由公式计算出待测人脸与透射玻璃膜间的距离。由图2和3可以看到红外发射模块将密集的n束红外光线，以与水平面成θ角的方向向人脸发射，从而搜集每一对信号的坐标，得到n组坐标对，而由图2俯视图看到,获取纵坐标相同坐标点组成坐标对，每一个坐标对中两坐标点的横坐标b、a作差之后得到的差值就是两个光信号之间的距离d，从而计算出θ角和光信号之间的距离d有如下关系：
d＝[(b-a)*tanθ]/2⑹
d＝(d*tanθ)/2⑺
通过上述公式能够计算出人脸图像上某一列像素点的深度，而对于整张人脸图像的深度，则通过逐渐连续增大θ角来实现，而深度图上每一个深度坐标的横坐标可由图2中每一个坐标对中的横坐标a确定(即与a点横坐标相同)，纵坐标就是对应坐标对的纵坐标。从而得到待测人脸上每一点对应的与半透玻璃膜间的距离。
由坐标对和该坐标对对应的距离d值构成距离矩阵a。在由红外光线扫描完整张人脸之后，选出距离矩阵a中数值最小的点，将矩阵a中所有的元素都减去这个数值得到矩阵b，求出矩阵b中所有元素的和记作s，矩阵c由以下公式计算得出：
c＝(255/s)*b⑻
矩阵c中的每一个元素an更新为255-an，构成最终的深度图d。
所述的npd特征估计法如下：npd是基于两个像素点之间的比较。利用两个像素之间的相对差值得出npd特征。利用npd特征进行特征分类，所述的npd特征可以不受约束地进行人脸检测。其中npd特征是两个点灰度的差值与灰度和值的比例，是两个像素值之间的相对差异。该差异定义为函数f(x,y)：
其中，x，y为任意两个像素的像素值，并且规定f(0,0)＝0。
利用上述公式(1)采用一种新的树内节点分裂计算方法来训练分类器：
(a1x2+b1x+c1)＜t(2)
t为分裂阈值，是人为给定的一个数值，这个值越小，则训练得出的分类器的查准率越高，联系一元二次方程的特性，通过给定系数，用来检测x是否处于[θ1，θ2]中，θ1,，θ2是两个已知的阈值。系数a1、b1、c1需要通过反复迭代的方式不断修正，首先将n1张正例图片和n2张反例图片输入并读取，在正例图片上创建滑框，遍历所有的像素点，取滑框中像素值最大的点与像素值最小的点利用
根据npd特征将得到三种结构：
-1≤f(x,y)≤θ＜0(3)
0＜θ≤f(x,y)≤1(4)
θ1≤f(x,y)≤θ2(5)
公式(3)表示了x的亮度低于y，公式(4)表示x的亮度高于y，公式(5)是处理脸部比背景暗也有可能比背景亮的不确定的情况。
如此利用npd特征训练出的分类器具有较高的查全率以及较低的查准率，因此用以下方法进一步完善，具体如下：
利用npd特征训练出的五官分类器进行初步五官检测从而在原图像中获取五官对应的坐标，检测后通过红外发射模块以及红外测距采集模块获取人脸深度图。在人脸深度图已获取的坐标处以特定长度为边长，作一个小的矩形，此矩形的边长正好与利用haar特征所检测出的人脸矩形成一定比例，该小矩形称为测试补丁。并通过以下方法求出测试补丁特征向量的极大无关组：
1.首先获取人脸某一个特定五官部位的深度图测试补丁a。
2.然后由方程|a-λe|＝0求出所有特征值λ，e为单位向量。
3.将每一个特征值λ代入方程(a-λe)x＝0,求该方程的所有非零向量x。
4.将该深度图测试补丁a中所有特征值对应的特征向量x分别读取其元素，依次排成矩阵的形式[x11x12x13…x1n]。
5.将该矩阵中以列向量的形式拼接上对应同类训练集补丁的极大无关组，组成增广矩阵，并通过初等行变换变为阶梯阵(每行首个非零元素下面全为0)，并计算阶梯数，即为该增广矩阵的秩，称作r(测试)。
那么我们比较测试补丁中对应的增广矩阵的秩r(测试)，与其对应的训练集中极大无关组的秩r(训练)，若r(测试)＝r(训练)，则被测试的补丁被判断为正例，反之，r(测试)＞r(训练)则判断为反例。
而训练集中的极大无关组的秩r由以下方法获得：
1.首先获取人脸某一个特定部位的深度图训练集补丁库b。
2.对于每一个补丁由|b-λe|＝0，该方程求出所有特征值λ。
3.将每一个特征值λ代入方程(b-λe)x＝0，求该方程的所有非零向量x(即为特征向量)，并将这些向量x储存。
4.对于每一个同类补丁都进行步骤2和3，从而将所有同类补丁的特征向量x累积起来，并且列成矩阵的形式。如下所示：
xi＝[a1a2a3...an]τ(9)
x＝[x1x2x3...xm](10)
5.将该矩阵通过初等行变换变为阶梯阵.
并统计每一行第一个非零元素所在的列，将这些列取出排成一组，即为训练集补丁的极大线性无关组，将每一个同类训练集补丁的极大无关组储存起来，并且统计极大无关组中向量的个数，即为秩r(训练)，同样也储存起来。
这样，通过比较r(测试)与r(训练)的大小就能判断测试集中的特征向量能否由训练集中的特征向量线性表出了。
若r(测试)＝r(训练)成立，则判断为正例补丁，在原图像相应的坐标点做上标记。
根据本发明的示例性实施例，依靠红外发射保证了采集环境的良好的抗干扰性，在进行人脸检测的过程中，本发明融合了haar的检测性好，npd检测速度快，以及pca主成分分析的精确性的优点，并结合所设计的红外测距装置获取人脸深度图像进行人脸五官位置的获取，从而达到精确跟踪与识别的目的。
- 还没有人留言评论。精彩留言会获得点赞！