一种实时瞳孔检测与跟踪方法与流程

本申请涉及汽车安全驾驶技术领域，特别是涉及一种实时瞳孔检测与跟踪方法。

背景技术：

瞳孔检测作为人脸识别的一部分被提出。关于瞳孔检测方面，国内外虽然有不少人提出了不同的观点，目前主流的方法有模板匹配方法、投影法、“特征眼”法、基于小波变换方法、对称性方法和基于神经网络的方法。

Kanade及其他研究人员开发了从一幅静态图像中检测瞳孔特征的方法，更多的瞳孔特征检测方法是基于YUlll的不规则模板方法，但是由于不规则模板的方案需要耗费大量的时间，所以该方法很难应用于视频图像中的瞳孔跟踪。但是如果用于瞳孔跟踪跟踪，这些方案还远不能满足实时性要求。

随着各研究和应用领域对实时性要求的提高，对实时瞳孔检测与跟踪方法进行系统研究的要求也越来越显得突出和迫切。但截至目前还没有一种完善的理论和方法能够准确和有效的方法来对视频图像中人脸部的瞳孔进行实时、准确的检测与跟踪。

要准确的检测并能够实时跟踪到图像中的瞳孔，需要首先确定图像中的人脸区域，然后再在人脸区域内进一步检测、定位瞳孔的方法，这样不仅可以提高检测的精度，更能大大缩小瞳孔检测的区域，提高检测速度。

人脸检测问题是一个有较大挑战性的课题，因为人脸包括五官、毛发等极不规则的复杂待测目标，而且采集的图像很容易受到各种条件变化以及各种噪声影响，主要表现为:

(1)、受外貌、表情、肤色等因素的影响，人脸具有很大可变性；

(2)、很多情况下脸上可能存在眼镜、胡须以及装饰品等附属物；

(3)、头部运动会造成图像中人脸位置、角度等发生变化；

(4)、不同光照条件对图像中人脸图像产生影响，亮度变化范围很大。

(5)、不同图像中人脸尺寸、位置以及背景噪声等各不相同。

技术实现要素：

本发明的目的在于提供一种实时瞳孔检测与跟踪方法，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本申请实施例公开一种实时瞳孔检测与跟踪方法，包括：

(1)、摄像头实时地拍摄人脸图像；

(2)、用图像采集卡采集视频图像，得到一组图像序列；

(3)、对采集到的每一帧图像首先进行皮肤检测以确定是否有人脸以及判断人脸的大致区域；

(4)、在人脸区域内检测瞳孔位置并进行跟踪。

优选的，在上述的实时瞳孔检测与跟踪方法中，所述步骤(3)包括：

s1、建立人脸图像数据库，该数据库包括不同光线条件下的人脸图像，

s2、分析数据库中人脸皮肤颜色在YCbCr颜色空间中色度分量的分布情况，并建立色度分量分布图模型；

s3、对检测的彩色图像进行形态滤波；

s4、将滤波后的彩色图像转换为二值图像。

优选的，在上述的实时瞳孔检测与跟踪方法中，所述步骤s1中，图像格式为24位位图。

优选的，在上述的实时瞳孔检测与跟踪方法中，所述步骤(1)包括：

红外光源产生850nm和900nm两种波段的红外光；

利用两个摄像头分别采集850nm和900nm两种波长下人脸图像。

与现有技术相比，本发明的优点在于：本发明基于YCbCr色彩空间的肤色模型。本发明方法在不同肤色以及较大的光照变化条件下均具有较好的检测率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明具体实施例中实时瞳孔检测与跟踪方法的流程图；

图2所示为本发明具体实施例中实时瞳孔追踪系统的原理方框图。

具体实施方式

视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，然后通过几何模型或映射模型获取视线方向，通过红外照明，产生不同波段的红外光，眼睛视网膜对不同波长红外光的反射率低，反射率低的人眼图像暗，反射率高的人眼图像亮。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1所示，实时瞳孔检测与跟踪方法，包括：

(1)、摄像头实时地拍摄人脸图像；

(2)、用图像采集卡采集视频图像，得到一组图像序列；

(3)、对采集到的每一帧图像首先进行皮肤检测以确定是否有人脸以及判断人脸的大致区域；

(4)、在人脸区域内检测瞳孔位置并进行跟踪。

进一步地，步骤(3)包括：

s1、建立人脸图像数据库，该数据库包括不同光线条件下的人脸图像，

s2、分析数据库中人脸皮肤颜色在YCbCr颜色空间中色度分量的分布情况，并建立色度分量分布图模型；

s3、对检测的彩色图像进行形态滤波；

s4、将滤波后的彩色图像转换为二值图像。

完成皮肤检测后的二值图像会存在两种情况下的误差，一种是由于噪声的引入被误判为肤色的孤立点或小块孤立区域；另一种是由于图像中的人脸区域内的肤色点存在着一定的差异，被误判为非肤色点。为消除这些误差必须对进行皮肤检测后的图像进行形态滤波。

通过形态滤波可以消除一些皮肤检测过程中的错误判定为皮肤点的非皮肤点。

优选的，步骤s1中，图像格式为24位位图。

进一步地，步骤(1)包括：

红外光源产生850nm和900nm两种波段的红外光；

利用两个摄像头分别采集850nm和900nm两种波长下人脸图像。

结合图2所示，实时瞳孔追踪系统，包括：

第一红外光源，产生900nm波段的红外光；

第二红外光源，产生850nm波段的红外光；

第一视频采集模块，采集人脸上第一红外光源反射的图像；

第二视频采集模块，采集人脸上第二红外光源反射的图像；

视频处理模块，对第一红外光源和第二红外光源反射的图像进行差分比较，定位人眼位置。

在一些实施例中，第一视频采集模块和第二视频采集模块分别采用非制冷焦平面热像组件配备红外镜头。

在一些实施例中，视频处理模块包括FPGA模块和SRAM模块。

在一些实施例中，还包括：

第一视频解码模块，设于第一视频采集模块和视频处理模块之间；

第二视频解码模块，设于第二视频采集模块和视频处理模块之间。

在一些实施例中，还包括视频显示模块，以及依次设于视频处理模块和视频显示模块之间的配置模块、视频编码模块和数据存储模块。

应用例1

采用上述实时瞳孔追踪装置来确认驾驶员疲劳程度。将所述实时瞳孔追踪装置应用于车载系统中，对驾驶员疲劳程度进行分析，并做出预警。

具体检测警报的流程为：清醒状态参数预置->人眼定位->疲劳程度确认->疲劳驾驶警报。首先，针对不同的人，预先录画分析，确定清醒状态下人眼的各项指标，包括瞳孔大小、闭眼时长、睁闭眼比例；然后实时分析录画的人眼参数，当瞳孔变小、闭眼时间长、睁闭眼比例降低的程度，确认是否处于疲劳状态。

工作过程：

(1)配置清醒状态人眼参数。清醒状态下，预先利用视频采集模块采集两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到清醒状态各项指标，并将这些数据存储在数据存储模块；

(2)疲劳程度确认。利用视频采集模块采集两种波长下人脸图像，视频解码模块进行解码，通过图像分析得到现在状态各项指标，与预置的清醒状态各项指标作比较，根据超出的程度，来确认已经处于疲劳状态的程度，从而做出相应的报警，并通过视频实现模块进行显示。

应用例2

采用上述实时瞳孔追踪装置来确认驾驶安全。将上述实时瞳孔追踪装置应用于车载系统中，通过确认驾驶员视线注意点来确认驾驶安全，当没有按照正常操作时，做出警报。

具体检测警报的流程为：

视线注意各个部件(左右反光镜、后视镜等)时参数预置->设置各种驾驶情况时需要做出的视线动作->人眼定位->驾驶情况确认->危险驾驶警报。

首先，驾驶前，将驾驶员视线注意各个部件(左右反光镜、后视镜等)时参数预先录画分析,然后根据这些基本参数来设置各种驾驶情况时驾驶员需要做出的视线动作。实际驾驶时，通过实时定位人眼来确定各种驾驶情况时驾驶员是否按照需要作出的视线动作。如果没有作出需要动作，则报警提示。

本案实时瞳孔追踪装置，不仅可以适用于车载系统，对于其他具有特征运动规律或者通过运动模式推算出其运动特征的设备也可以适用。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。