专利名称：用于眼睛跟踪和司机睡意确认的成本效益高且稳健的系统和方法
技术领域：
本发明涉及用于眼睛跟踪和司机睡意确认的系统和方法。更具体而言，本发明涉及用于定位和跟踪司机的眼睛的睡意状态以通过使用设置在车辆上的近红外(IR)摄像机捕捉的图像来避免事故的成本效益高和稳健的系统和方法。
背景技术：
司机疲劳和司机缺少睡眠是存在已久的问题，尤其那些驾驶例如卡车、公共汽车等大型车辆的司机。毎年大量的交通事故和伤亡是由于在驾驶时困乏的司机入睡而造成的。如果我们能够检测司机的睡意状态并且具有警告处于这种状态的司机的机制，则可以在很大程度上防止这样的事故。缺少用于检测在汽车中的司机睡意的方法是存在已久的问题。已知的涉及眼睛跟踪和司机睡意确认的ー些发明如下Kingman Yee的US6283954讲授了利用巩膜和虹膜之间的对比获得眼睛位置的感测和跟踪眼睛的位置的改进的装置、系统和方法。该发明尤其用于在激光眼睛外科手术期间跟踪眼睛的位置，例如准分子激光角膜切削术(PRK)、光学治疗性角膜切削术(PTK)Jf分子激光角膜原位磨镶术(LASIK)等。Taboada等的US5345281公开了关于用于跟踪人的眼睛的特定视角的装置，尤其公开了ー种用于通过分析眼睛对红外(IR)光束的反射而跟踪眼睛移动的光学装置。Smith等的US6927694公开了利用带有可以自动启动且当需要时可以重新启动并提供实时输出的全自动系统的单独的车载摄像机来跟踪人的头和面部特征。如US6927694中提出的系统使用标记为重要的像素的R，G，B分量的RGB阵列索引，该系统还致カ于白天和夜间条件的不同的运算法则。Clarke Sr等的US5689241公开了关于借助穿过视频电荷耦合装置的数字化摄影图像的温度敏感的红外部分，利用红外摄像机对司机的眼睛张开与闭合的像素顔色中的热图像变化进行监控的装置。不移动与呼吸温度降低的结合将触发红外摄像机缩放到司机的眼睛区域上，不移动与呼吸温度降低为肺换气不足的生理反应，由此引起睡眠。Christos Τ· Kyrtso的US5900819公开了关于通过测量包括速度、横向位置和转向角的车辆行为来检测睡意。Tomokazu Nakamura的US20080252745讲授了对于基于构成眼睛区域的像素的像素数据的眼睛区域，计算表示眼睛的状态的特征值的眼睛的状态(包括眨眼)的辨识装置。阈值设定装置根据在目标眼睛张开时为目标眼睛所计算的特征值，计算表示在从张开状态到闭合状态的第一转变点处的特征值的第一阈值和表示在从闭合状态到张开状态的第二转变点处的特征值的第二阈值。 Riad I. Hammoud的US7362885讲授了ー种使用灰度随机编码滤波器(hat filter)在连续产生的红外视频图像之间跟踪目标对象以从背景中提取目标对象的对象跟踪方法。其中对象为人的眼睛，通过分析ニ进制球(binary blob)的形状和外观及其尺寸和眼睛之前状态的变化，以及将对应的參数应用到眼睛状态决策矩阵来确定眼睛状态和决
策可彳目度。Rui等的US7130446讲授了自动检测和跟踪多个个体包括接收视频和/或音频内容的帧并且识别用于在帧中的新的面部区域的候选区域。一个或多个分层校验等级用于校验人的面部是否在候选区域，并且做出指示，如果ー个或多个分层校验等级证实人的面部在候选区域中，则候选区域包括面部。多个音频和/或视频提示用于跟踪在从帧到帧的视频内容中的各经校验的面部。大多数这些已知的睡意检测装置依赖传感器技术。尽管已经使用计算机视觉技术执行ー些方法，然而这些睡意检测装置使用复杂的方法检测睡意并且价格昂贵。所有这些方法对于跟踪眼睛区域以监控经受疲劳和缺少睡眠的司机的警觉是不充分和不精确的。因此，鉴于上述背景技术，显然，需要一种简单的、容易安装并且以较低成本提供较高精确度的用于眼睛跟踪和司机睡意识别的系统和方法。
发明内容
本发明的目的本发明的主要目的是提供通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像定位和跟踪司机的眼睛的睡意状态以避免事故的成本效益高且稳健的系统和方法。本发明的另一目的是不受瞳孔效应影响跟踪眼睛，其中通过在腐蚀的图像中执行直方图均衡和形态学变换而在面部边界框内进行了形态腐蚀。本发明的另ー目的是提供ー种设想为使用核心跟踪算法跟踪眼睛和面部的稳健方式的系统和方法。本发明的另一目的是以借助基于核心的面部和眼睛跟踪算法在面部边界框中首先跟踪面部然后跟踪眼睛的方式定位眼睛部分。本发明的另ー目的是提供收集例如随后作为核心跟踪算法的參数的形态学变换图像和直方图均衡图像的特征的方法。本发明的再一目的是提供ー种使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的參数来检测眼睛的状态的系统和方法。本发明的另一目的是在检测到司机在睡意状态中之后向司机提供音频或视听来警告司机。技术方案在描述本发明的方法、系统和启用的硬件之前，应该理解，本发明不限于所描述的具体系统和方法，由于可以具有没有在本公开具体描述中的多个可行的实施方式。还应该理解，本发明中的术语仅g在描述具体版本或实施方式，且不g在限制本发明的范围，该范围由所附的权利要求书限定。本发明提供了通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来定位和跟踪司机的眼睛的睡意状态以避免事故的成本效益高且稳健的系统和方法。 本发明包括通过使用设置在车辆上的近红外(IR)摄像机捕捉的图像来定位和跟踪司机眼睛的睡意状态以避免事故的经济和稳健的方法，所述方法包括由处理器实现的如下步骤通过使用分割处理将灰度值与阈值比较，在捕捉的图像中的面部边界框中实时跟踪面部和定位眼睛边界框；通过计算从ー个位置到另ー个位置的眼睛的质心、目标模型直方图和目标候选模型直方图，之后将它们进行比较来识别距离井随后利用加权平均值来计算目标中心的位移，从而跟踪眼睛，其中基于包括直方图均衡化图像范围和形态学变换图像的特征空间计算目标模型直方图和目标候选模型直方图；以及使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的參数来检测眼睛的睡意状态。在本发明的另一方面中，提供ー种使用检测眼睛的睡意状态以警告司机警报装置以避免碰撞，其中所述警报装置可以为包括但不限于警报、基于声音的警示、指示和显示的音频或视听装置。根据本发明的另一方面，近红外摄像机被设置在车辆内部面向司机。
当结合附图阅读时可以更好地理解上文的发明内容和下文的优选实施方式的具体说明。为了例证本发明，在附图中示出了本发明的示例结构；然而，本发明不限于在附图中所公开的具体方法和设备图I为示出根据本发明的各个实施方式的针对事故定位和跟踪司机眼睛的睡意状态的方法的流程图；图2A示出根据本发明的在司机的ー个示例性头部位置上对于闭合的眼睛的检测眼睛区域；图2B示出根据本发明的在司机的ー个示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化；图2C示出根据本发明的在司机的ー个示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化的形态学结果；图2D示出根据本发明的在司机的ー个示例性头部位置上对于张开的眼睛的检测眼睛区域；图2E示出根据本发明的在司机的ー个示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化；图2F示出根据本发明的在司机的ー个示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化的形态学结果；图3A示出根据本发明的在司机的另ー示例性头部位置上对于闭合的眼睛的检测眼睛区域；图3B示出根据本发明的在司机的另ー示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化；图3C示出根据本发明的在司机的另ー示例性头部位置上对于闭合的眼睛的检测眼睛区域的直方图均衡化的形态学结果；图3D示出根据本发明的在司机的另ー示例性头部位置上对于张开的眼睛的检测眼睛区域；图3E示出根据本发明的在司机的另ー示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化；
图3F示出根据本发明的在司机的另ー示例性头部位置上对于张开的眼睛的检测眼睛区域的直方图均衡化的形态学结果；图4A和图4B示出根据本发明的示例性实施方式说明司机睡意识别状态的图形。
具体实施例方式现将详细讨论说明本发明的特征的本发明的一些实施方式。词语“包括”、“具有”、“含有”、“包含”及其其它形式g在具有相同的含义并且是开放式的，在这些词语中的任一个之后的一个或多个项目不意味着这些项目的穷尽列举或意味着仅限于列举的项目。还必须注意，如本文和所附的权利要求书中所用的単数形式包括复数引用，除非上下文另有明确指示。尽管类似于或等同于本文中描述的系统和方法的任一系统和方法可以用于执行或测试本发明的实施方式，然而现在描述优选的系统和方法。公开的实施方式仅仅是本发明的示例，本领域技术人员可以以多种形式实现这些实施方式。一种用于定位和跟踪司机的眼睛的睡意状态的成本效益高且稳健的方法，通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来避免事故，所述方法包括以下处理器实施的步骤a)通过使用分割处理将灰度值与阈值比较，在捕捉的图像中的面部边界框中实时跟踪面部和定位眼睛边界框；b)通过计算从ー个位置到另ー个位置的所述眼睛的质心、目标模型直方图和目标候选模型直方图，之后将它们进行比较以识别距离，井随后利用加权平均值来计算目标中心的位移，以跟踪所述眼睛，其中基于包括直方图均衡化图像范围和形态学变换图像的特征空间计算目标模型直方图和目标候选模型直方图；以及c)使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的參数来检测眼睛的睡意状态。根据本发明的一个示例性实施方式，一种成本效益高且稳健的系统包括设置在车辆上、面向司机的用于捕捉图像的近IR摄像机；和处理器，该处理器容纳在其中，用于实时分析捕捉的图像以定位和跟踪司机眼睛的睡意状态来避免事故。图I为示出根据本发明的各个实施方式的为防止事故而用于定位和跟踪司机眼睛的睡意状态的方法100的流程图。在本发明的一个示例性实施方式中，为防止事故而用于定位和跟踪司机眼睛的睡意状态的成本效益高的方法使用设置在车辆上的近红外(IR)摄像机捕捉的图像110。根据本发明的另一方面，近IR摄像机可以被设置在车辆的外侧或内侧面向司机。在本发明的一个示例性实施方式中，近IR摄像机被设置在车辆的内侧面向司机。根据本发明的一方面，近IR摄像机的分辨率为352*288。根据本发明的一方面，近IR摄像机的IR范围可以选自(O. 7-1)微米到5微米的范围，用于检测和跟踪行人。根据本发明的一方面，近IR摄像机的温度范围可以选自740开尔文到(3，000-5，200)开尔文之间，用于检测和跟踪行人。根据本发明的一方面，处理器可以被设置在近IR摄像机的机身中、车辆的外部或内部、车辆的顶部或仪表板上。在本发明的一个示例性实施方式中，处理器被设置在近 IR摄像机的机身中。根据本发明的另一方面，处理器可以选自Davinci DM6446处理器、ADSP-BF533 和 750MHz Blackfin 处理器的群组中。
上述成本效益高的方法包括多个处理器实施的步骤。在全部图像中跟踪例如眼睛的较小的对象是困难的。因此在提出的方法的第一步骤中，定位眼睛的搜索，在面部边界框中，首先跟踪面部，随后跟踪眼睛。处理器执行代码，以使用分割处理识别120眼睛的形状以及例如眉毛、鼻尖和纵向面部中心的面部标记。为了跟踪面部，处理器执行代码，以使用以下等式确定面部坐标面部宽度=面部最右边-面部最左边面部高度=2* (鼻尖位置-眉毛位置)-眉毛位置为了跟踪眼睛，处理器执行代码，以使用分割处理确定眼睛的边界框。为了跟踪面部130，处理器执行代码，以收集仅作为大于从分割处理所获得的阈值的灰度值的特征。为 了跟踪眼睛140，处理器执行代码，以收集特征，该特征为在面部的边界框中的直方图均衡化和在面部的边界框中的形态学变换。跟踪眼睛的主要障碍是消除瞳孔效应。为了使眼睛跟踪不受瞳孔效应影响，首先通过处理器在面部边界框中执行形态腐蚀。从该腐蚀的图像，执行直方图均衡化和形态学变换。通过在大范围的强度级上扩展输入图像的级别，直方图均衡化产生具有均衡直方图的输出图像。在处理器执行代码以在输出图像上应用直方图均衡化之后，深色图像变得更深并且亮色图像变得更亮。处理器执行代码以使用形态学变换从亮色背景(即面部边界框)中提取深色对象(即眼睛)。在提出的方法的第二步骤中，处理器通过计算从ー个位置到另ー个位置的眼睛的质心、目标模型直方图和目标候选模型直方图，之后比较它们以确定距离并且随后利用加权平均值计算目标中心的位移，来跟踪眼睛，其中基于包括直方图均衡化图像范围和形态学变换图像的特征空间计算目标模型直方图和目标候选模型直方图。对于眼睛跟踪140，处理器执行以下步骤在第一步骤中，处理器执行代码，以将眼球的质心作为中心m0，然后通过考虑特征空间计算目标模型直方图。if (hist_eq(i, j) < max_range && hist_eq(i, j) > min_range)
Compute 32 bin histogram- q on Morphologies丨 transformed image.目标模型< = { ql) a = 1,2,3,,.......32 ^ む"=1从下ー帧开始，目标的中心在其之前的位置(yO)处被初始化并且处理器执行代码，以通过考虑相同的特征空间计算目标候选直方图。if (hist_eq(i, j) < max_range && hist_eq(i, j) > min_range)
Update 32 Mn kistagrmi p on Morphological transformed image.现在，处理器执行代码，以计算目标模型和目标候选直方图之间的距离，
d{y) = ^\-p[p(V),q\其中P [·]为在P和Q之间的巴卡哈亚(bhattacharya)系数。现在，处理器执行代码，以利用加权平均值计算目标中心的位移。
权利要求
1.一种通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来定位和跟踪司机的眼睛的睡意状态以避免事故的成本效益高且稳健的方法，所述方法包括以下处理器实施的步骤 a)通过使用分割处理将灰度值与阈值比较，在捕捉的图像中的面部边界框中实时跟踪面部和定位眼睛边界框； b)通过计算从ー个位置到另ー个位置的所述眼睛的质心、目标模型直方图和目标候选模型直方图，之后将它们进行比较以识别距离井随后利用加权平均值来计算目标中心的位移，以跟踪所述眼睛，其中基于包括直方图均衡化图像范围和形态学变换图像的特征空间计算目标模型直方图和目标候选模型直方图；以及 c)使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的參数来检测眼睛的睡意状态。
2.根据权利要求I所述的方法，其中，为了使眼睛跟踪不受瞳孔效应影响，通过在腐蚀的图像中执行直方图均衡化和形态学变换而在面部边界框中执行形态腐蚀。
3.根据权利要求I所述的方法，还包括，使用经检测的眼睛的睡意状态警告司机以避免碰撞。
4.根据权利要求I所述的方法，其中，所述近IR摄像机能够被设置在车辆的外侧或内侧面向司机。
5.根据权利要求I所述的方法，其中，所述眼睛的跟踪还包括在形态学变换图像中绘制眼睛到眉毛的图形以识别眼睛像素，由此避免在这样的图像中显示较亮的鼻子像素。
6.根据权利要求I所述的方法，其中，所述眼睛的跟踪还包括，通过计算绝对误差和(SAD)，使用眼睛的模板匹配检测相对于前一帧在当前帧中头部位置的变化。
7.根据权利要求I所述的方法，其中， 所述检测眼睛的睡意状态还包括步骤 a.将所述眼睛的边界框向上延伸到眉毛的质心； b.将直方图均衡化过程应用在所述眼睛的边界框上； c.通过计算这种带有结构化元素的图像的线腐蚀，消除直方图均衡化图形的较亮的瞳孔效应，其中所述结构化元素的宽度等于1/3的眉毛宽度并且结构化元素的高度等于I ;以及 d.使用基于直方图的方法进行纹理分析，所述纹理分析基于集中在表示为直方图的图像的全部或部分上的强度值以识别所述眼睛的状态，其中均匀度或角ニ阶矩(ASM)纹理參数的值对于闭合的眼睛为高值而对于张开的眼睛为低值。
8.根据权利要求7所述的方法，其中 所述步骤(d)可选地使用灰度级共生矩阵的对比度，以通过检测N帧的波段具有相同的性能，则眼睛闭合，从而识别所述眼睛的状态。
9.一种采用近红外(IR)摄像机定位和跟踪司机的眼睛的睡意状态以避免事故的成本效益高且稳健的系统，所述系统包括 a.近红外摄像机，所述近红外摄像机被设置在所述车辆上用于捕捉图像；以及 b.处理器，所述处理器用于实时分析所捕捉的图像以定位和跟踪所述司机的眼睛的睡意状态。
10.根据权利要求9所述的系统，还包括警报装置，所述警报装置使用经检测的眼睛的睡意状态警告司机以避免碰撞。
全文摘要
一种通过利用设置在车辆上的近红外(IR)摄像机捕捉的图像来定位和跟踪司机的眼睛的睡意状态的成本效益高且稳健的方法，所述方法包括以下处理器实施的步骤通过使用分割处理将灰度值与阈值比较，在捕捉的图像中的面部边界框中实时跟踪面部和定位眼睛边界框；通过计算从一个位置到另一个位置的所述眼睛的质心、目标模型直方图和目标候选模型直方图，将它们进行比较以识别距离并利用加权平均值来计算目标中心的位移，以跟踪所述眼睛，其中基于特征空间计算目标模型直方图和目标候选模型直方图；以及使用直方图均衡化、形态学操作和使用直方图和灰度级共生矩阵的基于纹理的参数来检测眼睛的睡意状态。
文档编号G06K9/00GK102696041SQ201080059278
公开日2012年9月26日 申请日期2010年12月2日 优先权日2009年12月2日
发明者B·博米克, K·S·齐达南德 申请人:塔塔咨询服务有限公司