一种基于图割模型的人眼状态识别方法
【专利摘要】本发明公开了一种基于图割模型的图像前景提取方法，用来精确分割出图像中的人眼区域，属于基于机器视觉的图像识别领域，其适用于司机驾驶疲劳状态的自动检测。本发明解决了当前检测系统在复杂行车环境下不能准确识别人眼开闭状态的问题。这个方法首先在原始图像上建立一个图割模型，然后基于分割目标构造出图割模型的能量函数，最后使用最大流最小割方法求解该函数，得到最终的分割结果。这种分割算法构造一个背景为白色，而只有眼睛区域为黑色的二值化图像，为后续的人眼状态识别提供稳定的特征表述。实验证明了这个提取方法的有效性。本发明可广泛应用于火车、长途客车和“三危”车辆司机的疲劳状态自动检测。
【专利说明】一种基于图割模型的人眼状态识别方法
【技术领域】
[0001] 本发明涉及一种基于机器视觉的图像识别领域，尤其涉及一种基于图割模型的人 眼状态识别方法，特别是监控视频中人眼状态(睁/闭)的自动检测方法，其适用于各型机动 车辆的司机驾驶过程中疲劳状态的离线式、自动识别。
【背景技术】
[0002] 疲劳驾驶严重影响驾驶员的警觉性、应变性及安全驾驶能力。根据交通事故统计： 全世界范围内，超过30%的公路交通事故与驾驶疲劳有关，而在中国超过40 %的重大交通 事故直接或间接是由疲劳驾驶所引发。因此，许多国家和专业部门都在积极开展有关驾驶 疲劳的研究工作。驾驶人疲劳状态的检测方法可大致分为基于驾驶人生理信号、基于驾驶 人生理反应特征、基于驾驶人操作行为和基于车辆状态信息的检测方法。大量实验证明基 于生理反应特征的PERCL0S检测方法是准确率最高的检测方法，也是被美国公路交通安全 局（NHTSA)惟一认可的疲劳驾驶检测方法。
[0003] 基于PERCL0S系数的疲劳检测方法是通过检测监控视频中人眼状态(开或闭)，来 判断驾驶员疲劳程度的方法。行车环境中由于受到光照变化和摄像头抖动等因素的影响， 从视频中提取的眼睛区域图像质量一般较差，这些影响都会使得前景目标(人眼）难以从这 些复杂背景中提取，更增加了精确定位的难度。因此，从眼睛区域图像中，如何将眼睛像素 和背景区域精确分割开，是基于PERCL0S检测方法最关键的步骤，也是决定该检测方法成 败的关键因素。
[0004] 现有的眼睛检测方法要可分为三类：基于模板的方法、基于外形的方法和基于特 征的方法。基于模板的方法需要设计一个基于眼睛形状的通用模板，然后使用模板匹配搜 索感兴趣区域中眼睛的位置。基于外形的方法利用眼睛的几何形状进行眼睛检测，一般使 用神经网络或SVM等统计分类器对数据实现分类。基于特征分析的方法提取眼睛的一些特 征作为识别眼睛的基础，这些特征可包括颜色特征、眼睑形状、瞳孔密度、灰度分布特征、虹 膜边缘特征、眼睛角点特征等。
[0005] 现有眼睛检测方法存在以下不足： (a) 基于模板的方法中通用模板的选取是一个难点，不同人的眼睛大小形状都不一 样，而且采用模板匹配的方法需要全图搜索匹配，速度相对较慢，难以满足实时检测的要 求； (b) 基于外形的方法需要采集大量的训练样本，提供不同对象、不同面部朝向、不同光 照环境和不同睁闭程度下的眼睛信息作为训练集，而样本的选取往往不能涵盖实际应用中 的各种情况； (c) 基于特征分析的方法虽然计算量小速度快，但是眼睛特征随着人脸的表情，头部 的姿态及外界环境的改变会呈现极大的不稳定性，所以这种检测方法的识别准确率不是很 商。
【发明内容】
[0006] 本发明的目的在于克服上述技术问题的缺陷，解决当前疲劳检测系统不能精确检 测人眼状态(睁或闭）的问题。本发明基于图割模型的图像前景提取方法，用来精确分割出 人眼图像中的人眼椭圆区域，定义了人眼图像的图割模型和能量函数，并用最大流最小割 算法优化能量函数，以此为理论发明了一种把人眼图像分割为二值化的人眼椭圆区域的算 法，并把人眼区域面积作为计算PERCL0S系数的特征量，用来进行驾驶疲劳状态的自动检 测。
[0007] 根据本发明的具体实施，提供一种基于图割模型的人眼状态识别方法，其特征在 于包括以下步骤： 步骤1)构造图割模型： 基于图割（Graph Cuts)的图像分割方法把图像分割与图的最小割（min cut)问题相 关联。首先将图像映射为带权无向图G=〈V，E>，无向图中每个节点e V对应于图像中的每 个像素，每条边e E连接着一对相邻的像素。在普通图的基础上多了 2个顶点，这2个顶点 分别用符号"S"和"T"表示，统称为终端顶点，其它所有的顶点都必须与这2个顶点相连形 成边集合中的一部分。因此Graph Cuts模型中有两种顶点，也有两种边。第一种顶点和边 是：对应于图像中每个像素的普通顶点，每两个邻域顶点(对应于图像中每两个邻域像素） 的连接就是一条边，这种边叫n-links。第二种顶点和边是：除图像像素外的另外两个终端 顶点，叫S (source:源点)和T (sink :汇点),每个普通顶点和这2个终端顶点之间都有连 接，组成第二种边，这种边叫t-links。图1为一个图像对应的图割模型，也叫S-T图。在图 像分割中，S -般表示前景目标，T 一般表示背景。
[0008] 步骤2)构造图割模型的能量函数： Graph Cuts中的割是指这样一个边的集合，集合中所有t-links边的断开会导致残留 "S"和"T"图的分开，即其中一部分点仅和S连接，被判断为前景；而一些仅和T连接，被判 断为背景。很明显，发生在目标和背景的边界处的割就是图像分割所需要的，找到正确的割 即可得到最优的分割结果。下面将图像分割的先验约束具体化，以能量函数的形式作为图 割模型的优化目标。寻找最优割的过程可以通过最小化图割能量函数得到。
[0009] 假设整幅图像的标签label为乙= 其中第P个像素的标签为4， 尖的取值为〇或1。这样图像分割就可以看成像素标记问题，目标（s-node)的label设为 1，背景（t-node)的label设为0。假设图像的分割为￡时，图像的能量函数可以表示为：
【权利要求】
1. 基于图割模型的人眼状态识别方法，其特征在于包括以下步骤： 步骤1)从监控视频中实时提取图像，在图像中进行人脸识别； 步骤2)在人脸图像区域内，精确定位出人眼位置，分割出人眼图像； 步骤3)对人眼图像进行直方图均衡化，消除光线的影响，增强对比度； 步骤4)对均衡化的人眼图像，基于图像灰度值信息构造图割模型（S-T图）； 步骤5)构造图割模型的能量函数5(￡); 步骤6)利用最大流最小割算法求解巩￡)的最优解，得到最优的分割结果； 步骤7)利用图割得到二值化人眼图后，计算图像中前景(黑点）区域面积 ，为眼睛面积，即可作为人眼状态(睁或闭）的判别特征； 步骤8)根据PERCLOS系数测量原理，统计单位时间内眼睛闭合时间作为疲劳程度的判 断依据。
2. 根据权利要求1的方法，其中所述步骤5)的构造图割模型的能量函数，进一步包 括： 步骤la)能量函数公式： 取￡.)=;1·Σ「Λ(￡>)+ Σ 由公式可知图割模型能量函数构造关键是确定区域项和边界项惩罚巧的 值，下面详细介绍设置规则； 步骤2a)区域项: 图片分割结果中，前景标签label为1，背景标签为lbael为0 ;在基于检测的粗定位 得到的眼睛图片中，眼睛前景区域灰度值较低接近〇,而周围背景(人脸皮肤区域）灰度值 较大接近255 ;灰度值大的点分配label=0时，表明分对的可能性大，所以惩罚应该小，惩罚 =0)可以设置为（255_灰度值）；反之灰度值大分配label =1，惩罚大，^(尖=1)设 置为灰度值；区域项尖）值的的设置为：
步骤1a)边界项％冶： 由于边界项惩罚今主要用于惩罚相邻像素 P和q分配不同标签的惩罚；边界惩罚 今；^可设置为
根据权利要求1的方法，其中所述步骤6)的最大流最小割算法求解能量函数的最优 解，进一步包括： 步骤lb)图割的目标就是优化能量函数使其值达到最小： i l = arg 步骤2b)若将上述定义的边界惩罚项作为图模型的边权重，即％(&)作为第p个像 素与S、T顶点的连接权重，作为相邻点的连接权重，则最小化能量函数￡(￡)等价于找 到一个所有边的权值之和最小的图割，即最小割；而福特-富克森定理表明，网路的最大流 (max flow)与最小割（min cut)相等，所以基于 max-flow/min-cut 的 Edmonds-Karp 算法 就可以用来获得S-T图的最小割。
【文档编号】G06K9/00GK104102896SQ201310127089
【公开日】2014年10月15日 申请日期:2013年4月14日 优先权日:2013年4月14日
【发明者】张忠伟 申请人:张忠伟