4)对更新后的图片再次使用自定义阈值的方法进行二值化。使用类眼角点图中边 界点的信息滤除眼睛大致区域二值图中不必要的连通区，可以获得一次修正的眼睛大致区 域二值图，具体为：利用类眼角点图中最右侧点的坐标信息为边界，滤除第二步得到的眼睛 大致区域二值图中对应该边界右侧的连通区，使得后续修正眼睛大致区域二值图效果进一 步优化。
[0042] 所述的眼白图，通过对眼睛大致区域二值图进行RGB通道至HSV通道的转换，并提 取其S通道；对S通道进行直方图均衡，并利用自定义阈值的方法对其进行二值化处理，即 可得到眼白大致区域图像。将一次修正的眼睛大致区域二值图和眼白图进行并集操作，可 以获得二次修正的眼睛大致区域二值图。
[0043] 第四步：计算第二步得到的眼角区域二值图内最大两个连通区与第二步得到的眼 睛大致区域二值图的连通区关系，从而得到两个连通区在眼睛大致区域二值图中对应的连 通区，再计算这两个连通区与第三步获得的二次修正后眼睛大致区域二值图连通区关系， 判断是否需要重新框选新的眼角区域；判断方法如下：
[0044] 4. 1)遍历第二步中得到的眼睛大致区域二值图和眼角区域二值图中最大面积的 两个连通区，计算每一个区域，即眼睛大致区域二值图中黑色连通区与眼角区域二值图内 两个连通区，即眼角区域内面积最大的两个黑色连通区之间的连通区关系，分别取结果最 大的作为最相关连通区进行输出，得到眼角区域二值图中最大两个连通区在眼睛大致区域 二值图中对应的连通区。
[0045] 4. 2)计算眼角区域二值图中最大两个连通区在眼睛大致区域二值图中对应的连 通区与第三步得到的二次修正后的眼睛大致区域二值图的连通区关系，当两个连通区关系 的值同时小于50%时判定眼角区域内信息不够，并返回第一步，直至两个连通区关系的值 中至少一个大于5〇%，进入第五步。
[0046]所述的连通区关系是指：Φ (Aarea, Barea) = (num(Aarea, Barea) /Size (Barea)) *100 %， 其中：，Aa_ B_a分别是对应图片中的连通区，Size (B a_)为Ba_的面积大小，
[0047] 第五步：眼角二值图修整并输出眼角信息，具体为：
[0048] 5. 1)对第四步中得到的眼角二值图进行修剪，设调节参量为Tl，在本方法中含两 个调节参量n JP η 2，其对应的值分别为〇. 1和1. 2。将像素分为两类，属于每一类的像素 值与对应的调节参量相乘作为新的像素值，使用自定义阈值的方法进行二值化，这样可以 使眼角内的连通区得到显著，是除眼角外的连通区得到抑制，如图4所示。
[0049] 5. 2)在修整后的二值图中选取最大的连通区，取其最右侧的点作为眼角点信息输 出，即根据眼角区域在原视频帧的相对位置，将眼角坐标加上相对位置坐标，从而可以得到 眼角点在原视频帧的位置。
[0050] 表1在数据库中不同方法的估计值与实际标定值的误差_
[0051] 其中，Wei 的方法来自文献 Yao Wei. Research on Facial Expression Recognition and Synthesis. Master Thesis, Department of Computer Science and Technology，Nanjing University.，Saragih 的方法来自于文南犬 J. M. Saragih，S. Lucey，and J.F. Cohn. Face Alignment through Subspace Constrained Mean - Shifts. ICCVj 2009〇
【主权项】
1. 一种基于图像的人眼角检测的方法，其特征在于，包括以下步骤： 第一步：利用主动的外貌特征模型或主动形状模型方法定位眼睛大致区域图和眼角区 域图，并使用固定模板对眼睛大致区域图和眼角区域图像进行滤波； 第二步：对于滤波后的眼角区域图像使用自定义阈值的方法进行二值化，并取相同阈 值对滤波后的眼睛大致区域图进行二值化处理，从而分别获得眼角区域二值图和眼睛大致 区域二值图； 第三步：提取第一步中滤波前的眼睛大致区域图中的类眼角点图和眼白图，利用类眼 角点图中最右侧点的坐标信息为边界，滤除第二步得到的眼睛大致区域二值图中对应该边 界右侧的连通区，获得一次修正的眼睛大致区域二值图，再将其与所述眼白图进行并集操 作，获得二次修正后的眼睛大致区域二值图； 第四步：计算第二步得到的眼角区域二值图内最大两个连通区与第二步得到的眼睛 大致区域二值图的连通区关系，从而得到两个连通区在眼睛大致区域二值图中对应的连通 区，再计算这两个连通区与第三步获得的二次修正后眼睛大致区域二值图连通区关系，判 断是否需要重新定位眼睛大致区域和眼角区域； 第五步：对眼角区域二值图进行修剪并输出眼角点信息。2. 根据权利要求1所述的基于图像的人眼角检测的方法，其特征是，所述的固定模板3. 根据权利要求1所述的方法，其特征是，第三步中所述的眼睛大致区域的类眼角点 图，通过以下方式提取得到： 1) 对眼睛大致区域的图像提取灰度通道，然后建立3*3尺寸像素的扫描框进行上下左 右扫描； 2) 对扫描框中的每一个像素，计算其梯度方向值0 (x，y) =arctan(Gv(x，y)/Gh(x， y))，其中：Gh(x，y)为该坐标下水平方向的梯度值Ga(x，j〇 = /(x+1，j)-/(x-1，j)Vx,j， Gv(x，y)为该坐标下竖直方向的梯度值Gv〇，j) = /(Xj+ 1) -/〇，j-I)Vx,j，I(x，y)为灰 度图中在坐标（x，y)的灰度值； 3) 计算扫描框中的所有像素的梯度方向值的标准差，替代该扫描框的中心位置像素的 灰度值，并重复步骤1和步骤2,直至完成整个眼睛大致区域的图像的扫描以及对应中心位 置像素值的更新； 4) 对更新后的图片再次使用自定义阈值的方法进行二值化，使用类眼角点图中边界 点的信息滤除眼睛大致区域二值图中不必要的连通区，获得一次修正的眼睛大致区域二值 图，具体为：利用类眼角点图中最右侧点的坐标信息为边界，滤除第二步得到的眼睛大致 区域二值图中对应该边界右侧的连通区，使得后续修正眼睛大致区域二值图效果进一步优 化。4. 根据权利要求1或3所述的方法，其特征是，所述的自定义阈值的方法进 行二值化是指：对于单通道图像中的每一个像素点的值为I(x，y)，对于m*n大后的图像进行二值化处理：当像素值I(x，y)高于或等于阈值时，将像素值置为〇,反之置为 255 ； 当得到上述自定义阈值Ithrashcil^，进一步使用该阈值对眼睛大致区域灰度图像进行 二值化操作。5. 根据权利要求1所述的方法，其特征是，第三步中所述的眼白图，通过对眼睛大致区 域二值图进行RGB通道至HSV通道的转换，并提取其S通道；对S通道进行直方图均衡，并 利用自定义阈值的方法对其进行二值化处理，即可得到眼白大致区域图像，将一次修正的 眼睛大致区域二值图和眼白图进行并集操作，可以获得二次修正的眼睛大致区域二值图。6. 根据权利要求1所述的方法，其特征是，所述的第四步，具体包括： 4. 1)遍历第二步中得到的眼睛大致区域二值图和眼角区域二值图最大面积的两个连 通区，计算每一个区域，S卩眼睛大致区域二值图中黑色连通区与眼角区域二值图内两个连 通区，即眼角区域内面积最大的两个黑色连通区之间的连通区关系，分别取结果最大的作 为最相关连通区进行输出，得到眼角区域二值图中最大两个连通区在眼睛大致区域二值图 中对应的连通区； 4. 2)计算眼角区域二值图中最大两个连通区在眼睛大致区域二值图中对应的连通区 与第三步得到的二次修正后的眼睛大致区域二值图的连通区关系，当两个连通区关系的值 同时小于50%时判定眼角区域内信息不够，并返回第一步，直至两个连通区关系的值中至 少一个大于50 %，进入第五步。7. 根据权利要求1或6所述的方法，其特征是，所述的连通区关系是指： 边（Aarea,Barea) = (num(Aarea,Barea)/Size(Barea))* 100 %，其中：，Aarea,Barea分别是对应8. 根据权利要求1所述的方法，其特征是，所述的第五步，具体包括： 5.1)对第四步中得到的眼角二值图进行修剪，设调节参量为n，在本方法中含两个调 节参量njPn2，其对应的值分别为〇. 1和1.2,将像素分为两类，属于每一类的像素值与 对应的调节参量相乘作为新的像素值，使用所述的自定义阈值的方法进行二值化； 5. 2)在修整后的二值图中选取最大的连通区，取其最右侧的点作为眼角点信息输出， 即根据眼角区域在原视频帧的相对位置，将眼角坐标加上相对位置坐标，从而可以得到眼 角点在原视频帧的位置。9. 一种实现上述任一权利要求所述方法的系统，其特征在于，包括：滤波模块、二值化 模块、类眼角点图提取模块、眼白区域提取模块、连通区关系计算模块和二值图修剪模块， 其中：滤波模块向二值化模块输出图像的纹理特征，二值化模块将眼睛大致区域二值图和 眼角区域二值图输出至连通区关系计算模块，类眼角点提取模块将眼睛大致区域图中符合 眼角点特征的点的几何信息输出至连通区关系计算模块，眼白区域提取模块将眼睛大致区 域图中的眼白区域的几何信息输出至连通区关系计算模块，连通区关系计算模块综合图像 信息输出连通区在不同模块下的相互关系，二值图修剪模块根据相互关系对眼角区域二值 图的眼角区域轮廓进行修剪并提取得到眼角点信息。
【专利摘要】一种图像处理领域的基于图像的人眼角检测的方法及系统，通过使用固定模板对眼睛大致区域图和眼角区域图像进行滤波和自定义阈值的方法进行二值化，然后另外提取眼睛大致区域图中的类眼角点图和眼白图，利用类眼角点图中最右侧点的坐标信息为边界，滤除第二步得到的眼睛大致区域二值图中对应该边界右侧的连通区，获得一次修正的眼睛大致区域二值图，再将其与所述眼白图进行并集操作，获得二次修正后的眼睛大致区域二值图；然后计算眼角区域二值图内最大两个连通区与眼睛大致区域二值图的关系，从而得到两个连通区在眼睛大致区域二值图中对应的连通区，再计算这两个连通区与二次修正后眼睛大致区域二值图连通区关系，判断是否需要重新定位眼睛大致区域和眼角区域；最后对眼角区域二值图进行修剪并输出眼角点信息。通过本发明能够有效实现眼角检测。
【IPC分类】G06K9/00
【公开号】CN105046230
【申请号】CN201510446547
【发明人】林巍峣, 张志宇
【申请人】上海交通大学
【公开日】2015年11月11日
【申请日】2015年7月27日