一种老年人瞳孔快速定位方法

1.本发明涉及人工智能领域，特别是一种老年人瞳孔快速定位方法。


背景技术：

2.在日常生活中，人们获取到的外界信息的方式有80％是通过眼睛。实现直接性、自然性和双向性等特点使得视线追踪技术在许多领域有着广泛的应用，如广告分析研究、人机交互、场景研究、动态分析等。
3.视线追踪技术的基本原理是对眼部图像进行处理，提取眼睛特征，得到视线参数，最后根据模型估计出用户的屏幕注视点或者视线方向。眼睛特征提取是视线追踪技术中的重要部分。其中，实现追踪系统中瞳孔的精确定位又是重中之重。
4.目前瞳孔定位算法主要包括基于图像处理的方法和基于统计学习的方法。基于图像处理的瞳孔检测的方法主要有基于灰度积分投影的方法和基于霍夫圆变换的瞳孔检测等方法。灰度积分投影算法利用了瞳孔区域灰度值较低的特性，对图像水平方向进行积分投影，投影所得的曲线上会有一个明显的波谷区域，该波谷区域是瞳孔部分在垂直方向上的大致投影位置。该算法只计算图像像素的灰度值，计算量小，处理速度快。睫毛、眼镜和不均匀光照等干扰因素会使得灰度积分投影曲线的波谷区域发生变化，出现多个波谷或波谷偏移的情况，因此检测误差较大。基于hough变换的椭圆检测算法较早用于瞳孔检测，利用边缘提取算法定位出瞳孔边界点，再用霍夫圆变换的方法对瞳孔边缘点进行拟合，该方法具有瞳孔边缘提取不准确，圆拟合速度慢的缺点。
5.王军宁、刘涛等人在《红外头盔式眼动仪的瞳孔中心定位算法》中提出的改进算法存在瞳孔边缘点检测速度慢的问题，而且对遮挡瞳孔的定位效果不好，不能精确定位瞳孔遮挡时瞳孔的精确位置。基于统计学习的人眼检测算法主要有adaboost算法和deep-learning算法，这两种算法在人眼检测领域都有较好的效果。基于统计的算法需要大量的训练样本，其训练过程和分类器构成复杂，基于统计学习的算法无法精确定位瞳孔，无法满足瞳孔定位的精度要求。


技术实现要素：

6.本发明的目的在于针对上述现有技术存在的问题，提供一种不依赖复杂硬件设备、鲁棒性强、快速的老年人变形瞳孔中心定位方法。
7.实现本发明目的的技术解决方案为：一种老年人瞳孔快速定位方法，包括以下步骤：
8.步骤1、利用双目视觉摄像机采集到的老人人脸图像，并对采集的图像进行预处理；
9.步骤2、分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
10.步骤3、根据步骤2得到的灰度投影，定位与提取左右眼、左右嘴角及鼻尖位置；
11.步骤4、根据老年人面部特征之间较稳定的相对位置关系粗定位眼部区域；
12.步骤5、利用灰度值梯度进行瞳孔边缘点检测，定位瞳孔精确坐标。
13.一种老年人瞳孔快速定位系统，包括以下模块：
14.图像采集模块：用于采集到的老人人脸图像，并对图像进行预处理；
15.灰度投影模块：用于分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
16.粗定位模块：用于利用灰度投影曲线确定左右眼、左右嘴角及鼻尖位置，并依据位置关系粗定位眼部区域；
17.精确定位模块：用于对粗定位眼部区域进行瞳孔边缘点检测，获得瞳孔精确位置。
18.本发明与现有技术相比，其显著优点在于：
19.(1)本发明的技术方案采用非侵入式方案定位人眼区域与瞳孔中心，无需佩戴眼动仪，不依赖复杂硬件设备，实现简单；
20.(2)本发明的技术方案将灰度积分确定面部特征点用于检测鼻尖、嘴角等明显关键点处，降低定位难度；
21.(3)本发明的技术方案根据老年人人脸特征较稳定的相对位置关系定位瞳孔区域，提高定位速度。
22.(4)本发明的技术方案在瞳孔精定位的过程中先后提取到瞳孔像素级、亚像素级边缘，使用周围像素的灰度值作为判断的补充信息，从而达到更高的分辨本领，使边缘定位更加精确。
23.下面结合附图对本发明作进一步详细描述。
附图说明
24.图1为本发明的老年人瞳孔快速定位方法步骤流程图。
25.图2为本发明的老年人瞳孔快速定位方法中定位与提取左右眼、左右嘴角及鼻尖位置步骤流程图。
26.图3为本发明的老年人瞳孔快速定位方法的应用示意图。
27.图4为本发明的实施例中快速定位老年人变形瞳孔的效果示意图。
具体实施方式
28.一种老年人瞳孔快速定位方法，包括以下步骤：
29.步骤1、利用双目视觉摄像机采集到的老人人脸图像，并对采集的图像进行预处理，具体为：
30.将采集到的图像进行灰度化处理，并采用中值滤波对灰度图像进行去噪。
31.步骤2、分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
32.步骤3、根据步骤2得到的灰度投影，定位与提取左右眼、左右嘴角及鼻尖位置，具体为：
33.步骤3-1、根据步骤2得到的水平方向上的灰度投影曲线，脸颊之间两个对称的波谷对应着左右眼位置；
34.步骤3-2、根据步骤2得到的垂直方向上的灰度投影曲线，其中4个有效波谷对应眉毛、眼睛、鼻、嘴巴在垂直方向上的大致位置；
35.步骤3-3、结合水平方向上和垂直方向上的灰度投影结果，定位与提取左右眼特征点、鼻尖特征点、左右嘴角特征点，具体为：
36.步骤3-3-1、对水平和垂直方向的灰度投影进行灰度归一化处理，定位与提取左右眼角的位置；
37.步骤3-3-2、根据水平和垂直方向的灰度投影的鼻尖波谷得到角点坐标，定位鼻尖特征点的位置；
38.步骤3-3-3、根据人脸区域的最下边缘点到鼻尖特征点的中点确定嘴巴区域最下边缘点，再与鼻尖特征点的中点作为嘴巴区域的最上边缘点；
39.对嘴巴区域进行二值化处理，得到嘴巴区域的二值图像，对区域图像使用susan算子获得边缘图像，在此基础上进行角点提取获得嘴角精确位置，每次迭代后判断与上一次迭代值是否相等，相等则停止迭代，得到左右嘴角的特征点位置。
40.步骤4、根据老年人面部特征之间较稳定的相对位置关系粗定位眼部区域，具体为：
41.步骤4-1、将左嘴角特征点与鼻尖特征点连线的延长线在与右眼角点齐平的位置作为右眼瞳孔中心的粗定位点；
42.步骤4-2、将右嘴角特征点与鼻尖特征点的延长线与左眼角点齐平的位置作为左眼瞳孔中心的粗定位点；
43.步骤4-3、分别以左右瞳孔中心的粗定位点为中心点，中心点到左右眼角点的距离作为分别为边长构建矩形，初步确定左眼和右眼的眼部感兴趣区域，即roi区域。
44.步骤5、利用灰度值梯度进行瞳孔边缘点检测，定位瞳孔精确坐标，具体为：
45.步骤5-1、根据步骤4得到大致的左右眼粗瞳孔中心分别所在的位置p，坐标为(x
p
,y
p
)，分别确定以(x
p
,y
p
)为起点、π/12为间隔的射线上相邻像素点灰度值的差值，利用不同像素点梯度的差异精确定位瞳孔边缘点；
46.步骤5-2、根据步骤5-1得到的左右眼的像素级瞳孔边缘点(xi,yj)的梯度，分别沿其梯度方向上将射线穿过的相关点的梯度值变化拟合成一条二次曲线，令曲线导数为零建立方程，分别确定左右眼瞳孔亚像素边缘点的位置；
47.步骤5-3、对步骤5-2提取的左右眼瞳孔亚像素边缘点进行椭圆最小二乘拟合连接成边界，分别确定左右眼瞳孔的精确位置。
48.进一步的，所述步骤5-3的进行椭圆最小二乘拟合定位中，进行两次椭圆拟合，第一次拟合后计算每个边缘点的残差，将残差大于设定阈值的点去除，再对剩余点进行第二次拟合，得到左右眼瞳孔的精确位置。
49.一种老年人瞳孔快速定位系统，包括以下模块：
50.图像采集模块：用于采集到的老人人脸图像，并对图像进行预处理；
51.灰度投影模块：用于分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
52.粗定位模块：用于利用灰度投影曲线确定左右眼、左右嘴角及鼻尖位置，并依据位置关系粗定位眼部区域；
53.精确定位模块：用于对粗定位眼部区域进行瞳孔边缘点检测，获得瞳孔精确位置。
54.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的
计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
55.步骤1、利用双目视觉摄像机采集到的老人人脸图像，并对采集的图像进行预处理；
56.步骤2、分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
57.步骤3、根据步骤2得到的灰度投影，定位与提取左右眼、左右嘴角及鼻尖位置；
58.步骤4、根据老年人面部特征之间较稳定的相对位置关系粗定位眼部区域；
59.步骤5、利用灰度值梯度进行瞳孔边缘点检测，定位瞳孔精确坐标。
60.一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
61.步骤1、利用双目视觉摄像机采集到的老人人脸图像，并对采集的图像进行预处理；
62.步骤2、分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
63.步骤3、根据步骤2得到的灰度投影，定位与提取左右眼、左右嘴角及鼻尖位置；
64.步骤4、根据老年人面部特征之间较稳定的相对位置关系粗定位眼部区域；
65.步骤5、利用灰度值梯度进行瞳孔边缘点检测，定位瞳孔精确坐标。
66.下面结合附图和实施例对本发明做进一步的说明。
67.实施例
68.结合图1，一种老年人瞳孔快速定位方法，包括以下步骤：
69.步骤1、利用双目视觉摄像机采集到的老人人脸图像，并对采集的图像进行预处理，具体为：
70.将采集到的图像进行灰度化处理，并采用中值滤波对灰度图像进行去噪。
71.步骤2、分别在水平、垂直方向上对人脸图像进行灰度投影，得到灰度投影曲线；
72.步骤3、结合图2，根据步骤2得到的灰度投影，定位与提取左右眼、左右嘴角及鼻尖位置，具体为：
73.步骤3-1、根据步骤2得到的水平方向上的灰度投影曲线，脸颊之间两个对称的波谷对应着左右眼位置；
74.步骤3-2、根据步骤2得到的垂直方向上的灰度投影曲线，其中4个有效波谷对应眉毛、眼睛、鼻、嘴巴在垂直方向上的大致位置；
75.步骤3-3、结合水平方向上和垂直方向上的灰度投影结果，定位与提取左右眼特征点、鼻尖特征点、左右嘴角特征点，具体为：
76.步骤3-3-1、对水平和垂直方向的灰度投影进行灰度归一化处理，定位与提取左右眼角的位置；
77.步骤3-3-2、根据水平和垂直方向的灰度投影的鼻尖波谷得到角点坐标，定位鼻尖特征点的位置；
78.步骤3-3-3、根据人脸区域的最下边缘点到鼻尖特征点的中点确定嘴巴区域最下边缘点，再与鼻尖特征点的中点作为嘴巴区域的最上边缘点；
79.对嘴巴区域进行二值化处理，得到嘴巴区域的二值图像，对区域图像使用susan算子获得边缘图像，在此基础上进行角点提取获得嘴角精确位置，每次迭代后判断与上一次迭代值是否相等，相等则停止迭代，得到左右嘴角的特征点位置。
80.步骤4、根据老年人面部特征之间较稳定的相对位置关系粗定位眼部区域，具体为：
81.步骤4-1、将左嘴角特征点与鼻尖特征点连线的延长线在与右眼角点齐平的位置作为右眼瞳孔中心的粗定位点；
82.步骤4-2、将右嘴角特征点与鼻尖特征点的延长线与左眼角点齐平的位置作为左眼瞳孔中心的粗定位点；
83.步骤4-3、分别以左右瞳孔中心的粗定位点为中心点，中心点到左右眼角点的距离作为分别为边长构建矩形，初步确定左眼和右眼的眼部感兴趣区域，即roi区域。
84.步骤5、利用灰度值梯度进行瞳孔边缘点检测，定位瞳孔精确坐标，具体为：
85.步骤5-1、根据步骤4得到大致的左右眼粗瞳孔中心分别所在的位置p，坐标为(x
p
,y
p
)，分别确定以(x
p
,y
p
)为起点、π/12为间隔的射线上相邻像素点灰度值的差值，利用不同像素点梯度的差异精确定位瞳孔边缘点；
86.步骤5-2、根据步骤5-1得到的左右眼的像素级瞳孔边缘点(xi,yj)的梯度，分别沿其梯度方向上将射线穿过的相关点的梯度值变化拟合成一条二次曲线，令曲线导数为零建立方程，分别确定左右眼瞳孔亚像素边缘点的位置；
87.步骤5-3、对步骤5-2提取的左右眼瞳孔亚像素边缘点进行椭圆最小二乘拟合连接成边界，分别确定左右眼瞳孔的精确位置。
88.进一步的，所述步骤5-3的进行椭圆最小二乘拟合定位中，进行两次椭圆拟合，第一次拟合后计算每个边缘点的残差，将残差大于设定阈值的点去除，再对剩余点进行第二次拟合，得到左右眼瞳孔的精确位置。
89.结合图3，在一个具体实施例中，本发明用于卧床老人照护需求识别；
90.图中，1为病床前人机交互面板，2为人机界面可操作空间，3为检测图像的双目摄像机，4为双目摄像机自带红外光源，5为摄像机检测瞳孔坐标，6为视线落点，7为本发明一种瞳孔快速定位方法。
91.结合图4，为一个具体实施例中老年人瞳孔快速定位方法的效果示意图。
92.综上，与传统方法相比，本发明提出的瞳孔中心定位方法，不依赖复杂硬件的支撑，针对老年人变形瞳孔，能够快速定位瞳孔中心坐标，具有较强的鲁棒性、实时性。
93.出于说明的目的，上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；凡是采用等同替换或等效变换的方式获得的技术方案均落在本发明的保护范围内。