一种婴幼儿非接触式眼动特征提取装置及方法与流程

本发明属于婴幼儿眼动特征提取领域，特别涉及一种婴幼儿非接触式眼动特征提取装置及提取方法。

背景技术：

视觉发育可塑性机制、眼球运动控制机制的研究一直是小儿眼科研究的热点。然而随着视觉发育科学的进展，其临床应用已经从眼科(眼部疾病、斜视和弱视)越来越多地延伸和交叉到发育儿科学领域。视觉是人类获取信息的主要渠道，在统合其它感知觉工作中有着重要的作用。由于婴幼儿的语言和动作尚未完全成熟，因此在能够完整进行口语表达前，视觉成为了解婴幼儿脑发育和认知发育水平的重要途径之一。

眼动的研究非常广泛，从基础生理到认知水平以及应用水平，都有大量的文献和书籍。眼动研究不但可以完整地还原被试者在各个任务界面下的注视轨迹，还可以通过划分兴趣区分析被试者在各区域内容的关注度。近年来也有相关研究表明对眼动的研究已经从对眼动表象的描述转入到内部加工机制特别是高级加工机制的揭示上，探索眼动指标在视觉加工中是怎样体现的，以及视觉认知与眼动模式的关系等；因此通过三维眼动特征窥视儿童早期甚至婴幼儿期发育和认知状态，并探究二者的深层联系和对应关系，进而转化为临床上婴幼儿相关发育障碍的早期发现、早期诊断和早期干预的新技术方法，日趋成为国内外研究的热点和大趋势。

传统上医师可以展示特定的图形或动画，对患儿进行视觉刺激，肉眼观察眼动，虽然简单易行，但只能对眼动进行比较粗略的了解，无法准确客观地反映眼动情况。随着现代科学技术的发展，新的眼动记录技术不断涌现，眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备，可以记录在特定环境下眼动指标参数和视线的运动轨迹。婴幼儿选择眼动仪时必须考虑实用性和准确性的问题，目前，眼动仪大致可分为三类：(1)头部受限式眼动仪，受限的头部运动会令测试者产生不适感，不适合婴幼儿的眼动特征记录；(2)头戴式眼动仪，如头盔式、眼镜式眼动仪，这类产品仍仅针对成年人；(3)遥测式眼动仪，不仅可以记录传统的注视、眼跳、跟踪等眼部运动，而且能够对被观测对象的视线进行跟踪。遥测式眼动仪基于三维人眼模型的视线跟踪方法在进行头部建模时，考虑头部的运动状态，从而可以消除头部运动带来的影响，是目前眼动特征记录的研究热点。在视线跟踪的具体实现上，多摄像头提取立体影像的方法可以很好地解决头部运动问题，但是这类方法通常要求各个摄像头间的基线长度尽量大以保证测量精度，使得影像记录装置的尺寸难以小型化，成像装置自身也必须进行精密的校准，实时记录时的数据处理压力较大。

技术实现要素：

本发明的目的，在于提供一种婴幼儿非接触式眼动特征提取装置及方法，其克服了眼动特征获取手段的局限性，实现了对眼动数据的典型特征的准确提取。

为了达成上述目的，本发明的解决方案是：

一种婴幼儿非接触式眼动特征提取装置，所述装置设于暗室中，包括显示屏、双目立体视觉成像拍摄系统和近红外光源，其中，显示屏设于被测婴幼儿的正前方，用于显示刺激图像/视频，供被测婴幼儿观看；双目立体视觉成像拍摄系统用于采集被测婴幼儿的人脸居中占屏图；近红外光源与双目立体视觉成像拍摄系统配合设置，朝向婴幼儿的位置，用于起到照明作用。

上述双目立体视觉成像拍摄系统包含两个近红外相机，分别设于显示屏的两侧。

一种婴幼儿非接触式眼动特征提取方法，包括如下步骤：

步骤1，由某一固定角度、固定位置采集被测婴幼儿的人脸居中占屏图，并将所有图片按照时间顺序排列，首先根据模板匹配得到各图片的初步眼部局部图像，并采用离散点集最小包围圆算法进行瞳孔边界点最小圆拟合，得到各图片对应的最终眼部局部图像；

步骤2，将步骤1得到的眼部局部图像分为睁眼状态和闭眼状态两组；

步骤3，对于睁眼状态的眼部局部图像，首先进行预处理，然后对其进行最小椭圆拟合得到瞳孔中心和瞳孔大小；对于闭眼状态的眼部局部图像，直接给予闭眼属性；

步骤4，将步骤3得到睁眼状态的瞳孔中心、瞳孔大小和闭眼属性，再结合对应的时间信息，从而得到眼动特征。

上述步骤1的具体过程是：

步骤11，在所有图片中选取时间最早的睁眼图片作为第一张图片，保留该时间点之后的所有图片，用于提取各图片对应的眼部局部图像；

步骤12，对于第一张图片，手动点击瞳孔中心，以其为中心根据设置的模板大小框出初步眼部局部图像，然后采用最小包围圆算法进行瞳孔边界点最小圆拟合，得到第一张眼部局部图像并作为下一张匹配用的模板；

步骤13，按照时间顺序选取第二张图片，基于步骤12得到的眼部局部图像，在第二张图片中进行匹配，并对匹配的图片进行最小包围圆算法进行瞳孔边界点最小圆拟合，得到对应第二张图片的眼部局部图像并作为下一张匹配用的模板；

步骤14，重复步骤13，对于每一张图片，均用前一张图片进行匹配，再进行拟合，得到步骤11所述保留的所有图片对应的眼部局部图像。

上述步骤11中，设置的模板大小是指尺寸为0.05m×0.07n，其中，m表示图片的高度，n表示图片的宽度。

上述步骤2中，区别睁眼和闭眼两种眼部状态的方法是：判断图像中瞳孔位置是否有高亮光斑，若有则判断为睁眼状态，否则为闭眼状态。

上述步骤3中，对睁眼状态的眼部局部图像进行预处理，是指依次通过进行二值化、膨胀和腐蚀处理，从而填充瞳孔中的光斑。

上述步骤3中，对于睁眼状态的眼部局部图像，拟合得到瞳孔中心和瞳孔大小的具体过程是：首先根据瞳孔边界点采用离散点集最小包围圆算法拟合得到一个初步瞳孔范围，再根据得到的半径r和圆中心，在未进行预处理的眼部局部图像上，根据半径r和圆中心提取一个圆环，该圆环的半径r1满足r-1≤r1≤r+1；再进行最小二乘法椭圆拟合，得到瞳孔的拟合，椭圆的中心xc，yc即为瞳孔中心，长轴a和短轴b的均值则表征瞳孔大小。

采用上述方案后，本发明的有益效果是：

(1)本发明有效地实现了非接触式眼部局部图像连续准确提取，成功地解决了婴幼儿低配合度导致的头部运动造成的无法准确提取眼部局部图像的难题；

(2)本发明实现了高准确度地自动化分辨睁眼和闭眼两种眼部状态，大大减少了误判率；

(3)本发明实现了眼动特征提取的自动化提取方法，大大减少了人工提取的工作量。

附图说明

图1是非约束式三维眼动特征捕获平台简图；

图2是本发明的特征提取方法流程图；

图3是提取眼部局部图像的流程示意图；

图4是自动提取眼动数据—瞳孔拟合效果示意图。

具体实施方式

以下将结合附图，对本发明的技术方案及有益效果进行详细说明。

如图1所示，本发明提供一种婴幼儿非接触式眼动特征提取装置，设于暗室中，包括显示屏、双目立体视觉成像拍摄系统和近红外光源，其中，显示屏可采用大尺寸电脑屏幕，用于显示刺激图像/视频，供婴幼儿观看；双目立体视觉成像拍摄系统由两个近红外相机构成，光圈大小为1.4，采集速度为10-20帧/秒，增益为5000-5600us，所述两个近红外相机分别设于显示屏的两侧，其位置需满足能够拍到人脸居中占屏图；近红外光源采用两条640nm、功率为20.16w的条形近红外光源，位于两个近红外相机的下方，朝向婴幼儿的位置，用于起到照明作用；在本实施例中，将摄像机采用装置支架进行固定，装置支架的尺寸为1.2m×0.9m，被测婴幼儿位于显示屏正前方，距离屏幕1m，其眼睛高度和屏幕中央齐平。

根据本发明得到的非约束式三维眼动特征捕获平台如图1所示，其可利用非接触实现对婴幼儿眼图的提取，根据其非接触特性，特别适合0-3岁低龄儿童，解决了由于婴幼儿低配合度导致的头部运动造成的无法准确提取眼动数据的难题。平台采集的图片本身是连续高速的，再通过不断更新的模板，进行眼部追踪的模板匹配，从而实现非接触提取眼部局部图像。

如图2所示，本发明提供一种婴幼儿非接触式眼动特征提取方法，分别针对每个相机采集的一组图片，包括提取眼部局部图像、睁闭眼判断和眼动特征提取三个部分，下面分别介绍。

配合图3所示，采用模板匹配结合瞳孔边界点最小圆拟合的方法提取眼部局部图像，其核心思想是不断更新模板，以保持眼部追踪的模板匹配，模板的大小固定，在本实施例中，选取其尺寸为0.05m×0.07n，其中，m表示相机采集图片的高度，n表示相机采集图片的宽度，模板尺寸是根据多次实验选取的能够确保将所有被测者的眼睛都框出的经验值；具体流程是：首先按照时间先后选取时间最早的睁眼图片作为第一张图片(考虑到图中被测者的肖像权，将图片中眼睛以外区域进行打码处理)，研究对象为该时间点之后的所有图片，手动点击瞳孔中心，以其为中心并按照模板的大小提取第一张图片的眼部局部图像，对提取的眼部局部图像采用离散点集最小包围圆算法进行拟合，根据拟合的中心，对图像进行更新，得到第一张眼部局部图像并作为下一张匹配用的模板；然后，按照时间顺序选取第二张图片，基于第一个模板在第二张图片中进行匹配，得到对应第二张图片的眼部局部图像；为了防止模板匹配的误差，对于匹配的图片，采用最小包围圆算法进行瞳孔边界点最小圆拟合，根据拟合的中心，更新第二张眼部局部图像并作为下一张匹配用的模板；以此类推，得到该组图片的所有眼部局部图像。

然后，对得到的所有眼部局部图像，根据实验环境下造成的瞳孔位置的高亮光斑，即只要判断图像中是否存在rgb＝255的像素点，来进行睁闭眼的判断，从而将眼部局部图像分为睁眼的眼部局部图像和闭眼的眼部局部图像，便于按状态依次进行眼部特征提取。

眼动特征提取根据睁眼状态和闭眼状态有所不同，分别说明如下：

首先为了更好地提取瞳孔，对睁眼的眼部局部图像进行二值化、膨胀、腐蚀从而来填充瞳孔中的光斑，但这些处理可能会造成部分瞳孔边界点的缺失，因此，需要根据上述边界点进行采用离散点集最小包围圆算法拟合得到一个大致瞳孔范围，再根据拟合结果：半径r和圆中心，在原图上提取一个圆环(r-1≤r1≤r+1)进行更加精确的瞳孔边界提取，再进行最小二乘法椭圆拟合，详见式(1)～(5)：

ax²+bxy+cy²+dx+ey+f＝0(1)

从而获取椭圆中心xc，yc、长轴a和短轴b(即瞳孔中心和瞳孔大小)。

对于闭眼的眼部局部图像，直接给予闭眼属性。

如图4所示是自动提取眼动数据—瞳孔拟合效果示意图。

得到睁眼状态的瞳孔中心和瞳孔大小，或者闭眼属性后，再结合对应的时间信息，则可以得到被测婴幼儿的眼动特征。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。