一种免定标的视线追踪装置及方法与流程

本发明属于眼动控制领域，尤其涉及一种免定标的视线追踪装置及方法。

背景技术：

视线追踪技术的应用范围非常广泛，例如计算机领域、心理学与生理检测领域、市场营销与广告等多个领域。视线追踪技术还可以用来收集用户对展示在货架上的物品的兴趣程度。

现有技术中的视线追踪技术主要采用如下的技术方案：使用眼动仪(一般包含一个或两个摄像机和若干个红外光源)中的摄像机拍摄用户眼睛图像，根据眼睛图像中红外光源的角膜反光点和瞳孔中心的相对位置关系确定用户眼睛所看的位置。

现有技术存在的主要问题在于，使用一个眼动仪对装置使用者进行视线追踪，每次使用前需要定标或校准(一般采取眼睛依次注视若干特定位置的标定点的方法)，否则眼动仪无法准确判定用户眼睛注视位置，使用不方便且浪费时间。

技术实现要素：

为解决上述技术问题，发明人提出了以下技术方案：

一种免定标的视线追踪装置，包含若干视线追踪模块，每个视线追踪模块在目标区域内具有不同的空间坐标；每个视线追踪模块包含至少一个光源，用于在使用者的眼角膜上形成角膜反光点(第一普尔钦斑)；每个视线追踪模块包含至少一个图像获取单元，用于捕获使用者的角膜反光点图像及瞳孔图像；免定标的视线追踪装置还包含数据处理模块，用于进行数字图像处理，获取瞳孔中心与角膜反光点，根据角膜反光点及瞳孔中心确定使用者眼睛注视的位置或位置区域，并存储使用者注视该位置或位置区域的数据。采用此视线追踪装置，无需定标或校准，就能够方便的追踪装置使用者的视线，确定使用者的注视位置和注视区域。

优选的，视线追踪模块中还包含一带通滤光片，带通滤光片的波长与其所在的视线追踪模块中的光源发出的光的波长匹配，角膜反光点的反射光路经过带通滤光片入射至图像获取单元，从而使所述的图像获取单元捕获到所述的角膜反光点图像。加入带通滤光片后，视线追踪模块中的图像获取单元只能接收特定波长的光线，过滤非特定波长的光线可以有效降低杂光对图像获取单元的干扰，提高视线追踪模块的识别效率。

优选的，视线追踪模块中还包含一带通滤光片，带通滤光片的波长与其所在的视线追踪模块中的光源发出的光的波长匹配，角膜反光点的反射光路经过带通滤光片入射至图像获取单元，从而使所述的图像获取单元捕获到所述的角膜反光点图像。由于相邻两个视线追踪模块中的光源发出的光的波长不同，所以视线追踪模块的带通滤光片的波长和相邻视线追踪模块的光源波长不能相互匹配。此时，视线追踪模块中的图像获取单元不能获取相邻视线追踪模块中光源所发出的光线，消除了相邻视线追踪模块光源对图像获取单元的干扰。

优选的，视线追踪模块中还包含一带通滤光片，带通滤光片的波长与其所在的视线追踪模块中的光源发出的光的波长匹配，角膜反光点的反射光路经过带通滤光片入射至图像获取单元，从而使所述的图像获取单元捕获到所述的角膜反光点图像。由于所有视线追踪模块中的光源发出的光的波长各不相同，所以每个视线追踪模块的带通滤光片只能通过其所在的视线追踪模块中的光源发出的光，消除了除其所在的视线追踪模块自身光源外其他视线追踪模块光源对图像获取单元的干扰，提高了视线追踪装置的效率。

优选的，若干视线追踪模块按照设定的时间周期依次开启或关闭。在设定时间周期内，所有视线追踪模块顺序开启或关闭，可以实现在此时间周期内，每个图像获取单元只获得一个角膜反光点图像，大大提高视线追踪装置的效率。

优选的，视线追踪装置还包括控制单元和若干受控设备。控制单元接收视线追踪装置中数据处理单元传送的数据，并根据数据发出指令控制受控设备。装置使用者可以在无需定标的情况下控制受控设备，使用者应用视线追踪装置控制受控设备时会觉得更加方便，获得更佳体验。

优选的，视线追踪模块中的光源为红外光源，可以避免可见光对图像获取单元的干扰。

本发明还公开了一种应用视线追踪装置的方法，包含以下步骤：

(1)将视线追踪模块放置在目标区域内的不同空间坐标；

(2)视线追踪装置的使用者注视目标区域内的任一空间坐标；

(3)光源在使用者的眼角膜上形成角膜反光点；

(4)图像获取单元捕获使用者的角膜反光点图像及瞳孔图像；

(5)通过运行在图像处理单元的算法，计算出每个角膜反光点与瞳孔中心间的瞳孔角膜矢量；

(6)比较所有瞳孔角膜矢量长度，矢量长度最短的图像所对应的视线追踪模块所在的空间坐标即为使用者注视的空间坐标。

本发明披露的视线追踪装置及方法，无需定标或校准，就能够方便的追踪装置使用者的视线，确定使用者的注视位置和注视区域。

附图说明

图1为本发明一种免定标的视线追踪装置的结构框图；

图2为本发明技术原理示意图；

图3为本发明实施例一的示意图；

图4为本发明实施例二的示意图；

图5为实施例二中获取的角膜反光点的示意图；

图6为本发明实施例三的示意图。

具体实施方式

为详细说明本发明的技术方案，现结合附图说明本发明优选的实施例。

如图1所示，本发明公开了一种免定标的视线追踪装置10，该视线追踪装置10中设置若干视线追踪模块100；所述的视线追踪模块100包含：至少一个光源101，用于在使用者的眼角膜上形成角膜反光点；至少一个图像获取单元102(摄像头)，用于捕获使用者的角膜反光点图像及瞳孔图像；视线追踪装置10还包含数据处理模块200，用于根据角膜反光点图像及瞳孔图像确定使用者眼睛注视的位置或位置区域。

本发明采用的技术原理为，当使用者眼睛注视某点时，从位于该点的摄像头及光源所拍摄到的用户眼睛图像中的瞳孔中心和角膜反光点中心基本重合。本发明基于这样的假设：当某一图像获取单元采集到使用者眼睛40的角膜反光点图像及瞳孔图像，其角膜反光点50位于瞳孔401的中心位置或中心位置附近时，则认为使用者正在观察该视线追踪模块所在的位置(如图2所示)。

实施例一：根据上述技术原理，在本发明中的视线追踪装置10可以用于商家评估顾客感兴趣的商品以及感兴趣的展示位置或者位置区域。在实施例一中，将视线追踪装置10用于商品在商店橱窗内进行广告宣传或展示时，采集使用者对陈列物品的兴趣程度。如图3所示，在橱窗中展示了9件商品(图中用a、b、c、d、e、f、g、h、i来分别代替各商品，商品的种类为可以在橱窗中展示的物品，例如玩具、电器等)，每一件商品对应一个视线追踪模块100，视线追踪模块安装在商品的正下方，且两者间的距离较小，在本实施例中，两者之间的距离可以忽略不计。为了获得使用者眼睛的视线位置或位置区域，使用者眼睛注视某位置时，图像获取单元捕获使用者的角膜反光点图像及瞳孔图像，通过运行在图像处理单元的算法，计算出每个角膜反光点与瞳孔中心间的瞳孔角膜矢量，比较所有瞳孔角膜矢量长度，矢量长度最短的图像所对应的视线追踪模块所在的空间坐标即为使用者注视的空间坐标，由此即可以判断出使用者在注视9件商品中的哪一件商品。

这样，对一定样本数量的使用者分别进行采集，把使用者感兴趣的位置或位置区域形成热点图或眼动数据统计报表，可以判断出使用者对商品的感兴趣的程度，统计结果可以供商家对橱窗展示位置进行评估研究。

在本实施例中，为了提高效率，将瞳孔的二维图像假设为一个以瞳孔中心为圆心的圆，如图2所示，可以仅对某一阈值范围60(阈值范围为半径小于瞳孔半径的圆)内的角膜反光点进行分析，处于该阈值范围60以外的角膜反光点图像不参与计算，减少对比的数量。

实施例二：在本实施例中，若干视线追踪模块按照设定的时间周期依次开启或关闭。在设定时间周期内，所有视线追踪模块顺序开启或关闭，可以实现在此时间周期内，每个图像获取单元只获得一个角膜反光点图像，大大提高视线追踪装置的效率。如图4所示，在墙面上并排设置三个开关面板(1、2、3)，其中，开关面板1代表电灯开关，开关面板2代表中央空调开关，开关面板3代表地暖系统开关，将3个视线追踪模块100集成到面板的中央位置，而将开关装置嵌入到墙体中。将3个视线追踪模块的依次开启周期设置为0.1秒，当人眼注视到墙面的开关安装区域时，0.1秒内3个视线追踪模块依次开启，图像获取单元获取角膜反光点图像，如图5a～5c所示，分别为开关面板1、开关面板2、开关面板3所对应的图像获取单元102拍摄的角膜反光点的图像和瞳孔图像，对应的角膜反光点矢量分别为11、21、31，通过比较三个角膜反光点矢量的长度判断使用者正在注视开关面板2，即使用者想要控制开关面板2所对应的开关装置。

实施例三：在本实施例中，视线追踪装置包含控制单元和若干受控设备(201-205)，控制单元接收视线追踪装置中数据处理单元传送的数据，并根据数据发出指令控制受控设备。将视线追踪装置10用于控制家庭中设置在墙壁上的各式各样的开关装置，如图6所示，包含依次排列的电灯开关201、中央空调开关202、地暖系统开关203、新风系统开关204及智能家居中央控制器开关205，并且每一个开关装置对应设置一个视线追踪模块100，每一个视线追踪模块包含一个光源101和一个图像获取单元102。

在本实施例中，为了便于实施，视线追踪模块100是设置在开关装置的下方，可以用于对已有开关装置进行改造，以实现眼控功能，如图6所示。同样地，将视线追踪模块100也可设置在开关装置的上方、左侧及右侧，对于本领域的技术人员而言是显而易见的。

在本实施例中，开关装置与视线追踪装置10中的数据处理模块200通信，接收数据处理模块200发送的控制指令，并且接收开关装置所处的状态信息；例如，控制电灯开关，当电灯开关处于常开状态时，数据处理模块根据角膜反光点图像及瞳孔图像确定使用者眼睛正在注视电灯开关，此时数据处理模块200向电灯开关发送关闭的指令；若电灯开关处于常闭状态时，数据处理模块根据角膜反光点图像及瞳孔图像确定使用者眼睛正在注视电灯开关，此时数据处理模块200向电灯开关发送开启的指令。

同样地，在本发明中的视线追踪装置10还可以用于驾驶员与车辆上的功能按钮进行交互，确定驾驶员注视的功能按钮，相应的功能按钮进行响应。例如，对汽车上的音响系统、空调系统等进行控制，每一个系统对应的开关装置位置处设置一个视线追踪模块，当采集到用户的视线落在该开关位置时，对应的功能开启或关闭。

在本发明的另一个实施例中，视线追踪模块中还包含一带通滤光片，带通滤光片的波长与其所在的视线追踪模块中的光源发出的光的波长匹配，角膜反光点的反射光路经过带通滤光片入射至图像获取单元，从而使所述的图像获取单元捕获到所述的角膜反光点图像。由于相邻两个视线追踪模块中的光源发出的光的波长不同，所以视线追踪模块的带通滤光片的波长和相邻视线追踪模块的光源波长不能相互匹配。此时，视线追踪模块中的图像获取单元不能获取相邻视线追踪模块中光源所发出的光线，消除了相邻视线追踪模块光源对图像获取单元的干扰。

在本发明的另一个实施例中，视线追踪模块中还包含一带通滤光片，带通滤光片的波长与其所在的视线追踪模块中的光源发出的光的波长匹配，角膜反光点的反射光路经过带通滤光片入射至图像获取单元，从而使所述的图像获取单元捕获到所述的角膜反光点图像。由于所有视线追踪模块中的光源发出的光的波长各不相同，所以每个视线追踪模块的带通滤光片只能通过其所在的视线追踪模块中的光源发出的光，消除了除其所在的视线追踪模块自身光源外其他视线追踪模块光源对图像获取单元的干扰，提高了视线追踪装置的效率。

在本发明中还公开了一种应用视线追踪装置的方法，包含以下步骤：

(1)将视线追踪模块放置在目标区域内的不同空间坐标；

(2)视线追踪装置的使用者注视目标区域内的任一空间坐标；

(3)光源在使用者的眼角膜上形成角膜反光点；

(4)图像获取单元捕获使用者的角膜反光点图像及瞳孔图像；

(5)通过运行在图像处理单元的算法，计算出每个角膜反光点与瞳孔中心间的瞳孔角膜矢量；

(6)比较所有瞳孔角膜矢量长度，矢量长度最短的图像所对应的视线追踪模块所在的空间坐标即为使用者注视的空间坐标。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。