一种基于眼动信号的图像缩放及拖拽方法与流程

本发明公开了一种基于眼动信号的图像缩放及拖拽方法，属于认知神经科学、图像处理相交叉的技术领域。

背景技术：

对图像的缩放和拖拽是人机互动实现对图像操作的基本功能，在涉及人机互动的图像处理领域中具有重要的应用价值。在一些特殊的应用领域，如对图像实施精细处理或判读等领域，操作人员需要对大尺寸图片的各个区域逐个进行处理或判读，在此过程中需要对感兴趣的局部区域进行多次缩放并对整幅大尺寸图像进行拖拽操作。如何提高缩放或拖拽效率进而有效降低操作人员的操作强度在对图像进行精细处理或判读等特殊应用领域具有巨大实用价值。

目前，对于感兴趣局部图像的缩放主要是通过鼠标在图像中划定待缩放区域后进行局部图像的缩放；而对大尺寸图片的拖拽则主要是利用鼠标选定坐标后通过鼠标的移动来实现，也有通过键盘按键对图像进行上下左右四个方向的拖拽。上述方法都需要多次移动鼠标或敲击键盘，增加了操作人员的操作强度和操作时间，亟待一种新型人机交互方式来降低操作强度进而提高效率。

当操作人员观察一幅图像时，基于眼动仪中的红外摄像机和瞳孔-角膜反射向量法可以获取双眼眼球的图像，通过图像处理得到瞳孔中心位置，通过坐标转化可以获取视线落在图像中的轨迹。本申请旨在提出一种利用眼动信号实现高效的图像缩放及拖拽方法。

技术实现要素：

本发明的发明目的是针对上述背景技术的不足，提供了一种基于眼动信号的图像缩放及拖拽方法，以简单的鼠标键入操作为触发事件并实时捕捉观察者视线轨迹，以观察者的实时眼动情况替代鼠标键盘的频繁操作进而实现了图像的缩放及拖拽，解决了现有感兴趣局部图像的缩放及拖拽操作强度大及操作时间长的技术问题。

本发明为实现上述发明目的采用如下技术方案：

基于眼动信号的图像缩放及拖拽方法包括以下两个部分。

(一)基于眼动信号的感兴趣区域图像缩放

1)完成红外摄像机的参数设置，分别设定红外成像图像中瞳孔和角膜反射检测阈值，分别获取瞳孔和角膜中心点的位置，利用ransac法(mach,c.a.c.,randomsampleconsensus:aparadigmformodelfittingwithapplicationtoimageanalysisandautomatedcartography,1981)获得注视点对应的眼动坐标；

2)完成注视点校准，在屏幕的四角、中央显示校准点，观图人员依次注视校准点，获取对应的注视点坐标，建立注视点区域与屏幕之间的映射关系；

3)在屏幕上四角、中央显示校准点，采集观图人员注视校准点的注视点坐标，计算出该步骤采集的注视点与步骤2)校准过程中得到的校准点坐标之间的偏差，当平均偏差小于视角1度时，完成校准步骤进入步骤4)，否则重复步骤2)校准过程直至满足要求；

4)在整幅大尺寸图像中心部分按照设置的屏幕显示分辨率截取图像，并在屏幕上居中满屏显示该截取图像；

5)将图片呈现时间以50ms长度分为若干个时间片段，获取各个时间片段内的注视点坐标分布图，对所有时间片段对应的注视点坐标分布图求平均，并利用高斯平滑算法进行平滑化处理后形成注视点热图，截取注视点热图最大值的80％以上的热图叠加在显示图像上作为图片呈现时间内的平均注视点热图；

6)当获取鼠标左键按下事件后，保存当前显示画面的相关信息(在整幅大尺寸图像的位置、区域大小、放大比例)，并以该时刻为0时刻倒溯1000ms时间，按步骤5)中的方法获取﹣1000ms至﹣500ms内的平均注视点热图；

7)将上述平均注视点热图中全局最大值的坐标作为缩放注视点坐标，以该缩放注视点为中心选择m*n像素的长方形区域作为感兴趣区域；

8)将步骤7)检出的感兴趣区域放大k倍并在屏幕中央显示以实现图像的放大操作；

9)当获取鼠标右键按下事件后，按照步骤6)中保存的信息，在屏幕上显示画面以实现图像的缩小操作。

步骤6)至9)可以嵌套执行以实现图像的多次缩放操作。

(二)基于眼动信号的图像拖拽

步骤1)至5)同(一)相同；

6)定义显示图像距离屏幕四边l个像素以内的范围为图像周边区域；操作人员在执行基于眼动信号的图像拖拽操作时，要求操作人员注视图像周边区域内某一位置以指示拖拽方向；定义操作人员注视的位置为拖拽注视点，拖拽注视点位置和拖拽操作的对应关系为：拖拽整幅图像使得拖拽注视点对应图像在屏幕中央显示以实现图像拖拽操作；

7)当获取鼠标中键按下事件后，以该时刻为时间0点倒溯1000ms时间，按步骤5)中的方法获取﹣1000ms至﹣500ms内的平均注视点热图；

8)从上述平均注视点热图中选取坐落于图像周边区域内的热图最大值坐标作为拖拽注视点坐标；

9)拖拽整幅图像使得拖拽注视点对应图像在屏幕中央显示以实现图像的拖拽操作。在图像拖拽操作中，获取操作人员目光注视点坐落区域相对于屏幕的位置指示图像拖拽的方向，即，坐落于屏幕上、下、左、右侧时，对应为向下、上、右、左拖拽图像；坐落于屏幕左上、右上、左下、右下角时，对应为向右下、左下、右上、左上拖拽图像。

10)上述步骤7)至9)可以嵌套执行以实现图像的多次拖拽。

以上所述缩放和拖拽两个部分的操作彼此之间可以嵌套执行，以实现对图像的多次缩放或拖拽。

本发明采用上述技术方案，具有以下有益效果：

本发明实时捕捉观察者观察待处理图片的眼动信号生成能够反映观察者视线轨迹的注视点热图，以简单的鼠标键入为图像缩放及图像拖拽的外部触发事件，从触发事件起始的倒溯的时间段内的平均注视点热图中选取缩放注视点及拖拽注视点，再结合简单编程代替鼠标移动操作，可以减少操作人员的操作强度；此外，由于视线的移动速度快于移动鼠标的速度，采用本申请的图像缩放和拖拽方法能够加快对图像的操作速度。

附图说明

图1为系统构成图。

图2为系统信号流程图。

图3(a)为图片呈现时间以50ms为时间片段长度时获取的各个时间片段内的注视点坐标分布图，图3(b)为对图3(a)中所有注视点坐标分布图求平均并进行高斯平滑化处理后形成的注视点热图。

图4(a)为根据图3(b)所示注视点热图得到的平均注视点热图，图4(b)为从图4(a)所示平均注视点热图中选取的缩放注视点。

图5(a)为根据图3(b)所示注视点热图得到的平均注视点热图，图5(b)为从图5(a)所示平均注视点热图中选取的拖拽注视点。

图6(a)为通过对待放大图像的注视及鼠标左键按键事件获取的缩放注视点，图6(b)为对待放大区域进行k＝7倍放大操作后的图片。

图7(a)为获取鼠标右键按键事件时上一次图像放大操作所保存的图像信息，图7(b)为对待缩小区域进行k＝7倍缩小操作后的图片。

图8(a)为获取鼠标中键按键事件时上一次图像操作所保存的图像信息，图8(b)为待拽模图像完成拖拽后得到的图像。

具体实施方式

下面结合附图对发明的技术方案进行详细说明。

图1为系统构成图。实现本申请方法的系统的框图如图所示，由图像显示模块、眼动信号检出模块、注视点热图生成模块、鼠标按键模块、注视点检出模块、图像缩放模块、图像拖拽模块构成。其中，图像显示模块呈现待操作图像；眼动信号检出模块获取操作人员的眼动信号；注视点热图生成模块将眼动信号转化为注视点热图；鼠标按键模块获取操作人员对于当前呈现图像所做出的鼠标左、中、右按键事件；当检测到鼠标按键事件后，注视点检出模块对倒溯数百毫秒内的若干个时间片段的注视点热图求平均获得平均注视点热图，并获取平均注视点热图中全局最大值的坐标作为缩放注视点或获取平均注视点热图周边区域中全局最大值的坐标作为拖拽注视点；当获取鼠标左键按下事件后，图像缩放模块以缩放注视点为中心选择m*n像素的长方形区域作为感兴趣区域，将该区域放大k倍并在屏幕中央显示以实现图像放大操作；当获取鼠标右键按下事件后，图像缩放模块根据上一次图像放大操作时保存的图像信息，显示对应图像以实现图像缩小操作；当获取鼠标中键按下事件后，图像拖拽模块以拖拽注视点为中心，拖拽整幅图像使得拖拽注视点对应图像在屏幕中央显示以实现图像拖拽操作。

图2为系统信号流程图。图像显示模块呈现图像，并等待眼动信号检出模块获取对应的眼动信号；眼动信号检出模块获取眼动信号后，由注视点热图生成模块生成注视点热图；鼠标按键模块获取操作人员对当前图像的操作意图；根据操作人员做出的鼠标按键事件和对应的注视点热图，注视点检出模块检测出缩放或拖拽注视点；若检出鼠标左键事件，则由图像缩放模块根据缩放注视点对图像进行放大操作；若检出鼠标右键事件，则由图像缩放模块根据上一次图像放大操作时保存的图像信息(在整幅大尺寸图像的位置、区域大小、放大比例)对图像进行缩小操作；若检出鼠标中键事件，则由图像拖拽模块根据拖拽注视点对图像进行拖拽操作。

图3为注视点热图生成模块生成的注视点热图示例。如图所示，图3(a)显示将图片呈现时间以50ms长度分为若干个时间片段，获取各个时间片段内的注视点坐标分布图；图3(b)显示的是对所有注视点坐标分布图求平均并进行高斯平滑化处理后形成注视点热图。

图4为注视点检出模块生成的缩放注视点示例。操作人员对呈现图像待缩放区域进行注视，当获取鼠标左键或右键按下事件后，并以该时刻为时间0时刻向后倒溯1000ms，按照图3中所示方法生成-1000ms至-500ms内注视点热图，截取注视点热图最大值的80％以上的热图叠加在显示图像上作为图片呈现时间内的平均注视点热图(如图4(a))，将平均注视点热图中全局最大值的坐标(如图4(b)中十字架位置)作为缩放注视点。

图5为注视点检出模块生成的拖拽注视点示例。操作人员对呈现图像待拖拽区域进行注视，当获取鼠标中键按下事件后，并以该时刻为时间0时刻向后倒溯1000ms，按照图3中所示方法生成-1000ms至-500ms内注视点热图，截取注视点热图最大值的80％以上的热图叠加在显示图像上作为图片呈现时间内的平均注视点热图(如图5(a))，将平均注视点热图周边区域中全局最大值的坐标(如图5(b)中十字架位置)作为拖拽注视点。

图6为图像缩放模块实现图像放大示例。通过对待放大图像的注视及鼠标左键按键事件获取缩放注视点(图6(a))，图像缩放模块对待放大区域进行放大k＝7倍的操作(图6(b))。

图7为图像缩放模块实现图像缩小示例。在处在放大状态的图像的显示过程中(图7(a))，通过对鼠标右键按键事件的获取，根据上一次图像放大操作时保存的图像信息(在整幅大尺寸图像的位置、区域大小、放大比例)，显示对应图像以实现图像缩小k＝7倍的操作(图7(b))。

图8为图像拖拽模块实现图像拖拽示例。通过对待拖拽图像(图8(a))的注视及鼠标中键按键事件，图像拖拽模块对待拖拽图像进行向右下方拖拽的操作(图8(b))。