一种基于视线跟踪技术的鼠标指针控制方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于视线跟踪技术的鼠标指针控制方法及系统，属于机器视觉和 人机交互技术领域。
【背景技术】
[0002] 随着计算机技术的高速发展，特别是图形用户界面诞生以来，我们与计算机的交 互变得更加容易、快捷。网络购物、信息查询、辅助办公、多媒体娱乐等功能为我们的生活和 工作提供了方便，带来了乐趣。然而，目前存在的交互方式大都需要人手操作，从而对上肢 残障人士或上肢不便者造成现代信息共享障碍，仅仅通过手操作鼠标和键盘来实现与电脑 的交互，将众多想要享受其便利的上肢残疾的人拒之门外。
[0003] 目前，国内通常采用的鼠标指针控制系统是以硬件为基础的鼠标指针控制方法， 以硬件为基础的方法需要用户带上特制的头盔、特殊的隐形眼镜、或者使用头部固定支架、 置于用户头顶的摄像机等，对用户的干扰较大。
[0004] 因此，有必要在上述鼠标指针控制系统的基础上提出一种准确、实时、且有较好用 户体验的鼠标指针控制系统，从而帮助残障、专业技术人员在无法使用双手的情况下实现 与计算机等设备的人机交互。
【发明内容】
[0005] 本发明提供了一种基于视线跟踪技术的鼠标指针控制方法及系统，以用于解决现 有鼠标指针控制方法主要依靠双手，人机交互性较差，使得很多残疾人无法使用鼠标的问 题。
[0006] 本发明的技术方案是：一种基于视线跟踪技术的鼠标指针控制方法，所述方法的 具体步骤如下：
[0007] Stepl、通过摄像头采集图像数据，为下一步图像的处理提供数据；
[0008] Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：
[0009] 采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区 域，则记录该人眼区域为Wn;接着执行步骤Step3 ;
[0010] 如果没有检测到人眼区域，则返回步骤St印1 ;
[0011] Step3、在检测到的人眼区域Wn内使用Harris角点算法提取Harris角点，并记 录Harris角点位置为pYpn2、pn3~pnn;并由第n帧所有角点位置计算得到其中心位置
，接着执行步骤Step4 ;
[0012] St印4、重新获取一帧图像n+1，重复St印1~St印3,得到第n+1帧的人眼区域Wn+1 和Harris角点位置p11'、pn+12、pn+V"pn+1n;
[0013] St印5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：
[0014] 以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述 符，对于图像n中的每一个Harris角点<分别计算其与图像n+1中提取的各个Harris角 点<+1的邻域值差的平方和
'取其最小值作为图像n+1与 图像n匹配成功的Harris角点；
[0015] 若匹配成功的角点大于等于三个，则执行Step6,否则返回Step3 ;
[0016] Step6、若根据步骤Step5匹配成功的角点分别为p*\、pn2、p*V"pnn，pn+\、pn+12、 Pn+13-Pn+In，则计算其移动平均位移量
并根据和第n帧 Harris角点的中心位置（X，y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动， 则得到最终的鼠标指针移动方向为（x+dx，y+dy)。
[0017] 一种基于视线跟踪技术的鼠标指针控制系统，包括：
[0018] 图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；
[0019] 人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；
[0020] 特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算检测到的 Harris角点中心位置；
[0021] 特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；
[0022] 鼠标指针控制模块，用于根据前后两帧中人眼Harris角点的平均位移量控制鼠 标指针的移动。
[0023] 本发明的工作原理是：
[0024] 所述特征点提取模块Harris角点检测算法的使用如下：
[0025] Harris算子直接利用图像的灰度信息进行检测，广泛地应用在目标识别与跟踪、 运动检测等领域。其基本原理是用图像局部窗口内的平均灰度变化率来表示该窗口中心像 素点的角点量，灰度变化越显著，该点的角点量越大。记像素点（x，y)的灰度为f(x，y)，图 像每个像素点（x，y)移动（u，v)的灰度强度变化表示为：
[0027] 其中《u，v为高斯窗口在（u，v)处的系数，对图像进行平滑滤波。在Harris角点 检测算法中：
分别反映图像在不同方向上的灰度变化，若某一像素点（x，y)在每 个方向都发生了较大的灰度变化，则提取为角点。
[0028] 令
，则M称为像素点（x，y)的自相关矩阵并由此得到Harris 的角点相应函数（CRF)的表达式为：CRF(x，y) =det(M)_k[trace(M)]2。其中det(M)表示 矩阵M的行列式，trace(M)表示矩阵的迹。当所检测像素点的CRF值大于算法给定阈值0. 2 时，该像素点即为角点。
[0029] 本发明的有益效果是：
[0030] 本发明是一种基于视线跟踪技术的鼠标指针控制方法及系统，它是针对现有鼠标 指针控制方法的不足而提出来的。通过使用本鼠标指针控制系统，使双手有残疾的人员能 够在双手行动受到限制的情况下对鼠标指针进行控制，并且达到了良好的控制效果；使残 疾人能尽可能的正常工作和生活；同时对于四肢健全的人来说本发明可以将人的双手解放 出来做一些其他重要的工作，另外，利用本发明还可以帮助长期使用鼠标的人预防一些职 业疾病，如肩周炎、小臂肌肉麻木等。
[0031] 通过结合了 Viola-Jones人眼检测算法、Harris角点提取算法。这样不仅保证了 特征点的检测，还能通过Harris角点的多重匹配提高系统精度，从而实现了鼠标指针控制 系统的准确性、实时性。
【附图说明】
[0032] 图1为本发明的整体模块框图；
[0033] 图2为本发明中系统算法原理流程图；
[0034] 图3为本发明中人眼特征检测流程图；
[0035] 图4为本发明中鼠标指针控制原理图；
[0036] 图5为本发明中鼠标指针控制效果图；
[0037] 图6为其他同类鼠标指针控制系统控制效果图。
【具体实施方式】
[0038] 实施例1 :如图1-6所示，一种基于视线跟踪技术的鼠标指针控制方法，所述方法 的具体步骤如下：
[0039] Stepl、通过摄像头采集图像数据，为下一步图像的处理提供数据；
[0040] Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：
[0041] 采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区 域，则记录该人眼区域为wn;接着执行步骤Step3 ;
[0042] 如果没有检测到人眼区域，则返回步骤Stepl;
[0043] Step3、在检测到的人眼区域Wn内使用Harris角点算法提取Harris角点，并记 录Harris角点位置为pYpn2、pn3~pnn;并由第n帧所有角点位置计算得到其中心位置
，接着执行步骤Step4 ;
[0044]Step4、重新获取一帧图像n+1，重复Stepl~Step3,得到第n+1帧的人眼区域Wn+i 和Harris角点位置p11'、pn+12、pn+V"pn+1n;
[0045]St印5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：
[0046] 以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述 符，对于图像n中的每一个Harris角点式分别计算其与图像n+1中提取的各个Harris角 点/T1的邻域值差的平方和：
'取其最小值作为图像n+1与 图像n匹配成功的Harris角点；
[0047] 若匹配成功的角点大于等于三个，则执行Step6,否则返回Step3;
[0048]Step6、若根据步骤Step5匹配成功的角点分别为p*\、pn2、p*V"pnn，pn+\、pn+12、 Pn+13-Pn+In，则计算其移动平均位移量
，并根据和第n帧 Harris角点的中心位置（X，y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动， 则得到最终的鼠标指针移动方向为（x+dx，y+dy)。