一种基于视觉的智能终端控制方法及智能终端控制系统与流程

本发明涉及智能终端领域，尤其涉及一种基于视觉的智能终端控制方法及智能终端控制系统。

背景技术：

随着科学技术的发展和进步，智能终端不断进行革新。当前，智能终端因其多功能性和便携性逐渐渗入到人们生活的方方面面。特别是，智能终端触摸屏模式的发展，解脱了智能终端对键盘的依赖，使智能终端的显示范围更大，同时用户依赖双手在智能终端显示界面上点触应用程序等的图标或者其他快捷键，即可实现启动或者关闭相应的应用程序，给予用户对智能终端操作的更大自由性。

然而，当用户的双手被占用，比如开车时有电话邀请，或者是对于双手不便的残障人士，无论是以往的键盘手机和是现有的全屏手机，其均需要用户手动操作，因此，对于部分用户，其便利性仍需要改进和提高。目前，本领域也逐渐意识到此类问题，并不断推出不同的智能终端控制方法。

如，专利cn105487646a公开一种手势遥控智能终端系统，其包括智能终端和摄像头，用双坐标系法清楚识别手势运动图像表征的手势，实现有效的手势识别，进而完成手势方式遥控智能终端，提高了智能终端的可操作性，拓展了智能终端的应用功能。

专利cn104580699a公开一种待机时声控智能终端的方法和装置，其包括，在智能终端处于待机状态时，启动预设的语音接收装置采集用户语音信息，将采集到的用户语音信息与智能终端中的预设语音信息进行匹配，依据匹配结果，执行所述用户语音信息匹配到的预设语音信息对应的预设操作。从而，用户能够通过语音来控制智能终端执行预设的操作。

专利cn102750146a公开一种在智能终端中实现模拟鼠标控制的方法及智能终端，其包括，运行安卓系统的应用程序框架层中的自定义按键相应服务，以接收来自外界的遥控器指令，同时在智能终端显示界面中显示鼠标图像，从而在接收到来之外界的遥控指令后，根据所述遥控指令调用安卓系统驱动层的鼠标控制接口，使用鼠标控制接口在智能终端显示界面中实现鼠标功能。

由上可见，目前，市场上从声控、手势控制、模拟鼠标等领域，提出众多的智能终端控制方法，以提高智能终端控制的便捷性，然而，现有技术中的智能终端控制方法多依赖于用户双手的操作，声控控制虽然已有应用，但其对语言标准性的依赖也给用户的使用体验带来极大的不便。

因此，本发明提供了一种基于视觉的智能终端控制方法及智能终端控制系统，调用智能终端的摄像头，捕捉智能终端使用者的人眼图像；识别人眼图像中的人眼眼球，获得人眼眼球在智能终端上的视线位置；检测人眼眼球注视在所述视线位置的时间值；当人眼眼球注视在所述视线位置的时间值超过一定时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。本发明实现了利用监控用户眼球的移动，获得人眼视线的变化，从而，控制智能终端的显示界面和执行动作，实现对智能终端中各应用程序的控制，大大提高智能终端控制操作的便捷性和有效性。

技术实现要素：

为了克服上述技术缺陷，本发明的目的在于提供一种基于视觉的智能终端控制方法及智能终端控制系统。

本发明的一个方面公开了一种基于视觉的智能终端控制方法，包括以下步骤：

于所述智能终端内，设定一时间阈值；

调用所述智能终端的摄像头，捕捉所述智能终端使用者的人眼图像；

识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置；

检测所述人眼眼球注视在所述视线位置的时间值；

比较所述人眼眼球注视在所述视线位置的时间值与所述时间阈值；

当所述人眼眼球注视在所述视线位置的时间值超过所述时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。

优选地，所述智能终端控制方法还包括：

追踪所述人眼眼球的运动状态，获得所述人眼眼球在所述智能终端上的视线位置的位移矢量；

检测所述位移矢量的区间位置；

当所述位移矢量位于第一区间时，输出一向上指令；

当所述位移矢量位于第二区间时，输出一向下指令；

当所述位移矢量位于第三区间时，输出一向左指令；

当所述位移矢量位于第四区间时，输出一向右指令。

优选地，追踪所述人眼眼球的运动状态，获得所述人眼眼球在所述智能终端上的视线位置的位移矢量的步骤还包括：

于所述智能终端内，设定一位移阈值；

检测所述位移矢量的位移值；

当所述位移矢量的位移值超过所述位移阈值时，检测所述位移矢量的区间位置。

优选地，所述智能终端控制方法还包括：

于所述智能终端内，设定一次数阈值；

识别所述人眼眼球的眨眼动作，获得所述人眼眼球在一预设时间内的眨眼次数；

比较所述人眼眼球在一预设时间内的眨眼次数与所述次数阈值；

当所述人眼眼球在一预设时间内的眨眼次数满足所述次数阈值时，输出一退出指令。

优选地，识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置的步骤包括：

对捕获的所述人眼图像进行去噪、净化、切割的预处理；

对预处理后的所述人眼图像进行眼球运动状态分析，获得所述人眼眼球的瞳孔定位，从而获得所述人眼眼球在所述智能终端上的视线位置。

本发明的另一方面公开了一种基于视觉的智能终端控制系统，所述智能终端控制系统包括：时间设定模块、图像捕捉模块、位置识别模块、时间检测模块、时间判断模块、确认控制模块；

所述时间设定模块，于所述智能终端内，设定一时间阈值；

所述图像捕捉模块，调用所述智能终端的摄像头，捕捉所述智能终端使用者的人眼图像；

所述位置识别模块，与所述图像捕捉模块通信连接，识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置；

所述时间检测模块，与所述位置识别模块通信连接，检测所述人眼眼球注视在所述视线位置的时间值；

所述时间判断模块，与所述时间设定模块、时间检测模块通信连接，比较所述人眼眼球注视在所述视线位置的时间值与所述时间阈值；

所述确认控制模块，与所述时间判断模块通信连接，当所述人眼眼球注视在所述视线位置的时间值超过所述时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。

优选地，所述智能终端控制系统还包括移动控制模块；

所述移动控制模块包括：人眼追踪单元、位置检测单元，移动控制单元；

所述人眼追踪单元，追踪所述人眼眼球的运动状态，获得所述人眼眼球在所述智能终端上的视线位置的位移矢量；

所述位置检测单元，与所述人眼追踪单元通信连接，检测所述位移矢量的区间位置；

所述移动控制单元，与所述位置检测单元通信连接，当所述位移矢量位于第一区间时，输出一向上指令；

当所述位移矢量位于第二区间时，输出一向下指令；

当所述位移矢量位于第三区间时，输出一向左指令；

当所述位移矢量位于第四区间时，输出一向右指令。

优选地，所述位置检测单元，于所述智能终端内，设定一位移阈值；

检测所述位移矢量的位移值；

当所述位移矢量的位移值超过所述位移阈值时，检测所述位移矢量的区间位置。

优选地，所述智能终端控制系统还包括退出控制模块；

所述退出控制模块包括：次数设定单元、次数识别单元、次数判断单元、退出控制单元；

所述次数设定单元，于所述智能终端内，设定一次数阈值；

所述次数识别单元，识别所述人眼眼球的眨眼动作，获得所述人眼眼球在一预设时间内的眨眼次数；

所述次数判断单元，与所述次数设定单元、次数识别单元通信连接，比较所述人眼眼球在一预设时间内的眨眼次数与所述次数阈值；

所述退出控制单元，与次数判断单元通信连接，当所述人眼眼球在一预设时间内的眨眼次数满足所述次数阈值时，输出一退出指令。

优选地，所述位置识别模块包括：预处理单元、位置识别单元；

所述预处理单元，对捕获的所述人眼图像进行去噪、净化、切割的预处理；

所述位置识别单元，与所述预处理单元通信连接，对预处理后的所述人眼图像进行眼球运动状态分析，获得所述人眼眼球的瞳孔定位，从而获得所述人眼眼球在所述智能终端上的视线位置。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.本发明提供了一种基于视觉的智能终端控制方法及智能终端控制系统，调用智能终端的摄像头，捕捉智能终端使用者的人眼图像；识别人眼图像中的人眼眼球，获得人眼眼球在智能终端上的视线位置；检测人眼眼球注视在所述视线位置的时间值；当人眼眼球注视在所述视线位置的时间值超过一定时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。本发明实现了利用监控用户眼球的移动，获得人眼视线的变化，从而，控制智能终端的显示界面和执行动作，实现对智能终端中各应用程序的控制，大大提高智能终端控制操作的便捷性和有效性。

附图说明

图1为符合本发明一优选实施例的智能终端控制方法的流程示意图；

图2为符合本发明一优选实施例的智能终端控制方法的输出移动指令步骤的流程示意图；

图3为符合本发明一优选实施例的智能终端控制方法的输出移动指令步骤的流程示意图；

图4为符合本发明一优选实施例的智能终端控制方法的输出退出指令步骤的流程示意图；

图5为符合本发明一优选实施例的智能终端控制方法的视线位置识别步骤的流程示意图；

图6为符合本发明一优选实施例的智能终端控制系统的结构示意图。

附图标记：

100-智能终端控制系统；

11-时间设定模块；

12-图像捕捉模块；

13-位置识别模块；

14-时间检测模块；

15-时间判断模块；

16-确认控制模块；

17-移动控制模块；

18-退出控制模块。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一”、“所述”、“该”等也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

此外，还应当理解，尽管在本发明可能采用术语第一、第二、第三、第四等来描述不同区间，但这些区间不应限于这些术语。这些术语仅用来将彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

在本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“单元”可以混合地使用。

本发明的智能终端控制方法及控制系统可以应用于各种智能终端，智能终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

参考图1，本发明的基于视觉的智能终端控制方法，包括以下步骤：

s100：于所述智能终端内，设定一时间阈值；

s200：调用所述智能终端的摄像头，捕捉所述智能终端使用者的人眼图像；

s300：识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置；

s400：检测所述人眼眼球注视在所述视线位置的时间值；

s500：比较所述人眼眼球注视在所述视线位置的时间值与所述时间阈值；

s600：当所述人眼眼球注视在所述视线位置的时间值超过所述时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。

首先，用户可以需要根据需求，如，将要进行车辆驾驶或者其他需要占用双手的活动时，可通过触动智能终端中的相应指示图标或者快捷键的方式，也或者通过语音的方式，提前启动智能终端中的视觉控制模式。

-s100：于所述智能终端内，设定一时间阈值；

在智能终端的视觉控制模式中，设定针对智能终端的操作指令，本发明中，于所述智能终端内，设定一时间阈值，当用户注视智能终端屏幕某一位置超过该时间阈值，执行确认指令。

-s200：调用所述智能终端的摄像头，捕捉所述智能终端使用者的人眼图像；

当启动智能终端的视觉控制模式后，所述智能终端的前置摄像头将在后台打开，当用户将其面部放置所述前置摄像头的摄像范围内时，所述前置摄像头可捕捉人脸尤其是人眼图像，并将人眼图像转为数字图像。

可以采用logiteche1100摄像头，该摄像头功能参数合适，成本低，具有很高的实用价值。用该摄像头获取人眼的图像以后，应用labview中的几个软件模块即imaqcreate，imaqstart.vi，imaqcopyacquiredbuffer.vi就可以完成连续的、可控的、简单可靠的图像采集过程。考虑到数据采集速度较快，可以加入buffer。

-s300：识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置；

当所述智能终端的眼球追踪模块检测到所述前置摄像头捕捉的人脸特别是人眼图像时，其将进一步识别人眼眼球，并实时监控人眼视线的位置变化，即时测量出人眼眼球的位置，得到位置坐标，将位置坐标与人眼注视智能终端屏幕的坐标相对应，通过c语言编程实现人眼眼球对智能终端屏幕的操作控制。

参考图5，在一优选实施例中，s300：识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置的步骤包括：

s310：对捕获的所述人眼图像进行去噪、净化、切割的预处理；

s320：对预处理后的所述人眼图像进行眼球运动状态分析，获得所述人眼眼球的瞳孔定位，从而获得所述人眼眼球在所述智能终端上的视线位置。

视觉信息的技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于对图像进行分析、处理和识别。

(1)图像的增强

图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。通常采用灰度直方图修改技术进行图像增强。图像的灰度直方图是表示一幅图像灰度分布情况的统计特性图表，与对比度紧密相连。通常，在计算机中表示的一幅二维数字图像可表示为一个矩阵，其矩阵中的元素是位于相应坐标位置的图像灰度值，是离散化的整数，一般取0，l，…255。这主要是因为计算机中的一个字节所表示的数值范围是0～255。另外，人眼也只能分辨32个左右的灰度级。所以，用一个字节表示灰度即可。

但是，直方图仅能统计某级灰度像素出现的概率，反映不出该像素在图像中的二维坐标。因此，不同的图像有可能具有相同的直方图。通过灰度直方图的形状，能判断该图像的清晰度和黑白对比度。如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的灰度作某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。

(2)图像的平滑

图像的平滑处理技术即图像的去噪声处理，主要是为了去除实际成像过程中因成像设备和环境所造成的图像失真，提取有用信息。众所周知，实际获得的图像在形成、传输、接收和处理的过程中，不可避免地存在着外部干扰和内部干扰，如光电转换过程中敏感元件灵敏度的不均匀性、数字化过程的量化噪声、传输过程中的误差以及人为因素等，均会使图像变质。因此，去除噪声，恢复原始图像是图像处理中的一个重要内容。

(3)图像的数据编码和传输

数字图像的数据量是相当庞大的，一幅512×512个像素的数字图像的数据量为256千字节，若假设每秒传输25帧图像，则传输的信道速率为52.4兆比特/秒。高信道速率意味着高投资，也意味着普及难度的增加。因此，传输过程中，对图像数据进行压缩显得非常重要。数据的压缩主要通过图像数据的编码和变换压缩完成。

(4)边缘锐化

图像边缘锐化处理主要是加强图像中的图像边缘和细节，形成完整的物体边界，达到将物体从图像中分离出来或将表示同一物体表面的区域检测出来的目的。

本发明中，对采集的人眼图像进行图像增强，图像平滑，人眼眼球的识别等图像处理操作，最终完成对人眼眼球的识别，并获得人眼眼球中心的位置坐标。

-图像的灰度变换

从摄像头中获取的图像为32bit的彩色图像，而我们所关心的是人眼的眼球，需要眼球与周围图像的灰度对比较大，将彩色图像变换为his(hue，intensity，saturation)模型。

his模型的特点是：(1)i分量与图像的彩色信息无关；(2)h和s分量与人感知颜色的特性一一对应。特点(1)带来的好处是，在处理彩色图像时，可仅对i分量进行处理，结果不改变原图像中的彩色种类。特点(2)表明，his模型完全反映了人感知颜色的基本属性，与人感知颜色的结果一一对应。因此his模型被广泛应用于人的视觉系统感知颜色的图像表示和处理系统中。在本发明中，选取his模型中的i分量，这样在后期只需要对i分量进行图像增强，有利于最后的模式识别。

-图像的平滑处理

在图像信号采集、输入等过程中，由于ccd传感器的噪声、随机大气湍流、光学系统的失真等原因，不可避免地引入噪声。另外，由于视觉系统与环境之间存在相对运动，也会引起图像质量的下降，使图像模糊，甚至淹没和改变特征，给图像分析和识别带来了困难。为了消除噪声，改善视觉系统图像质量，常采用滤波的方法。由于图像灰度值相关性，一幅图像的能量主要集中在低频区域，图像中噪声和假轮廓的信息则集中在高频区域中，图像细节部分的能量也处于高频区域中。

图像中噪声的种类很多，有些与图像信号相关，有些与图像信号不相关，有些噪声本身之间可能相关。主要分为：加性噪声、乘性噪声、量化噪声。加性噪声与图像信号强度不相关，这类带有噪声的图像可看成为理想的无噪声图像和噪声之和。加性噪声包含“椒盐”噪声(saltpepper)和高斯噪声(gaussian)等典型噪声。前者常表现为图像上的白点和黑点噪声，后者是一种杂乱无章随机分布的噪声。乘性噪声与图像信号相关，往往随图像信号的变化而变化。量化噪声是数字图像的主要噪声类型，其大小显示了采样量化后的数字图像和原始图像的差异，减少此类噪声主要靠优化量化措施。

在以上噪声类型中，视觉成像系统中引入较多的是加性噪声，因此设计平滑滤波器时应重点考虑对这种噪声起作用的算法。但图像中的噪声常和信号交织在一起，平滑处理总是要付出一定的细节模糊代价。在消除或减弱图像噪声和假轮廓的同时，对图像本身的细节如边缘轮廓、线条等也有一定的衰减作用，图像将变得比处理前模糊，模糊的程度取决于滤波器对高频成份的衰减程度。这对于人眼的检测和识别来说是一种负面效应，因此，如何在保护图像边缘信息的同时去除噪声也是选取滤波方法时应重点考虑的问题。

图像平滑滤波处理主要采用两大类方法：一类方法是在图像空域对图像进行各种滤波处理，即空域处理法；另一类方法是把空间域图像经过正交变换，如经过傅立叶变换，得到频率域的变换图像，在频率域进行各种滤波处理后得到频率域处理图像，然后再变换到图像的空间域，形成处理后的图像，即频域处理法。显然，频域处理法附加了图像正交变换的正变换和反变换，对于数据量较大的二维图像需要较大的内存，且运算时间也较长，空域法是在空间域内直接对图像的灰度值进行处理，常用的算法有：邻域平均、中值滤波、高斯滤波等。考虑到系统图像处理的速度，本发明可采用空域平滑滤波。空域滤波的实现是采用模板卷积方法对图像中的像素一一进行运算得到的。

(1)邻域平均滤波法

邻域平均滤波法是用一个像素邻域内所有像素灰度值的平均来代替该像素灰度值的方法，也称为均值滤波，是一种线性滤波方法。

邻域平均法算法，计算速度快，但是会造成图像一定程度的模糊，特别在边缘和细节处。而且领域越大，在去噪能力增强的同时模糊程度也越加严重。为了克服邻域平均处理的不足，可以在平滑过程中采用下面的准则：当某些点的灰度值与其邻域点的灰度平均值之差不超过阈值时，它们是噪声点的可能性比较小，因此可以保留原值，当某些点的灰度值与其邻域点灰度值之差比较大时，它们是噪声点的可能性很大。就用邻域平均值作为这些点的灰度值。采用这种方法，可以在一定程度上保持细节、边缘处的清晰。

(2)中值滤波法

中值滤波是一种非线形滤波技术，由于实际计算过程中并不需要图像的统计特性，所以比较方便。它是基于图像的这样一种特性：噪声往往以孤立的点的形式出现，这些点对应的像素数很少，而图像则是由像素数较多、面积较大的小块构成。在一定条件下，可以克服线性滤波器所带来的图像细节模糊，而且对滤除脉冲干扰及图像的扫描噪声最为有效。但是对一些细节多，特别是点、线和尖锐多的图像不宜采用中值滤波的方法。

中值滤波是一种基于排序统计理论的非线性滤波技术，它的目的是在消除噪声的同时保持图像的边缘和细节。中值滤波是把邻域内所有像素按序排列，然后用中间值作为中心像素的输出。例如，如果窗口长度为5，窗口中像素的灰度值分别为100，110，180，106，116，按从小到大的顺序排列得到该窗口内各像素的中值为110，于是原来窗口中心点的灰度值180就由110代替，如果180是个尖锐的噪声，此时就得到了滤除。

中值滤波窗口的大小和形状对于滤波效果都有着密切关系。一般说来，小于滤波器面积一半的亮的或暗的物体基本上会被滤除，而较大的物体会被保存下来。因此，滤波器的大小要根据所处理的图像进行选取。具体选取什么形状的滤波模板也要根据图像内容选取，通常有线形、方形、十字形、圆形。一般来说，对于变化缓慢、具有较长轮廓线物体的图像，可选用方形或圆形，对于有尖角物体的图像则宜采用十字形窗口。本发明中，可采用中值滤波，这样既有效的滤除了噪声，同时也较好的保存了眼球轮廓的边界信息。

-图像增强

在图像的成像过程中，由于环境限制等因素的影响，生成的图像往往对比度不足，造成图像的视觉效果差。对此，可采用图像灰度值变换的方法，即改变图像像素的灰度值，以改变图像灰度的动态范围，增强图像的对比度。

图像灰度值的变换方法可以是灰度线性变换，在曝光不足或日光过度的情况下，图像的灰度值会局限在一个较小的范围内，或者虽然曝光充分，但图像中我们感兴趣部分的灰度值分布范围小、层次少，此时的图像可能是一个模糊、灰度层次不清楚的图像利用线性或分段性变换，就可以扩展图像的动态范围，或增强图像的对比度。

除采用线性变换处，也可以采用非线性变换来增强图像的对比度，常用的非线性变换方法，如，对数变换，对数变换的一个典型应用就是傅里叶频谱，由于其频谱值的范围很大，图像显示系统往往不能如实呈现出如此大范围的强度值，从而造成很多细节在显示时丢失，这时采用对数变换，可得到清晰的频谱。又如，指数变换，与对数变换的效果相反，指数变换使得高灰度范围得到扩展，而压缩了低灰度范围。各种变换有各自的特性，适用于不同灰度范围，考虑人眼眼球与周围的对比，本发明可以采用动态扩展变换，这样加大了眼球与眼白及眼皮间的对比，有利于对眼球的模式识别。

-人眼眼球的识别

图像的识别过程实际上可以看作是一个标记过程，即利用识别算法来辨别景物中己分割好的各个物体，给这些物体赋予特定的标记，它是机器视觉系统必须完成的一个任务。图像识别主要可分为模板匹配和模式识别两类。

模板匹配，要判定搜索图像中是否存在某一目标物，可以事先将该目标物从标准图像中分割提取出来，以矩阵形式表示该目标物的样板，该样板就称作模板。根据该模板与一幅图像的各部分的相似度，判定其是否存在，并求得目标物在图像中的位置，这一操作就叫模板匹配。

模式识别，模式识别是指在图像处理，特征提取的基础上，把待识别模式划分到各自的模式中去的过程，即自动或半自动地检测、度量、分类图像中的目标物。

经过前面的图像处理以后，已经将图像中我们感兴趣的眼球突出出来，这样我们更容易从图像中识别出眼球来。本发明中可用模板匹配来对人眼眼球进行识别。模板匹配最基本的原则就是通过计算相关函数来找到它在被搜索图像中的坐标位置。

-s400：检测所述人眼眼球注视在所述视线位置的时间值；

-s500：比较所述人眼眼球注视在所述视线位置的时间值与所述时间阈值；

-s600：当所述人眼眼球注视在所述视线位置的时间值超过所述时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。

s400-500，当用户注视智能终端屏幕某一位置超过该时间阈值，执行确认指令。

参考图2，在一优选实施例中，所述智能终端控制方法还包括：

追踪所述人眼眼球的运动状态，获得所述人眼眼球在所述智能终端上的视线位置的位移矢量；

检测所述位移矢量的区间位置；

当所述位移矢量位于第一区间时，输出一向上指令；

当所述位移矢量位于第二区间时，输出一向下指令；

当所述位移矢量位于第三区间时，输出一向左指令；

当所述位移矢量位于第四区间时，输出一向右指令。

参考图3，进一步地，追踪所述人眼眼球的运动状态，获得所述人眼眼球在所述智能终端上的视线位置的位移矢量的步骤还包括：

于所述智能终端内，设定一位移阈值；

检测所述位移矢量的位移值；

当所述位移矢量的位移值超过所述位移阈值时，检测所述位移矢量的区间位置。

在上述实施例中，通过追踪人眼眼球在智能终端屏幕上的视线位置的变化，对智能终端输出移动指令的操作。

第一区间、第二区间…等区间位置的划分是以起始视线位置为中心，平行于智能终端短边建立一x轴，平行于智能终端长边建立一y轴，第一区间为与y轴正半轴呈45度角的为范围内，第二区间为与y轴负半轴呈45度角的为范围内，第三区间为与x轴负半轴呈45度角的为范围内，第四区间为与x轴正半轴呈45度角的为范围内。例如，人眼眼球水平向左移动大于一个所述位移阈值时，则输出一向左指令。

参考图4，在一优选实施例中，所述智能终端控制方法还包括：

于所述智能终端内，设定一次数阈值；

识别所述人眼眼球的眨眼动作，获得所述人眼眼球在一预设时间内的眨眼次数；

比较所述人眼眼球在一预设时间内的眨眼次数与所述次数阈值；

当所述人眼眼球在一预设时间内的眨眼次数满足所述次数阈值时，输出一退出指令。

在该实施例中，通可过眨动眼睛，进一步实现进入、移动、退出或其他对所选择应用程序的操作。具体地，本实施例中，用户保持眼球现有位置，眨动眼睛，所述智能终端将识别人眼眨眼动作及眨眼次数，并向外发送一眨眼动作信息及眨眼次数数据，根据上述眨眼的具体操作，控制执行相应的动作。

为方便人眼的可视化控制，当智能终端的显示界面被启动后，智能终端的显示界面中将显示一指针图像，所述指针图像类似计算机显示的鼠标指针，其可根据用户的指示，选择或者选中相应的应用程序图标或者快捷方式，以便启动或者对该应用程序进行其他操作。优选地，所述指针图像可以为箭头、手形等。

下面举例说明本发明的几种操作方法：

一、移动眼球拨打电话

当用户在驾驶车辆的过程中希望拨打电话或者其他双手不便利的情况下，用户可以通过快捷键启动其智能终端的视觉控制模式，则，智能终端界面将相应的出现一指针图像；用户将其面部放置所述前置摄像头的摄像范围内，以使前置摄像头采集其眼部图像。此时，智能终端进行眼球追踪，在所述前置摄像头捕捉的人眼图像中识别人眼眼球。用户眼球保持现有位置，根据意愿移动眼球，注视通讯录。则，进一步跟踪用户眼球的移动，并定位眼球移动后的位置，发送至指针，控制指针指定用户锁定的通讯录上；用户保持注视通讯录一定时间，或者，眨动左眼两次。此时，所述智能终端将识别并向外发送眨动左眼，眨动两次的数据信息，所述智能终端的指针接收数据信息，相应地，控制指针左击连续两次。从而智能终端的通讯录被打开。进一步，用户移动眼球，注视预拨打联系人。则进一步跟踪用户眼球的移动，并定位眼球移动后的位置，发送至指针，从而控制指针指定用户锁定的联系人上。用户保持注视选定联系人，眨动左眼一次。此时，所述智能终端将识别并向外发送眨动左眼，眨动一次的数据信息，所述智能终端的指针接收数据信息，相应地，控制指针左击一次。从而，智能终端的向用户选定联系人拨出电话。

鉴于上述设置，用户在不使用双手的情况下，实现拨打电话的操作。

二、浏览图片

同样的，用户可以通过快捷键启动其智能终端的视觉控制模块，则，智能终端界面将相应的出现一指针图像；然后，用户将面部将其面部放置所述前置摄像头的摄像范围内，以使前置摄像头采集眼部图像。此时，智能终端在所述前置摄像头所述捕捉的人眼图像中识别人眼眼球；用户眼球保持现有位置，根据意愿移动眼球，注视图库图标。则进一步跟踪用户眼球的移动，并定位眼球移动后的位置，发送至指针，指针指定至用户锁定的图库图标上；用户保持注视图库图标，眨动左眼两次。此时，所述智能终端将识别并向外发送眨动左眼，眨动两次的数据信息，所述智能终端的指针接收数据信息，相应地，控制所述指针左击连续两次。从而，智能终端的图库被打开。进一步，用户快速从右向左移动眼球。则进一步跟踪用户眼球的移动，并将眼球运动轨迹，发送至指针，从而控制所述指针从右向左滑动，从而翻动图库中图片，供用户浏览查看。

鉴于上述设置，用户在不使用双手的情况下，实现浏览图片的操作。

参考图6，本发明还公开了一种基于视觉的智能终端控制系统100，所述智能终端控制系统100包括：时间设定模块11、图像捕捉模块12、位置识别模块13、时间检测模块14、时间判断模块15、确认控制模块16；

所述时间设定模块11，于所述智能终端内，设定一时间阈值；

所述图像捕捉模块12，调用所述智能终端的摄像头，捕捉所述智能终端使用者的人眼图像；

所述位置识别模块13，与所述图像捕捉模块12通信连接，识别所述人眼图像中的人眼眼球，获得所述人眼眼球在所述智能终端上的视线位置；

所述时间检测模块14，与所述位置识别模块13通信连接，检测所述人眼眼球注视在所述视线位置的时间值；

所述时间判断模块15，与所述时间设定模块11、时间检测模块14通信连接，比较所述人眼眼球注视在所述视线位置的时间值与所述时间阈值；

所述确认控制模块16，与所述时间判断模块15通信连接，当所述人眼眼球注视在所述视线位置的时间值超过所述时间阈值时，对所述视线位置所对应的菜单或应用程序输出一确认指令。

在一优选实施例中，所述智能终端控制系统100还包括移动控制模块17；

所述移动控制模块17包括：人眼追踪单元、位置检测单元，移动控制单元；

所述人眼追踪单元，追踪所述人眼眼球的运动状态，获得所述人眼眼球在所述智能终端上的视线位置的位移矢量；

所述位置检测单元，与所述人眼追踪单元通信连接，检测所述位移矢量的区间位置；

所述移动控制单元，与所述位置检测单元通信连接，当所述位移矢量位于第一区间时，输出一向上指令；

当所述位移矢量位于第二区间时，输出一向下指令；

当所述位移矢量位于第三区间时，输出一向左指令；

当所述位移矢量位于第四区间时，输出一向右指令。

在一优选实施例中，所述位置检测单元，于所述智能终端内，设定一位移阈值；

检测所述位移矢量的位移值；

当所述位移矢量的位移值超过所述位移阈值时，检测所述位移矢量的区间位置。

在一优选实施例中，所述智能终端控制系统100还包括退出控制模块18；

所述退出控制模块18包括：次数设定单元、次数识别单元、次数判断单元、退出控制单元；

所述次数设定单元，于所述智能终端内，设定一次数阈值；

所述次数识别单元，识别所述人眼眼球的眨眼动作，获得所述人眼眼球在一预设时间内的眨眼次数；

所述次数判断单元，与所述次数设定单元、次数识别单元通信连接，比较所述人眼眼球在一预设时间内的眨眼次数与所述次数阈值；

所述退出控制单元，与次数判断单元通信连接，当所述人眼眼球在一预设时间内的眨眼次数满足所述次数阈值时，输出一退出指令。

在一优选实施例中，所述位置识别模块13包括：预处理单元、位置识别单元；

所述预处理单元，对捕获的所述人眼图像进行去噪、净化、切割的预处理；

所述位置识别单元，与所述预处理单元通信连接，对预处理后的所述人眼图像进行眼球运动状态分析，获得所述人眼眼球的瞳孔定位，从而获得所述人眼眼球在所述智能终端上的视线位置。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。