一种基于人眼的智能终端控制方法及控制装置与流程

本发明涉及智能终端的控制技术领域，尤其涉及一种基于人眼的智能终端控制方法及控制装置。

背景技术：

随着科学技术的发展和进步，智能终端不断进行革新。当前，智能终端因其多功能性和便携性逐渐渗入到人们生活的方方面面。特别是，智能终端触摸屏模式的发展，解脱了智能终端对键盘的依赖，使智能终端的显示范围更大，同时用户依赖双手在智能终端显示界面上点触应用程序等的图标或者其他快捷键，即可实现启动或者关闭相应的应用程序，给予用户对智能终端操作的更大自由性。

然而，当用户的双手被占用，比如开车时有电话邀请，或者是对于双手不便的残障人士，无论是以往的键盘手机和是现有的全屏手机，其均需要用户手动操作，从而，对于部分用于，其便利性仍需要改进和提高。目前，本领域也逐渐意识到此类问题，并不断推出不同的智能终端控制方法。

如，专利cn105487646a公开一种手势遥控智能终端系统，其包括智能终端和摄像头，用双坐标系法清楚识别手势运动图像表征的手势，实现有效的手势识别，进而完成手势方式遥控智能终端，提高了智能终端的可操作性，拓展了智能终端的应用功能。

专利cn104580699a公开一种待机时声控智能终端的方法和装置，其包括，在智能终端处于待机状态时，启动预设的语音接收装置采集用户语音信息，将采集到的用户语音信息与智能终端中的预设语音信息进行匹配，依据匹配结果，执行所述用户语音信息匹配到的预设语音信息对应的预设操作。从而，用户能够通过语音来控制智能终端执行预设的操作。

专利cn102750146a公开一种在智能终端中实现模拟鼠标控制的方法及智能终端，其包括，运行安卓系统的应用程序框架层中的自定义按键相应服务，以接收来自外界的遥控器指令，同时在智能终端显示界面中显示鼠标图像，从而在接收到来之外界的遥控指令后，根据所述遥控指令调用安卓系统驱动层的鼠标控制接口，使用鼠标控制接口在智能终端显示界面中实现鼠标功能。

由上可见，目前，市场上从声控、手势控制、模拟鼠标等领域，提出众多的智能终端控制方法，以提高智能终端控制的便捷性，然而，现有技术中的智能终端控制方法多依赖于用户双手的操作，声控控制虽然已有应用，但其对语言标准性的依赖也给用户的使用体验带来极大的不便。

技术实现要素：

为解决上述问题，本发明提供一种基于人眼的智能终端控制方法及控制装置，其利用在智能终端中配置眼球控制模块及指针控制模块，通过其相互配合工作，实现利用监控用户眼球的移动，获得人眼视线的变化，从而，控制智能终端显示界面上指针图像的移动，和执行动作，实现对智能终端中各应用程序的控制，大大提高智能终端控制操作的便捷性和有效性。

具体地，本发明一方面提供一种基于人眼的智能终端控制方法，其包括以下步骤：在所述智能终端的显示界面上显示一指针图像；所述智能终端的前置摄像模块捕捉所述人眼的人眼图像；所述智能终端的眼球追踪模块在所述人眼图像中，识别所述人眼内的眼球，追踪所述人眼的视线位置的变化，向所述智能终端的指针控制模块发送一视线位置信息；所述指针控制模块根据所述视线位置信息控制所述指针图像移动到所述视线位置。

优选地，所述控制方法还包括以下步骤，所述智能终端的眨眼识别模块识别所述人眼的眨眼动作及眨眼次数，发送一眨眼动作信息及眨眼次数数据，所述指针控制模块接收所述眨眼动作信息和所述眨眼次数数据，控制所述指针图像执行动作。

优选地，当所述眨眼动作为左眼眨动，所述指针图像执行左击动作，所述眨眼动作为右眼眨动，所述指针图像执行右击动作，所述眨眼次数与所述指针图像执行点击的次数一一对应。

优选地，所述智能终端的眼球追踪模块根据所述人眼图像识别所述人眼内的眼球，追踪所述人眼的视线位置的变化，向所述指针控制模块发送一视线位置信息的步骤包括，所述眼球追踪模块追踪所述人眼内的眼球变化，并发送所述眼球变化数据，所述智能终端的数据处理模块接收所述变化数据，计算得到所述人眼的视线位置，并发送一视线位置信息。

本发明另一方面，在于提供一种基于人眼的智能终端控制装置，其包括以下模块：图像显示模块，在所述智能终端的显示界面上显示一指针图像；前置摄像模块，包括前置摄像头，捕捉所述人眼的人眼图像；眼球追踪模块，与所述前置摄像模块通讯连接，在所述人眼图像中识别所述人眼内眼球，追踪所述人眼的视线位置的变化，向所述指针控制模块发送一视线位置信息；指针控制模块，与所述眼球追踪模块通讯连接，接收所述视线位置信息，并根据所述视线位置信息控制所述指针图像移动到所述视线位置。

优选地，上述控制装置还包括，眨眼识别模块，与所述前置摄像模块通讯连接，识别人眼眨眼动作及眨眼次数，发送一眨眼动作信息及眨眼次数数据，所述指针控制模块接收所述眨眼动作信息和所述眨眼次数数据，控制所述指针图像根据所述眨眼次数数据执行动作。

优选地，当所述眨眼动作为左眼眨动，所述指针图像执行左击动作，所述眨眼动作为右眼眨动，所述指针图像执行右击动作，所述眨眼次数与所述指针图像执行点击的次数一一对应。

优选地，上述控制装置还包括，数据处理模块，与所述眼球追踪模块通讯连接，接收所述眼球追踪模块发送的所述人眼内的眼球的变化数据，计算得到所述人眼的视线位置，并发送一视线位置信息。

与现有技术相比较，本发明的技术优势在于：

1)本发明实现利用人眼眼球的移动控制智能终端，执行期望的操作，解放现有智能终端对用户双手的依赖，大大提高智能终端控制的便捷性；

2)本发明实现在智能终端中模拟鼠标操作，通过可视化的指针图像，将用户对智能终端操作可视化，是用户更加清晰的掌控对智能终端的控制操作；

3)本发明利用在智能终端中配置眼球控制模块及指针控制模块，通过其相互配合工作，大大提高用户对智能终端中应用程序控制的准确性。

附图说明

图1为一符合本发明一优选实施例的基于人眼的智能终端控制方法的示意图；

图2为一符合本发明一优选实施例的基于人眼的智能终端控制装置的结构图。

具体实施方式

下面结合符合和具体实施例，详细阐述本发明的优势。

参与图1，其为一符合本发明一优选实施例的基于人眼的智能终端控制方法的示意图。从图中可以看出，本实施例中提供的基于人眼的智能终端的控制方法主要包括以下步骤：

-启动人眼控制程序

首先，用户需要根据需求，如，将要进行车辆驾驶或者其他需要占用双手的活动时，可通过触动智能终端中的相应指示图标或者快捷键的方式，也或者通过语音的方式，提前启动智能终端中的人眼控制程序。

-显示指针图像；

当智能终端的显示界面被启动后，智能终端的显示界面中将显示一指针图像，所述指针图像类似计算机显示的鼠标指针，其可根据用户的指示，选择或者选中相应的应用程序图标或者快捷方式，以便启动或者对该应用程序进行其他操作。优选地，所述指针图像可以为箭头、手形等。

-捕获人眼图像

当启动所述人眼控制程序后，所述智能终端的前置摄像模块将在后台打开，当用户将其面部放置所述前置摄像模块的摄像范围内时，所述前置摄像模块可捕捉人脸尤其是人眼的图像。

-追踪人眼视线

当所述智能终端的眼球追踪模块检测到所述前置摄像模块所述捕捉的人脸特别是人眼图像时，其将进一步识别人眼眼球，并实时监控人眼视线的位置变化，并将人眼视线变化后的位置信息及时的发送出去。

进一步优选地，本实施例中，当所述眼球追踪模块检测到人眼眼球的移动时，将会向所述智能终端的数据处理模块发送人眼眼球的移动距离、方向等信息，而数据处理模块接收到上述眼球移动信息后，将根据眼球跟踪算法，计算人眼视线的移动位置和方向，得到人眼视线的当前位置，并向外发送一人眼视线位置信息。

-控制所述指针图像移动

所述智能终端的指针控制模块与所述眼球追踪模块通讯连接，其可接收所述人眼视线位置信息，并根据所述人眼视线位置信息将所述指针图像移动到用户期望操作的位置上。从而，实现利用人眼的变化，根据用户的意愿移动指针图像。一方面解脱了用户双手；另一方面，使用户对智能终端的操作意图可视化。

进一步优选地，所述控制方法还包括以下步骤，

-识别眨眼动作及次数

当用户利用眼球的移动将指针图像移动到预想位置后，可通过眨动眼睛，进一步实现启动或对所选择应用程序的操作。具体地，本实施例中，用户保持眼球现有位置，眨动眼睛，所述智能终端的眨眼识别模块将识别人眼眨眼动作及眨眼次数，并向外发送一眨眼动作信息及眨眼次数数据，所述指针控制模块壳接收所述眨眼动作信息和所述眨眼次数数据，并根据上述眨眼的具体操作，控制所述指针图像执行相应的动作。

更加优选地，本实施例中，当所述眨眼动作为左眼眨动，所述指针图像执行左击动作，所述眨眼动作为右眼眨动，所述指针图像执行右击动作，而，所述眨眼次数与所述指针图像执行点击的次数一一对应。

下面，将通过具体实践，详细阐述本发明的操作方法。

实施例一：移动眼球拨打电话

当用户在驾驶车辆的过程中希望拨打电话或者其他双手不便利的情况下，用户可以通过快捷键启动其智能终端的人眼控制程序，则，智能终端界面将相应的出现一指针图像；

然后，用户将面部将其面部放置所述前置摄像模块的摄像范围内，以使前置摄像模块其眼部图像。此时，智能终端的眼球追踪模块将在所述前置摄像模块所述捕捉的人眼图像中识别人眼眼球；

用户眼球保持现有位置，根据意愿移动眼球，注视通讯录。则，眼球追踪模块进一步跟踪用户眼球的移动，并定位眼球移动后的位置，发送至指针控制模块，指针控制模块从而控制所述指针图像至用户锁定的通讯录上；

用户保持注视通讯录，眨动左眼两次。此时，所述智能终端的眨眼识别模块将识别，并向外发送眨动左眼，眨动两次的数据信息，所述智能终端的指针控制模块接收数据信息，相应地，控制所述指针图像左击连续两次。从而，智能终端的通讯录被打开。

进一步，用户移动眼球，注视预拨打联系人。则，眼球追踪模块进一步跟踪用户眼球的移动，并定位眼球移动后的位置，发送至指针控制模块，指针控制模块从而控制所述指针图像至用户锁定的联系人上。

用户保持注视选定联系人，眨动左眼一次。此时，所述智能终端的眨眼识别模块将识别，并向外发送眨动左眼，眨动一次的数据信息，所述智能终端的指针控制模块接收数据信息，相应地，控制所述指针图像左击一次。从而，智能终端的向用户选定联系人拨出电话。

鉴于上述设置，用户在不使用双手的情况下，实现拨打电话的操作。

实施例二：浏览图片

首先，同样的，用户可以通过快捷键启动其智能终端的人眼控制程序，则，智能终端界面将相应的出现一指针图像；

然后，用户将面部将其面部放置所述前置摄像模块的摄像范围内，以使前置摄像模块其眼部图像。此时，智能终端的眼球追踪模块将在所述前置摄像模块所述捕捉的人眼图像中识别人眼眼球；

用户眼球保持现有位置，根据意愿移动眼球，注视图库图标。则，眼球追踪模块进一步跟踪用户眼球的移动，并定位眼球移动后的位置，发送至指针控制模块，指针控制模块从而控制所述指针图像至用户锁定的图库图标上；

用户保持注视图库图标，眨动左眼两次。此时，所述智能终端的眨眼识别模块将识别，并向外发送眨动左眼，眨动两次的数据信息，所述智能终端的指针控制模块接收数据信息，相应地，控制所述指针图像左击连续两次。从而，智能终端的图库被打开。

进一步，用户快速从右向左移动眼球。则，眼球追踪模块进一步跟踪用户眼球的移动，并将眼球运动轨迹，发送至指针控制模块，指针控制模块从而控制所述指针图像从右向左滑动，从而，翻动图库中图片，供用户浏览查看。

鉴于上述设置，用户在不使用双手的情况下，实现浏览图片的操作。

本发明另一方面，参见图2，其为一符合本发明一优选实施例的基于人眼的智能终端控制装置的结构图。从图中可以看出本实施例提供一种基于人眼的智能终端控制装置，其包括以下模块：图像显示模块；前置摄像模块；眼球追踪模块以及指针控制模块。具体如下：

-图像显示模块

所述图像显示模块，在所述智能终端的显示界面上显示一指针图像。具体地，用户需要根据需求，如，将要进行车辆驾驶或者其他需要占用双手的活动时，可通过触动智能终端中的相应指示图标或者快捷键的方式，也或者通过语音的方式，提前启动智能终端中的人眼控制程序。当智能终端的显示界面被启动后，智能终端的显示界面中将显示一指针图像，所述指针图像类似计算机显示的鼠标指针，其可根据用户的指示，选择或者选中相应的应用程序图标或者快捷方式，以便启动或者对该应用程序进行其他操作。优选地，所述指针图像可以为箭头、手形等。

-前置摄像模块

所述前置摄像模块，包括前置摄像头，捕捉人眼图像。具体地，当启动所述人眼控制程序后，所述智能终端的前置摄像模块将在后台打开，当用户将其面部放置所述前置摄像模块的摄像范围内时，所述前置摄像模块可捕捉人脸尤其是人眼的图像。

-眼球追踪模块，

所述眼球追踪模块与所述前置摄像模块通讯连接，其在所述人眼图像中识别人眼眼球，追踪人眼视线位置的变化，向所述指针控制模块发送视线位置信息；具体地，当所述智能终端的眼球追踪模块检测到所述前置摄像模块所述捕捉的人脸特别是人眼图像时，其将进一步识别人眼眼球，并实时监控人眼视线的位置变化，并将人眼视线变化后的位置信息及时的发送出去。

-指针控制模块，

所述指针控制模块与所述眼球追踪模块通讯连接，接收所述视线位置信息，并控制所述指针图像移动到人眼视线位置。具体地，所述智能终端的指针控制模块与所述眼球追踪模块通讯连接，其可接收所述人眼视线位置信息，并根据所述人眼视线位置信息将所述指针图像移动到用户期望操作的位置上。

鉴于上述设置，利用本实施例的装置，实现利用人眼的变化，根据用户的意愿移动指针图像。一方面解脱了用户双手；另一方面，使用户对智能终端的操作意图可视化。

优选地，上述控制装置还包括，

-数据处理模块，与所述眼球追踪模块通讯连接，接收所述眼球追踪模块发送的人眼眼球变化数据，计算得到人眼视线位置，并发送视线位置信息。从而，进一步优选地，本实施例中，当所述眼球追踪模块检测到人眼眼球的移动时，将会向所述智能终端的数据处理模块发送人眼眼球的移动距离、方向等信息，而数据处理模块接收到上述眼球移动信息后，将根据眼球跟踪算法，计算人眼视线的移动位置和方向，得到人眼视线的当前位置，并向外发送一人眼视线位置信息。

优选地，上述控制装置还包括，

-眨眼识别模块

所述眨眼识别模块与所述前置摄像模块通讯连接，识别人眼眨眼动作及眨眼次数，发送一眨眼动作信息及眨眼次数数据，所述指针控制模块接收所述眨眼动作信息和所述眨眼次数数据，控制所述指针图像根据所述眨眼次数数据执行动作。具体地，本实施例中，用户保持眼球现有位置，眨动眼睛，所述智能终端的眨眼识别模块将识别人眼眨眼动作及眨眼次数，并向外发送一眨眼动作信息及眨眼次数数据，所述指针控制模块壳接收所述眨眼动作信息和所述眨眼次数数据，并根据上述眨眼的具体操作，控制所述指针图像执行相应的动作。

更加优选地，本实施例中，当所述眨眼动作为左眼眨动，所述指针图像执行左击动作，所述眨眼动作为右眼眨动，所述指针图像执行右击动作，而，所述眨眼次数与所述指针图像执行点击的次数一一对应。

综上所述，本发明实现利用人眼眼球的移动控制智能终端，执行期望的操作，解放现有智能终端对用户双手的依赖，大大提高智能终端控制的便捷性；本发明实现在智能终端中模拟鼠标操作，通过可视化的指针图像，将用户对智能终端操作可视化，是用户更加清晰的掌控对智能终端的控制操作；本发明利用在智能终端中配置眼球控制模块及指针控制模块，通过其相互配合工作，大大提高用户对智能终端中应用程序控制的准确性。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。