触控屏的操控方法及终端设备与流程

本发明涉及通信领域，特别涉及通信领域中的触控屏的操控方法及终端设备。

背景技术：

目前触控屏幕的手机越来越多，而且屏幕尺寸越来越大。尤其是随着很多大屏手机的普及，基本上很少有人用小屏手机了。现在的手机的常规配置都是4.3的屏幕，主流的高端品牌一般达到了6.0寸以上，大的屏幕给用户带来了更好地观赏视频和浏览网页的视觉体验，也让手机游戏的操作更畅快，不再感觉屏幕太小而憋屈。在使用常规尺寸电子设备时，如果用户单手操控电子设备，也会由于电子设备屏幕的操作不便，用户会触及不到屏幕中的某些位置，造成屏幕控制不便的问题。例如用户左手操控屏幕时，拇指无法触及到屏幕右上方的区域，对于关闭窗口或最小化窗口等操作，用户需要使用右手协助完成，操控十分不方便。再者，如果手机为大屏手机，那么大屏幕带来的弊端也很明显，需要一手持手机一手来点击屏幕进行操作，双手操作手机给人带来了一定的束缚，没有办法让人们在玩手机的时候顺便做一些其他事情，比如抓乘车扶手、拎包等等。

技术实现要素：

本发明的目的在于提供一种触控屏的操控方法及终端设备，使得用户可以很方便地根据眼球在终端设备屏幕上移动的位置对终端设备的图标进行操作，用户体验明显改善，而且使用方便、操作简单，解决了对终端设备进行 单手或者双手触控操作的不便。

为解决上述技术问题，本发明提供了一种触控屏的操控方法，包含以下步骤：采集眼球在观察屏幕上的不同基准点时的眼球位置，根据采集的眼球位置，建立眼球移动范围坐标系；建立眼球移动范围坐标系与触控屏范围坐标系的对应关系；采集眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的位置；根据对应关系，计算在触控屏范围坐标系内的对应位置；对位于对应位置的图标进行操控。

本发明还提供了一种终端设备，包含：采集模块，用于采集眼球在观察屏幕上的不同基准点时的眼球位置；构建模块，用于根据采集模块采集的眼球位置，建立眼球移动范围坐标系；以及建立眼球移动范围坐标系与触控屏范围坐标系的对应关系；采集模块，还用于采集眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的位置；计算模块，根据眼球移动范围坐标系与触控屏范围坐标系的对应关系，计算在触控屏范围坐标系内的对应位置；操作模块，根据计算模块计算的在触控屏范围坐标系内的对应位置，对位于对应位置的图标进行操控。

本发明实施方式相对于现有技术而言，通过在屏幕上建立眼球移动范围坐标系，以及眼球移动范围坐标系与触控屏范围坐标系的对应关系，通过采集眼球在眼球移动范围坐标系内的位置，根据对应关系，计算在触控屏范围坐标系内的对应位置，实现对位于对应位置的图标进行操控。终端提供给用户可以根据眼球在终端设备屏幕上移动的位置进行控制操作图标的可控界面，使得用户可以很方便地根据眼球在终端设备屏幕上移动的位置对终端设备在相应位置的图标进行操控，用户体验明显改善，而且使用方便、操作简单，解决了对终端设备进行单手或者双手触控操作的不便。

另外，在建立眼球移动范围坐标系与触控屏范围坐标系的对应关系的步骤之后，还包含：在需对触控屏进行操控时，分别采集眼球在观察屏幕中心 点时，眼球在眼球移动范围坐标系内的基准位置，和眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的目标位置；根据采集的基准位置和目标位置获取眼球的移动距离；根据眼球的移动距离和对应关系，获取触控屏上的待操控图标，对该待操控图标进行操控。通过对触控屏进行操作时，根据获取眼球的移动距离和对应关系，来获取触控屏上的待操控图标，对该待操控图标进行操控；从而，不需要在每次使用眼球对触控屏操作时，都要建立眼球移动范围坐标系与触控屏范围坐标系的对应关系，只要之前建立过该对应关系，就可以用眼球操控。

另外，在建立眼球移动范围坐标系与触控屏范围坐标系的对应关系的步骤之后，还包含：在需对触控屏进行操控时，分别采集眼球在观察屏幕中心点时，眼球在眼球移动范围坐标系内的基准位置，和眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的目标位置；根据基准位置调整对应关系；根据调整后的对应关系，计算目标位置在触控屏范围坐标系内的对应位置；对位于对应位置的图标进行操控。根据眼球在眼球移动范围坐标系内的基准位置调整对应关系，实现对眼球位置的校准；从而，不需要在每次使用眼球对触控屏操作时，都要建立眼球移动范围坐标系与触控屏范围坐标系的对应关系，只要之前建立过该对应关系，就可以用眼球操控；同时解决了实际使用该功能时眼球位置可能与建立坐标系时的眼球位置存在偏差，而导致实际使用时控制图标不准确的问题。

另外，触控屏的操控方法还包含以下步骤：在采集眼球在观察屏幕上的不同基准点时的眼球位置时，记录当前终端设备与水平面的夹角；在需对触控屏进行操控时，检测当前终端设备与水平面的夹角，与记录的夹角是否一致；如果当前终端设备与水平面的夹角，与记录的夹角不一致，则在将当前终端设备与水平面的夹角，调整至记录的夹角后，再进入基准位置和目标位置的采集步骤。由于操作手机时，手机的角度是不同的，所以在具体操作时，获取的眼球的移动距离对应到屏幕上的范围是会发生变化的，即手机垂直放 置和不垂直放置时，眼球的移动距离对应到屏幕上是会发生变化的，所以需要先调整下角度，使操控时的角度与建立坐标系时的角度一致，保证操作结果的准确性。

另外，采集眼球在观察屏幕上的不同基准点时的眼球位置的步骤中，包含以下子步骤：利用前置摄像头分别拍摄眼球在观察屏幕上的不同基准点时的图片；根据拍摄的图片，采集眼球在观察屏幕上的不同基准点时的眼球位置。利用前置摄像图采集眼球在观察屏幕上的不同基准点时的图片并以此采集眼球位置，使用方便，操作简单，给用户提供良好的操作体验。

另外，屏幕上的不同基准点分别为：分别位于屏幕左上角、右上角、左下角、右下角和中心点的标记点。多方位采集眼球在观察屏幕上的不同基准点时的眼球位置；根据采集的眼球位置，建立眼球移动范围坐标系，保证眼球移动范围坐标系的准确性和实际操作的可行性。

附图说明

图1是根据本发明第一实施方式的触控屏的操控方法的流程示意图；

图2是根据本发明第一实施方式的眼球移动范围坐标系示意图；

图3是根据本发明第一实施方式的触控屏范围坐标系示意图；

图4是根据本发明第二实施方式的触控屏的操控方法的流程示意图；

图5是根据本发明第三实施方式的触控屏的操控方法的流程示意图；

图6是根据本发明第四实施方式的终端设备的结构示意图；

图7是根据本发明第五实施方式的终端设备的结构示意图；

图8是根据本发明第六实施方式的终端设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种触控屏的操控方法。具体流程如图1所示。

在步骤101中，利用前置摄像头分别拍摄眼球在观察屏幕上的不同基准点时的图片。

具体地说，利用终端设备的前置摄像头分别拍摄眼球在观察屏幕上的不同基准点时的图片。其中，屏幕上的不同基准点分别为：分别位于屏幕左上角、右上角、左下角、右下角和中心点的标记点。

接着，进入步骤102，根据拍摄的图片，采集眼球在观察屏幕上的不同基准点时的眼球位置，建立眼球移动范围坐标系。

具体地说，在本步骤中，终端设备从拍摄的图片中提取出拍摄的眼球信息；根据提取出拍摄的眼球信息采集眼球在观察屏幕上的不同基准点时的眼球位置并建立眼球移动范围坐标系。多方位采集眼球在观察屏幕上的不同基准点时的眼球位置；根据采集的眼球位置，建立眼球移动范围坐标系，保证眼球移动范围坐标系的准确性和实际操作的可行性；对于使用者来说，使用较为简单操作比较方便，用户体验明显改善。

接着，进入步骤103，建立眼球移动范围坐标系与触控屏范围坐标系的对应关系。

具体地说，比如，将终端设备屏幕左下角对应的点对应于眼球移动范围坐标系的原点，眼球在眼球移动范围坐标系的横坐标的移动范围为0到N1 (如图2所示)。将终端设备屏幕左下角对应的点对应于触控屏范围坐标系的原点，触控图标在触控屏范围坐标系的横坐标的范围为0到N2(如图3所示)，N1和N2均对应于终端设备屏幕的右下角所对应的点。同样的方式，可获取眼球在眼球移动范围坐标系的纵坐标的移动范围(0到M1)与触控图标在触控屏范围坐标系的纵坐标的范围(0到M2)的对应关系，M1和M2对应于终端设备屏幕的左上角所对应的点。M1和M2的大小关系，以及N1和N2的大小关系与实际的测量结果，以及各坐标轴选取的单位和比例有关。

接着，进入步骤104，采集眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的位置。

具体地说，通过前置的摄像头获取眼球在观察待操控图标时的图片，跟之前建立眼球移动范围坐标系时预存的图片进行比对，进而获取眼球在眼球移动范围坐标系内的位置。比如，采集眼球在观察待操控图标时，眼球位置为图2中眼球移动范围坐标系内A点所对应的位置，坐标为(a，b)。

接着，进入步骤105，根据对应关系，计算在触控屏范围坐标系内的对应位置。

具体地说，根据对应关系，可以计算眼球在眼球移动范围坐标系内的横坐标a与触控图标在触控屏范围坐标系的横坐标N2/N1*a相对应；眼球在眼球移动范围坐标系内的纵坐标b与触控图标在触控屏范围坐标系的纵坐标M2/M1*b相对应。由此可知，根据对应关系计算的触控图标在触控屏范围坐标系内的对应位置为坐标值(N2/N1*a，M2/M1*b)对应的位置，对应在该坐标轴上的位置点如图3中的B点的位置。A点和B点对应于触控屏上的同一触控图标。

接着，进入步骤106，对位于对应位置的图标进行操控。

具体地说，对位于触控屏范围坐标系内的B点所对应的触控图标进行操控，进入该图标所指示的操作界面。其中，在对位于对应位置的图标进行操 控的步骤中，还可以对对应位置的图标进行点击操作。

终端提供给用户可以根据眼球在终端设备屏幕上移动的位置进行控制操作图标的可控界面，使得用户可以很方便地根据眼球在终端设备屏幕上移动的位置对终端设备的图标进行操作，用户体验明显改善，而且使用方便、操作简单，解决了对终端进行单手或者双手触控操作的不便。

本发明的第二实施方式涉及一种触控屏的操控方法。第二实施方式在第一实施方式的基础上做了改进，主要改进之处在于：在本发明第二实施方式中，根据获取眼球的移动距离来获取触控屏上的待操控图标，对该待操控图标进行操控；不需要在每次使用眼球对触控屏操作时，都要建立眼球移动范围坐标系与触控屏范围坐标系的对应关系，只要之前建立过该对应关系，就可以用眼球操控。具体流程如图4所示。

在步骤201中，采集眼球在观察屏幕上的不同基准点时的眼球位置时，记录当前终端设备与水平面的夹角，根据采集的眼球位置，建立眼球移动范围坐标系。

具体地说，利用终端设备的前置摄像头分别拍摄眼球在观察屏幕上的不同基准点时的图片；同时，记录当前终端设备与水平面的夹角，根据采集的眼球位置，建立眼球移动范围坐标系。其中，记录当前终端设备与水平面的夹角可以通过终端设备内置的重力传感器获取当前终端设备与水平面的夹角并保存在终端设备内，此处的获取当前终端设备与水平面的夹角的方式不限于通过终端设备内置的重力传感器，其他能实现本步骤的获取方式也涵盖在本实施方式所涵盖之范畴。

接着，进入步骤202，建立眼球移动范围坐标系与触控屏范围坐标系的对应关系。

本步骤与第一实施方式的步骤103雷同，在此不再赘述。

接着，进入步骤203，判断当前终端设备与水平面的夹角，与记录的夹 角是否一致。如果当前终端设备与水平面的夹角，与记录的夹角一致，则进入步骤205；如果当前终端设备与水平面的夹角，与记录的夹角不一致，则进入步骤204。

具体地说，因为终端设备垂直放置和不垂直放置时，眼球的移动距离对应到屏幕上的位置是会发生变化，所以需要先调整下角度，保证当前终端设备与水平面的夹角与建立坐标系时的角度一致。根据重力传感器获取当前终端设备与水平面的夹角，如果当前终端设备与水平面的夹角与在步骤201中保存在终端设备的夹角相同，则可判定当前终端设备与水平面的夹角，与记录的夹角一致，进入步骤205；否则则进入步骤204。

在步骤204中，调整当前终端设备与水平面的夹角，直到终端设备与记录的夹角一致。

具体地说，如果当前终端设备与水平面的夹角，与记录的夹角不一致，则在终端设备的界面显示提示信息，提示信息可以提示当前终端设备与水平面的夹角与记录的夹角不一致，根据提示信息调整当前终端设备与水平面的夹角，直到终端内置的重力传感器获取的当前终端设备与水平面的夹角与记录的夹角一致。其中，提示信息可以显示为“请调整终端设备角度”，也可以通过语音提示；提示信息的提醒方式不限于以上所列举的方式，只要能实现本步骤的目的即可。

接着，进入步骤205，分别采集眼球在眼球移动范围坐标系内的基准位置和目标位置。

具体地说，在需对所述触控屏进行操控时，分别通过终端设备前置的摄像头拍摄眼球在观察屏幕中心点时的图片和眼球在观察待操控图标时的图片。根据拍摄的眼球在观察屏幕中心点时的图片，采集眼球在观察屏幕中心点时，眼球在所述眼球移动范围坐标系内的基准位置；根据拍摄的眼球在观察待操控图标时的图片，采集眼球在观察待操控图标时，眼球在所述眼球移 动范围坐标系内的目标位置。

接着，进入步骤206，根据采集的基准位置和目标位置获取眼球的移动距离。

比如，将终端的长、宽分别除以分辨率，假如宽是1cm，手机的像素是480*854，则将1除于854，得到每两个相邻的像素点的距离。然后利用终端的摄像头拍摄眼球在观察屏幕中心点时的图片，并已知屏幕中心点的基准像素点是240*427。再利用终端的摄像头拍摄眼球在观察待操控图标时的图片，通过终端的图片处理软件对所获取的两张图片进行对比处理，可以获得眼球的移动距离，如向下移动了多少cm，向左移动了多少cm。

接着，进入步骤207，根据眼球的移动距离和对应关系，获取触控屏上的待操控图标，对该待操控图标进行操控。

具体地说，如果眼球相对于基准像素点向下移动，则根据眼球的下移距离以及基准像素点，可以得到对应的触控屏上的待操控图标相对于基准像素点往下移动的点数，进而得到触控屏上的待操控图标的像素点，从而获取触控屏上对应的待操控图标，对该待操控图标进行操控。

因为如果眼球相对于基准像素点向下移动，则可根据检测眼球的下移距离，得到对应的触控屏上往下移动了多少像素点，即使用户盯住中心点是眼球位置发生了改变，移动的相对距离是不变的，所以不要求每次都重新建立坐标系和对应关系。

本发明第三实施方式涉及一种触控屏的操控方法，第三实施方式在第一实施方式的基础上做了改进，主要改进之处在于：在本发明第三实施方式中；在应用触控屏的操控方法的功能时，首先校准眼球位置，解决了实际使用该功能的过程中，对应于同一触控图标眼球位置可能与建立坐标系时的眼球位置存在偏差，而导致实际使用时控制不准确的问题。具体流程图如图5所示。

本实施方式中的步骤301至步骤305，与第二实施方式的步骤201至步 骤205雷同，在此不再赘述。

接着，进入步骤306，根据采集的基准位置调整上述对应关系。

具体地说，根据采集的基准位置调整眼球移动范围坐标系与触控屏范围坐标系的对应关系。在需对触控屏进行操控时，分别采集眼球在观察屏幕中心点时，眼球在眼球移动范围坐标系内的基准位置，和眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的目标位置；根据基准位置调整对应关系。

比如，在需对触控屏进行操控时，首先采集眼球在观察屏幕中心点时，眼球在眼球移动范围坐标系内的基准位置，假设N1的横坐标为1，M1的纵坐标为1，采集到的眼球在观察屏幕中心点时，在眼球移动范围坐标系内的坐标值为(0.6，0.6)，将坐标值为(0.6，0.6)的点对应到触控屏范围坐标系的坐标值为(M2/2，N2/2)的点，据此调整眼球移动范围坐标系与触控屏范围坐标系的对应关系。采集眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的目标位置。假设目标位置在眼球移动范围坐标系内的坐标值为(0.5，0.5)，则根据调整后的对应关系，可以计算该坐标值对应到触控屏范围坐标系的坐标值为(0.4*M2，0.4*N2)。此处计算过程为物理常识，在此不再赘述。

接着，进入步骤307，根据调整后的对应关系，计算目标位置在触控屏范围坐标系内的对应位置。

具体地说，根据调整后的对应关系，可以计算出目标位置在触控屏范围坐标系内的坐标值，根据坐标值在相应的区域对应的触控图标，即可获得目标位置在触控屏范围坐标系内的对应位置。

接着，进入步骤308，对位于对应位置的图标进行操控。

本步骤与第一实施方式中的步骤106雷同，在此不再赘述。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第四实施方式涉及一种终端设备，如图6所示。

终端设备包含，采集模块，用于采集眼球在观察屏幕上的不同基准点时的眼球位置；构建模块，用于根据采集模块采集的眼球位置，建立眼球移动范围坐标系；以及建立眼球移动范围坐标系与触控屏范围坐标系的对应关系；采集模块，还用于采集眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的位置；计算模块，根据眼球移动范围坐标系与触控屏范围坐标系的对应关系，计算在触控屏范围坐标系内的对应位置；操作模块，根据计算模块计算的在触控屏范围坐标系内的对应位置，对位于对应位置的图标进行操控。

本实施方式中，通过在屏幕上建立眼球移动范围坐标系，以及眼球移动范围坐标系与触控屏范围坐标系的对应关系，通过采集眼球在眼球移动范围坐标系内的位置，根据对应关系，计算在触控屏范围坐标系内的对应位置，实现对位于对应位置的图标进行操控。终端提供给用户可以根据眼球在终端设备屏幕上的移动位置进行控制操作图标的可控界面，使得用户可以很方便地根据眼球在终端设备屏幕上的移动位置对终端设备的图标进行操作，用户体验明显改善，而且使用方便、操作简单，解决了对终端进行单手或者双手触控操作的不便。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种终端设备，如图7所示。

终端设备还包含获取模块。终端设备内的采集模块还用于在需对触控屏进行操控时，分别采集眼球在观察屏幕中心点时，眼球在眼球移动范围坐标系内的基准位置，和眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的目标位置；该获取模块，用于根据采集模块采集的基准位置和目标位置获取眼球的移动距离；操作模块，还用于根据获取模块获取的眼球的移动距离和对应关系，获取触控屏上的待操控图标，对该待操控图标进行操控。

本实施方式中，通过对触控屏进行操作时，根据获取眼球的移动距离和对应关系，获取触控屏上的待操控图标，对该待操控图标进行操控；从而，不需要在每次使用眼球对触控屏操作时，都要建立眼球移动范围坐标系与触控屏范围坐标系的对应关系，只要之前建立过该对应关系，就可以用眼球操控。

不难发现，本实施方式为与第二实施方式相对应的系统实施例，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第六实施方式涉及一种终端设备，如图8所示。

终端设备还包含调整模块；采集模块，还用于在需对触控屏进行操控时，分别采集眼球在观察屏幕中心点时，眼球在眼球移动范围坐标系内的基准位置，和眼球在观察待操控图标时，眼球在眼球移动范围坐标系内的目标位置；调整模块，用于根据采集模块采集的基准位置调整对应关系；计算模块，还用于根据经过调整模块调整后的对应关系，计算目标位置在触控屏范围坐标系内的对应位置。

本实施方式中，根据眼球在眼球移动范围坐标系内的基准位置调整对应关系，实现对眼球位置的校准；从而，不需要在每次使用眼球对触控屏操作 时，都要建立眼球移动范围坐标系与触控屏范围坐标系的对应关系，只要之前建立过该对应关系，就可以用眼球操控；同时解决了实际使用该功能时眼球位置可能与建立坐标系时的眼球位置存在偏差，而导致实际使用时控制不准确的问题。

不难发现，本实施方式为与第三实施方式相对应的系统实施例，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。