一种基于眼球追踪控制终端的方法及装置与流程

本发明涉及移动设备通信应用领域，特别是涉及一种基于眼球追踪控制终端的方法及装置。

背景技术：

现有的用户与智能移动终端设备进行交互的方式，基本都是通过用户主动地触摸屏幕或者键盘输出以控制智能移动终端。也就是说，操控智能移动终端设备时，一般都需要用户手动地配合，例如按键点击和触摸屏幕等等。这种交互方式一方面比较费力，另一方面，在用户双手不方便的情况下，便不能对设备进行操控。

技术实现要素：

本发明主要解决的技术问题是提供一种基于眼球追踪控制终端的方法及装置，能够使得用户仅需要转动眼球即可实现对终端设备的操控，其提高了对终端操作效率，也进一步提升设备的智能化水平，带来一种全新的交互体验。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于眼球追踪控制终端的方法，所述方法包括：启动终端内的应用；启动眼球追踪系统；通过眼球跟踪系统而采集用户的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标；接收用户指令；响应用户指令，并根据眼球状态信息而对应执行用户指令。

其中，应用为电子书应用。

其中，用户指令为语音指令或者动作指令。

其中，用户指令包括添加备注、选定某段文字、标记某段文字颜色、复制和剪贴某段文字、翻页、改变阅读页面的颜色和字体的指令。

其中，响应用户指令并根据眼球状态信息而对应执行用户指令的步骤，包括：当用户指令为语音指令且语音指令为添加备注时，在用户眼球凝视屏幕的凝视坐标位置处弹出添加备注的提示框；在提示框内根据语音指令而添加备注内容。

其中，响应用户指令并根据眼球状态信息而对应执行用户指令的步骤，包括：当用户指令为语音指令且语音指令为选定某段文字、标记某段文字颜色、复制和剪贴某段文字时，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标；根据文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标而获取从起始位置至终止位置内的文字；根据语音指令而对选定的文字执行相应的操作。

其中，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标的步骤，包括：发出确认起始位置的语音提示，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；保存第一眼球状态信息；发出确认终止位置的语音提示，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括终止位置处所对应的眼球凝视屏幕的凝视坐标；保存第二眼球状态信息；或者，检测用户眼睛盯着起始位置处的时间是否大于第一时间阈值，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第一时间阈值，保存第一眼球状态信息；检测用户眼睛盯着终止位置处的时间是否大于第二时间阈值，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第二时间阈值，保存第二眼球状态信息。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于眼球追踪控制终端的装置，包括：应用启动模块，用于启动终端内的应用；眼球追踪启动模块，用于启动眼球追踪系统；采集模块，用于通过眼球跟踪系统而采集用户的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标；指令接收模块，用于接收用户指令；指令响应模块，用于响应用户指令，并根据眼球状态信息而对应执行用户指令。

其中，应用启动模块所启动的应用为电子书应用。

其中，指令接收模块所接收的用户指令为语音指令或者动作指令。

以上方案，利用眼球跟踪技术，采集用户在操控终端时的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标，进而根据眼球状态信息响应和执行用户的指令，能够使得用户仅需要转动眼球即可实现对终端设备的操控，提高了对终端操作效率，进一步提升设备的智能化水平，带来一种全新的交互体验。

附图说明

图1是本发明基于眼球追踪控制终端的方法一实施方式的流程示意图；

图2是本发明基于眼球追踪控制终端的方法另一实施方式的流程示意图；

图3是本发明基于眼球追踪控制终端的方法又一实施方式的流程示意图；

图4是本发明基于眼球追踪控制终端的装置一实施方式的结构示意图；

图5是本发明基于眼球追踪控制终端的装置另一实施方式的结构示意图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，图1是本发明基于眼球追踪控制终端的方法一实施方式的流程示意图。需注意的是，本发明的方法并不仅仅局限于图1所示的流程顺序。如图1所示，该方法包括如下步骤：

s101：启动终端内的应用。

其中，终端可以是智能手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mid，mobileinternetdevice)、电子书(electronicbook，e-book)、可穿戴设备(例如智能手表、智能手环)等智能移动终端。

其中，所启动的应用为可以选定和/或编辑文字的应用，可以为电子书应用，也可以为消息推送应用，比如微博、朋友圈、电子邮箱、新闻头条等，还可以为wps、pdf等。

s102：启动眼球追踪系统。

其中，眼球追踪系统所采用的眼球追踪技术的原理是，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。也即是，眼球追踪技术主要是研究眼球运动信息的获取、建模和模拟。

眼球追踪技术具体可以用三种追踪方向，一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。在本实施方式中的追踪方向就是通过终端设备上的图像采集设备捕捉并跟踪用户眼球和眼球周边的状态及变化(如眼球的“闪烁”以及眼网膜的反射等)，进而解析出用户当前凝视的屏幕位置，最终通过跟踪用户眼球的活动来实现对终端设备进行控制的目的。其中，图像采集设备可以是终端设备上的摄像头。

此外，在另外一些实施方式中，眼球追踪技术的主要设备还包括红外设备。其中，红外设备的投射方式能在30英寸左右的屏幕上精确到1厘米以内，辅以眨眼识别、注视识别等技术，可以在一定程度上替代鼠标、触摸板。

s103：通过眼球追踪系统而采集用户的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标。

其中，在眼球跟踪技术中，采集眼球凝视屏幕的凝视坐标的过程是，先固定摄像机的位置、屏幕和/或光源的位置、眼球中心位置不变(假设眼球为球状，且头部不动)，普尔钦斑的绝对位置不随眼球的转动而变化。但普尔钦斑相对于瞳孔和眼球的位置则是在不断变化的，比如，当眼睛盯着摄像头时，普尔钦斑就在瞳孔之间；而当抬起头时，普尔钦斑就在瞳孔下方。此时，只要实时定位眼睛图像上的瞳孔、和普尔钦斑的位置，计算出角膜反射向量，便能利用几何模型，估算得到用户的视线方向。再基于前期定标过程，让用户注视屏幕上特定的点的过程中所建立的用户眼睛特征与屏幕呈现内容之间的关系，终端设备即可以计算出眼球凝视屏幕的凝视坐标。其中，普尔钦斑(purkinjeimage)是眼球角膜上的一个亮光点，由进入瞳孔的光线在角膜外表面上反射(cornealreflection)而产生。

s104：接收用户指令。

其中，用户的指令可以是语音指令，也可以是动作指令。具体地，语音指令和动作指令均可以是添加备注、选定某段文字、标记某段文字颜色、复制和剪贴某段文字、翻页、改变阅读页面的颜色和字体等指令。

进一步地，用户可以自己设置是通过语音指令，还是通过动作指令来对终端设备进行操控。其中，用户还可以设置一部分指令通过语音指令发送，一部分指令通过动作指令发送。例如，添加备注、选定某段文字、标记某段文字颜色、复制和剪贴某段文字等指令通过语音指令来发送，而翻页、改变阅读页面的颜色和字体等指令通过动作指令来发送。具体地，用户的动作指令可以通过在映射表中查找用户动作所对应的指令内容而得到的。其中，映射表预设各个用户动作与指令内容的映射关系。例如，用户眨一下眼睛，终端设备可以执行翻页的指令。

s105：响应用户指令，并根据眼球状态信息而对应执行用户指令。

其中，终端设备所响应和执行的用户指令包括添加备注、选定某段文字、标记某段文字颜色、复制和剪贴某段文字、翻页、改变阅读页面的颜色和字体等指令。

另外，当终端设备检测到用户的眼睛盯着屏幕看时，终端设备不会黑屏，且终端设备的屏幕亮度可以根据周围环境的变化而进行调整。

本实施方式中，利用眼球跟踪技术，采集用户在操控终端时的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标，进而根据眼球状态信息响应和执行用户的指令，能够使得用户仅需要转动眼球即可实现对终端设备的操控，提高了对终端操作效率，进一步提升设备的智能化水平，带来一种全新的交互体验。

请参阅图2，图2是本发明基于眼球追踪控制终端的方法另一实施方式的流程示意图。本实施方式是响应用户指令并根据用户的眼球状态信息而对应执行用户指令的其中一个具体的实现方式，该方法包括以下步骤：

s201：当用户指令为语音指令且语音指令为添加备注时，在用户眼球凝视屏幕的凝视坐标位置处弹出添加备注的提示框。

s202：在提示框内根据语音指令而添加备注内容。

其中，用户可以设置，当终端设备收到用户的语音指令，比如“添加备注”时，屏幕可以弹出添加备注的提示框。用户可以语音输入需要输入的备注内容，还可以手动输入需要输入的备注内容。当终端设备收到用户的语音指令，比如“结束添加备注”或者“结束”时，屏幕可以弹出一个是否保存该备注的提示框。用户可以通过语音指令，比如“保存”、“不保存”等，来保存或者不保存该备注。用户还可以通过动作指令来选择保存或不保存该备注。例如，用户可以手动选择屏幕上弹出的是否保存该备注的提示框的某一选项，或者，用户可以盯着屏幕上弹出的是否保存该备注的提示框的某一选项，终端设备通过采集用户眼球凝视屏幕的凝视坐标判断出用户的选择进而响应和执行用户指令。

具体地，用户的语音指令还可以根据自己的需要、习惯和/或喜好等随意设置。例如，添加备注的语音指令还可以为“需要添加备注”、“此处添加备注”等；结束该备注的语音指令还可以为“over”、“以上”、“ok”等；保存备注的语音指令还可以为“save”、“可以”、“好”等；不保存备注的语音指令还可以为“no”、“不”、“不好”、“不可以”等。

另外，终端设备还可以记录用户的声纹特征。当发出语音指令的人的声音的声纹特征和终端设备记录的声音的声纹特征的匹配度大于等于匹配阈值时，终端设备才会响应该语音指令，否则，终端设备不响应该语音指令。其中，由于每个人的语音声学特征既有相对稳定性，又有变异性，不是绝对的、一成不变的。这种变异可来自生理、病理、心理、模拟、伪装，也与环境干扰有关。例如，不同的麦克风和信道、环境噪音、混合说话人的情形等等，均会对人的声纹特征提取进行一定程度的干扰。因此，终端设备记录的声音的声纹特征与用户的声音的声纹特征的匹配度有可能达不到100％，所以终端设备会预设一个声纹特征匹配阈值。

另外，终端设备还可以记录用户的人脸特征。当发出语音指令的人的人脸特征与终端设备记录的人脸特征匹配时，终端设备才会响应该语音指令，否则，终端设备不响应该语音指令。其中，人脸的特征可以是眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等特征，进一步计算其几何特征量。也可以是，人脸的几何特征量与数据库中标准面部模板或面部器官的模板的几何特征量的差异。另外，进行人脸特征对比的方法有adaboost法(实质是一种迭代算法)、特征向量法和面纹模板法等。其中，特征向量法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等特征，再计算出它们的几何特征量，这些几何特征量的集合即组成描述脸部特征的几何特征向量。面纹模板法是在数据库中存放一些标准面部模板或面部器官的模板，采集待测面部图片的特征向量集等与模板的数据进行对比。

可选地，当发出语音指令的人的声音的声纹特征和人脸特征数据均与终端设备记录的特征数据相匹配时，终端设备才会响应该语音指令；也可以是，当两者中的一个特征数据与终端设备记录的特征数据相匹配时，终端设备会响应该语音指令，此处不做限制。

本实施方式中，利用眼球跟踪技术，采集用户在操控终端时的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标，进而根据眼球状态信息响应和执行用户的指令，能够使得用户仅需要转动眼球即可实现对终端设备的操控，提高了对终端操作效率，进一步提升设备的智能化水平，带来一种全新的交互体验。

请参阅图3，图3是本发明基于眼球追踪控制终端的方法又一实施方式的流程示意图。本实施方式是响应用户指令并根据用户的眼球状态信息而对应执行用户指令的另一个具体的实施方式，该方法包括以下步骤：

s301：当用户指令为语音指令且语音指令为选定某段文字、标记某段文字颜色、复制和剪贴某段文字时，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标。

其中，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标的其中一个具体的实施方式为：发出确认起始位置的语音提示，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标。保存第一眼球状态信息。发出确认终止位置的语音提示，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括终止位置处所对应的眼球凝视屏幕的凝视坐标。保存第二眼球状态信息。

具体地，当用户发出语音指令，比如“确认起始位置后”，终端设备会采集并保存起始位置处所对应的眼球凝视屏幕的凝视坐标。然后终端设备提示用户看向标记的终止位置，用户看向需要标记的文字终止位置。当用户发出语音指令，比如“确认终止位置后”，终端设备会采集并保存终止位置处所对应的眼球凝视屏幕的凝视坐标。接着，屏幕会弹出一个是否选中某段文字的提示框。用户可以通过语音指令，比如“选中”、“不选中”等，来选中或者不选中该某段文字，用户也可以手动选择屏幕的提示操作。另外，用户的语音指令还可以根据自己的需要、习惯和/或喜好等随意设置。

可选地，当用户发出语音指令，比如“确认起始位置后”，终端设备会采集并保存起始位置处所对应的眼球凝视屏幕的凝视坐标，并选中该起始位置的凝视坐标处的文字。然后终端设备提示用户看向标记的终止位置，用户看向需要标记的文字终止位置。当用户发出语音指令，比如“确认终止位置后”，终端设备会采集并保存终止位置处所对应的眼球凝视屏幕的凝视坐标，并选中该终止位置的凝视坐标处的文字。接着，屏幕会弹出一个是否选中某段文字的提示框。

可选地，当用户发出语音指令，比如“确认起始位置后”，终端设备会采集并保存起始位置处所对应的眼球凝视屏幕的凝视坐标，并选中该起始位置的凝视坐标处的文字。然后屏幕上的光标会跟着眼睛的移动方向，选中眼睛扫过的文字。直到眼睛盯着某处并发出语音指令，比如“确认终止位置后”。然后，屏幕可以弹出一个是否选中某段文字的提示框，或者，不弹出该提示框。用户可以根据自己的需要、习惯和/或喜好等随意设置。

可选地，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标的另外一个具体的实施方式为：检测用户眼睛盯着起始位置处的时间是否大于第一时间阈值，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第一时间阈值，保存第一眼球状态信息；检测用户眼睛盯着终止位置处的时间是否大于第二时间阈值，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第二时间阈值，保存第二眼球状态信息。其中，第一时间阈值和第二时间阈值的范围可以一样，也可以不一样。第一时间阈值和第二时间阈值的范围可以是用户设置的，也是可以是终端设备的初始数据。

具体地，当用户的眼睛盯着屏幕上的起始位置处的时间大于第一时间阈值时，终端设备会采集并保存该处所对应的眼球凝视屏幕的凝视坐标，并选中该起始位置的凝视坐标处的文字。然后屏幕上的光标会跟着眼睛的移动方向，选中眼睛扫过的文字。直到用户眼睛盯着终止位置处的时间大于第二时间阈值时，终端设备会采集并保存该处所对应的眼球凝视屏幕的凝视坐标。然后，屏幕可以弹出一个是否选中某段文字的提示框，或者，不弹出该提示框。用户可以根据自己的需要、习惯和/或喜好等随意设置。

s302：根据文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标而获取从起始位置至终止位置内的文字。

s303：根据语音指令而对选定的文字执行相应的操作。

其中，当某段文字被选定后，用户可以设置，当终端设备收到用户的语音指令，比如“添加背景颜色”时，终端设备会改变该某段文字的背景颜色。若是用户不满意该背景颜色，继续发出语音指令“添加背景颜色”，则终端设备会按某种颜色顺序改变该某段文字的背景颜色。其中，颜色顺序可以是用户设置的，也可以是终端设备系统内自带的，还可以随机的。另外，当终端设备收到用户的语音指令，比如“添加红色背景”时，终端设备会把该某段文字的背景变为红色。

具体地，用户的语音指令还可以根据自己的需要、习惯和/或喜好等随意设置。例如，为该被选中的某段文字添加背景颜色的语音指令还可以为“需要添加背景颜色”、“此处添加背景颜色”等；保存该添加的背景颜色的语音指令还可以为“save”、“可以”、“好”等；不保存该添加的背景颜色的语音指令还可以为“no”、“不”、“不好”、“不可以”等。进一步地，用户还可以设置屏幕弹出一个是否保存该背景颜色的提示框。其中，用户可以手动选择屏幕上弹出的是否保存该背景颜色的提示框的某一选项，或者，用户可以盯着屏幕上弹出的是否保存该背景颜色的提示框的某一选项，终端设备通过采集用户眼球凝视屏幕的凝视坐标判断出用户的选择进而响应和执行用户指令。

可选地，还可以改变该被选定的某段文字的字体、字号、翻译为某种语音、标记文字颜色以及复制和剪贴等。用户也可以根据自己的需要、习惯和/或喜好等随意设置语音指令。

另外，终端设备还可以记录用户的声纹特征和人脸特征，具体过程如上一实施方式所述，在此不做赘叙。

本实施方式中，利用眼球跟踪技术，采集用户在操控终端时的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标，进而根据眼球状态信息响应和执行用户的指令，能够使得用户仅需要转动眼球即可实现对终端设备的操控，提高了对终端操作效率，进一步提升设备的智能化水平，带来一种全新的交互体验。

请参阅图4，图4是本发明基于眼球追踪控制终端的装置一实施方式的结构示意图。需要说明的是，本实施方式的装置可以执行上述方法中的步骤，相关内容的详细说明请参见上述方法部分，在此不再赘叙。

本实施方式中，该装置40是上述实施方式中的装置，该装置40包括：应用启动模块41、眼球追踪启动模块42、采集模块43、指令接收模块44、指令响应模块44。

应用启动模块41用于启动终端内的应用。

眼球追踪启动模块42用于启动眼球追踪系统。

采集模块43用于通过眼球跟踪系统而采集用户的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标。

指令接收模块44用于接收用户指令。

指令响应模块44用于响应用户指令，并根据眼球状态信息而对应执行用户指令。

其中，应用启动模块41所启动的应用为可以选定和/或编辑文字的应用，可以是电子书应用，也可以为消息推送应用，比如微博、朋友圈、电子邮箱、新闻头条等，还可以为wps、pdf等。

其中，需要说明的是，要先启动应用启动模块41后，才可以进一步开启后面的模块。

其中，接收指令模块44所接收的用户指令可以是语音指令，也可以是动作指令。其中，语音指令和动作指令均可以包括但不限于添加备注、选定某段文字、标记某段文字颜色、复制和剪贴某段文字、翻页、改变阅读页面的颜色和字体等指令。

其中，响应指令模块44具体包括：当用户指令为语音指令且语音指令为添加备注时，在用户眼球凝视屏幕的凝视坐标位置处弹出添加备注的提示框；在提示框内根据语音指令而添加备注内容。

其中，响应指令模块45还包括：当用户指令为语音指令且语音指令为选定某段文字、标记某段文字颜色、复制和剪贴某段文字时，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标；根据文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标而获取从起始位置至终止位置内的文字；根据语音指令而对选定的文字执行相应的操作。

其中，响应指令模块45还包括：发出确认起始位置的语音提示，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；保存第一眼球状态信息；发出确认终止位置的语音提示，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括终止位置处所对应的眼球凝视屏幕的凝视坐标；保存第二眼球状态信息。

可选地，响应指令模块45还包括：检测用户眼睛盯着起始位置处的时间是否大于第一时间阈值，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第一时间阈值，保存第一眼球状态信息；检测用户眼睛盯着终止位置处的时间是否大于第二时间阈值，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第二时间阈值，保存第二眼球状态信息。

本实施方式中，利用眼球跟踪技术，采集用户在操控终端时的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标，进而根据眼球状态信息响应和执行用户的指令，能够使得用户仅需要转动眼球即可实现对终端设备的操控，提高了对终端操作效率，进一步提升设备的智能化水平，带来一种全新的交互体验。

请参阅图5，图5是本发明基于眼球追踪控制终端的装置另一实施方式的结构示意图。该装置可以执行上述方法中的装置执行的步骤。相关内容请参见上述方法中的详细说明，在此不再赘叙。

本实施方式中，该处理装置包括：处理器51、存储器52以及接收器53。

存储器52用于存储操作系统、处理器51执行的指令以及接收到的消息等。

接收器53用于接收用户的指令。

处理器51用于启动终端内的应用；启动眼球追踪系统；通过眼球跟踪系统而采集用户的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标；响应用户指令，并根据眼球状态信息而对应执行用户指令。

具体地，处理器51还用于当用户指令为语音指令且语音指令为添加备注时，在用户眼球凝视屏幕的凝视坐标位置处弹出添加备注的提示框；在提示框内根据语音指令而添加备注内容。

具体地，处理器51还用于当用户指令为语音指令且语音指令为选定某段文字、标记某段文字颜色、复制和剪贴某段文字时，获取某段文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标；根据文字的起始位置和终止位置处的用户的眼球凝视屏幕的凝视坐标而获取从起始位置至终止位置内的文字；根据语音指令而对选定的文字执行相应的操作。

具体地，处理器51还用于发出确认起始位置的语音提示，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；保存第一眼球状态信息；发出确认终止位置的语音提示，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括终止位置处所对应的眼球凝视屏幕的凝视坐标；保存第二眼球状态信息。

可选地，处理器51还用于检测用户眼睛盯着起始位置处的时间是否大于第一时间阈值，并采集获取用户的第一眼球状态信息，其中，第一眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第一时间阈值，保存第一眼球状态信息；检测用户眼睛盯着终止位置处的时间是否大于第二时间阈值，并采集获取用户的第二眼球状态信息，其中，第二眼球状态信息包括起始位置处所对应的眼球凝视屏幕的凝视坐标；若大于第二时间阈值，保存第二眼球状态信息。

其中，处理器51所启动的应用为可以选定和/或编辑文字的应用，可以是电子书应用，也可以为消息推送应用，比如微博、朋友圈、电子邮箱、新闻头条等，还可以为wps、pdf等。

其中，接收器53所接收的用户指令可以为语音指令，也可以为动作指令。其中，语音指令和动作指令具体包括但不限于添加备注、选定某段文字、标记某段文字颜色、复制和剪贴某段文字、翻页、改变阅读页面的颜色和字体等指令。

本实施方式中，利用眼球跟踪技术，采集用户在操控终端时的眼球运动状态以获取眼球状态信息，其中，眼球状态信息包括眼球凝视屏幕的凝视坐标，进而根据眼球状态信息响应和执行用户的指令，能够使得用户仅需要转动眼球即可实现对终端设备的操控，提高了对终端操作效率，进一步提升设备的智能化水平，带来一种全新的交互体验。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。