鼠标操作方法、装置和存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种鼠标操作方法、装置和存储介质。

背景技术：

目前的计算机在使用过程中，一般需要用户对鼠标外设设备的点击、拖拽等动作实现对计算机的指定操作。而随着计算机技术的发展和用户需求的多样化，这种操作方法均需要用户与鼠标等外设设备直接接触，对鼠标等外设设备的依赖性较强。

技术实现要素：

本发明实施例提供一种鼠标操作方法、装置和存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种鼠标操作方法，包括：

检测视线在屏幕上的聚焦位置；

根据所述聚焦位置确定光标在所述屏幕上的位置；

识别鼠标操作指令；

根据所述光标的位置执行所述鼠标操作指令。

在一种实施方式中，根据所述聚焦位置确定光标在所述屏幕上的位置，包括：

在所述屏幕上确定所述聚焦位置对应的像素坐标；

将所述光标定位至所述像素坐标。

在一种实施方式中，根据所述聚焦位置确定光标在所述屏幕上的位置，包括：

如果所述聚焦位置对应多个像素坐标，则从所述多个像素坐标中，选取中心像素坐标；

将所述光标定位至所述中心像素坐标。

在一种实施方式中，根据所述聚焦位置确定光标在所述屏幕上的位置，包括：

检测所述聚焦位置是否位于当前页面的边界；

如果所述聚焦位置位于所述当前页面的边界，则将所述光标定位至下一页面。

在一种实施方式中，根据所述聚焦位置确定光标在所述屏幕上的位置，包括：

检测所述聚焦位置的保持时长；

如果所述保持时长大于预设值，则将所述聚焦位置对应的显示内容调整至所述屏幕的中心，并将所述光标定位至所述屏幕的中心。

在一种实施方式中，识别鼠标操作指令，包括以下方式的至少一种：

接收并识别语音信号，以获得所述鼠标操作指令；

接收并识别手势图像，以获得所述鼠标操作指令；

接收并识别头部动作图像，以获得所述鼠标操作指令。

在一种实施方式中，所述鼠标操作指令包括单击左键指令、单击右键指令、双击左键指令、长按左键指令和松开左键指令中的至少一种。

第二方面，本发明示例提供一种鼠标操作装置，包括：

检测模块，用于检测视线在屏幕上的聚焦位置；

确定模块，用于根据所述聚焦位置确定光标在所述屏幕上的位置；

识别模块，用于识别鼠标操作指令；

执行模块，用于根据所述光标的位置执行所述鼠标操作指令。

在一种实施方式中，所述确定模块包括：

像素坐标确定子模块，用于在所述屏幕上确定所述聚焦位置对应的像素坐标；

第一定位子模块，用于将所述光标定位至所述像素坐标。

在一种实施方式中，所述确定模块包括：

选取子模块，用于如果所述聚焦位置对应多个像素坐标，则从所述多个像素坐标中，选取中心像素坐标；

第二定位子模块，用于将所述光标定位至所述中心像素坐标。

在一种实施方式中，所述确定模块包括：

边界检测子模块，用于检测所述聚焦位置是否位于当前页面的边界；

第三定位子模块，用于如果所述聚焦位置位于所述当前页面的边界，则将所述光标定位至下一页面。

在一种实施方式中，所述确定模块包括：

保持时长检测子模块，用于检测所述聚焦位置的保持时长；

第四定位子模块，用于如果所述保持时长大于预设值，则将所述聚焦位置对应的显示内容调整至所述屏幕的中心，并将所述光标定位至所述屏幕的中心。

第三方面，本发明实施例提供了一种鼠标操作装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行上述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储鼠标操作装置所用的计算机软件指令，其包括用于执行上述方法所涉及的程序。

上述技术方案，通过检测视线的聚焦位置以定位光标，可以模拟鼠标外设设备的移动操作；在聚焦位置位于当前页面的边界的情况下，可以将所述光标定位至下一页面，以实现翻页操作，可以代替鼠标外设设备的滚轮功能。基于视线的聚焦位置定位光标，更方便操作，且响应速度更快；进一步地，通过多种方式模拟鼠标操作指令，可以使用户脱离对传统鼠标硬件设备的依赖，提升用户体验。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1示出根据本发明实施例的鼠标操作方法的流程图。

图2示出根据本发明实施例的一种实施方式的鼠标操作方法的流程图。

图3示出根据本发明实施例的另一种实施方式的鼠标操作方法的流程图。

图4示出根据本发明实施例的又一种实施方式的鼠标操作方法的流程图。

图5示出根据本发明实施例的鼠标操作装置的结构框图。

图6示出根据本发明实施例的一种实施方式的鼠标操作装置的结构框图。

图7示出根据本发明实施例的另一种实施方式的鼠标操作装置的结构框图。

图8示出根据本发明实施例的又一种实施方式的鼠标操作装置的结构框图。

图9示出根据本发明实施例的鼠标操作装置的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1示出根据本发明实施例的鼠标操作方法的流程图。如图1所示，本发明实施例的方法可以包括以下步骤：

步骤s100、检测视线在屏幕上的聚焦位置；

步骤s200、根据所述聚焦位置确定光标在所述屏幕上的位置；

步骤s300、识别鼠标操作指令；

步骤s400、根据所述光标的位置执行所述鼠标操作指令。

本实施例的方法可以应用于各种具有屏幕的电子设备中，例如电脑、手机、平板电脑、游戏机、穿戴设备等。

在步骤s100中，检测视线在屏幕上的聚焦位置可以通过多种方式实现，本发明实施例不作限定。例如：可以通过获取眼部图像，并识别眼部图像中双眼的瞳孔轮廓和眼角对角线，进而可以根据其中一只眼睛的瞳孔中心和对角线中心之间的第一位移量，以及双眼瞳孔中心连线的中点和眼部图像的中心之间的第二位移量，计算视线在屏幕上的聚焦位置。或者，可以采用眼球追踪技术得到视线在屏幕上的聚焦位置。又或者，可以通过检测屏幕与眼睛之间的距离，以及屏幕所在平面与视线的夹角，计算视线在屏幕上的聚焦位置。

在步骤s200中，可以根据视线在屏幕上的聚焦位置例如像素坐标等，确定光标的位置。在一种实施方式中，如图2所示，在步骤s200中，可以包括：

步骤s211、在所述屏幕上确定所述聚焦位置对应的像素坐标；

步骤s212、将所述光标定位至所述像素坐标。

例如：当视线在屏幕上聚焦的像素坐标位于屏幕上的某一图标内时，光标将定位至该图标上。或者，当视线在屏幕上聚焦的像素坐标位于屏幕上的两个文字之间时，光标将定位至这两个文字之间。当视线在屏幕上聚焦的像素坐标改变时，光标的位置随之发生改变，从而可以模拟鼠标外设设备的滑动操作。

在一种实施方式中，如图2所示，在步骤s200中，还可以包括：

步骤s213、如果所述聚焦位置对应多个像素坐标，则从所述多个像素坐标中，选取中心像素坐标；

步骤s214、将所述光标定位至所述中心像素坐标。

受光标大小和屏幕的显示分辨率的影响，不同屏幕上坐标系的横轴和纵轴的最小粒度可能不同。在一种情况下，视线在屏幕上的聚焦位置可能会覆盖多个像素坐标，那么可以从这多个像素坐标中，确定一个位置居中的像素坐标作为中心像素坐标，进而将光标定位至该像素坐标。

在一种实施方式中，如图3所示，在步骤s200中，可以包括：

步骤s221、检测所述聚焦位置是否位于当前页面的边界；

步骤s222、如果所述聚焦位置位于所述当前页面的边界，则将所述光标定位至下一页面。

受屏幕显示区域的限制，当前页面所显示的内容可能只是部分内容。当聚焦位置位于当前页面的边界时，在边界之外可能会存在隐藏内容需要在下一页面显示。如果检测到视线的聚焦位置位于当前页面的边界，则可以将光标定位至下一页面，以实现自动翻页。

当聚焦位置位于当前页面的上边界时，如果在上边界的上方有隐藏内容，则光标定位至上方隐藏内容所在页面；当聚焦位置位于当前页面的下边界时，如果在下边界的下方有隐藏内容，则光标定位至下方隐藏内容所在页面；当聚焦位置位于当前页面的左边界时，如果在左边界的左方有隐藏内容，则光标定位至左方隐藏内容所在页面；当聚焦位置位于当前页面的右边界时，如果在右边界的右方有隐藏内容，则光标定位至右方隐藏内容所在页面。

在一种实施方式中，如图4所示，在步骤s200中，可以包括：

步骤s231、检测所述聚焦位置的保持时长；

步骤s232、如果所述保持时长大于预设值，则将所述聚焦位置对应的显示内容调整至所述屏幕的中心，并将所述光标定位至所述屏幕的中心。

在一个示例中，视线在屏幕的某一聚焦位置的保持时长大于预设值时，可以滚动或滑动当前页面的显示内容，以使该聚焦位置对应的显示内容被调整至屏幕的中心，同时将光标定位至屏幕的中心，以便于用户浏览。

例如：在需要以某一元素为中心进行截图操作时，可以将视线的聚焦位置保持在该元素上一段时长，以将该元素移动至屏幕的中心。

本实施例中，鼠标操作指令可以包括单击左键指令、单击右键指令、双击左键指令、长按左键指令和松开左键指令中的至少一种。在识别到鼠标操作指令后，可以在光标所在的位置响应该鼠标操作指令。

在一种实施方式中，在步骤s300中，识别鼠标操作指令，包括以下方式的至少一种：

方式一、接收并识别语音信号，以获得所述鼠标操作指令。

例如：在接收到“单击左键”的语音信号时，可以对该语音信号进行语义识别，以得到类似于鼠标外设设备中的单击左键指令；在接收到“双击”的语音信号时，可以对该语音信号进行语义识别，以得到类似于鼠标外设设备中的双击左键指令；在接收到“长按”的语音信号时，可以对该语音信号进行语义识别，以得到类似于鼠标外设设备中的长按左键指令。

方式二、接收并识别手势图像，以获得所述鼠标操作指令。

例如：对接收到的手势图像进行图像识别，在识别到手势为手掌张开时，可以得到类似于鼠标外设设备中的单击左键指令；在识别到手势为伸出食指时，可以得到类似于鼠标外设设备中的单击右键指令；在识别到手势为握拳时，可以得到类似于鼠标外设设备中的双击左键指令；在识别到手势为伸出食指和中指时，可以得到类似于鼠标外设设备中的长按左键指令；在识别到手势为伸出大拇指时，可以得到类似于鼠标外设设备中的松开左键指令。

方式三、接收并识别头部动作图像，以获得所述鼠标操作指令。

例如：对接收到的头部动作图像进行图像识别，在识别到头部动作为头部倒向左侧时，可以得到类似于鼠标外设设备中的单击左键指令；在识别到头部动作为头部倒向右侧时，可以得到类似于鼠标外设设备中的单击右键指令；在识别到头部动作为低头时，可以得到类似于鼠标外设设备中的双击左键指令；在识别到头部动作为仰头时，可以得到类似于鼠标外设设备中的长按左键指令；在识别到头部动作为基准状态时，可以得到类似于鼠标外设设备中的松开左键指令。

其中，基准状态可以是用户在使用屏幕过程中头部的基准状态，可以视为没有对鼠标外设设备的按键进行操作的状态。

在一个应用场景中，用户需要点击文件名n，以打开与文件名n相对的文件a。用户可以将视线聚焦至文件名n的显示位置，在光标定位至文件名n的显示位置后，实施与双击左键指令相对应的语音或手势或头部动作。

在一个应用场景中，用户需要拖拽文件b。用户可以将视线聚焦至文件b，在光标定位至文件b后，实施与单击左键指令相对应的语音或手势或头部动作；进一步实施与长按左键指令相对应的语音或手势或头部动作；在文件b到达目标位置后，可以实施与松开左键指令相对应的语音或手势或头部动作。

本发明实施例的鼠标操作方法，通过检测视线的聚焦位置以定位光标，可以模拟鼠标外设设备的移动操作；在聚焦位置位于当前页面的边界的情况下，可以将所述光标定位至下一页面，以实现翻页操作，可以代替鼠标外设设备的滚轮功能。基于视线的聚焦位置定位光标，更方便操作，且响应速度更快；进一步地，通过多种方式模拟鼠标操作指令，可以使用户脱离对传统鼠标硬件设备的依赖，提升用户体验。

图5示出根据本发明实施例的鼠标操作装置的结构框图。如图5所示，该装置可以包括：

检测模块100，用于检测视线在屏幕上的聚焦位置；

确定模块200，用于根据所述聚焦位置确定光标在所述屏幕上的位置；

识别模块300，用于识别鼠标操作指令；

执行模块400，用于根据所述光标的位置执行所述鼠标操作指令。

在一种实施方式中，如图6所示，确定模块200可以包括：

像素坐标确定子模块211，用于在所述屏幕上确定所述聚焦位置对应的像素坐标；

第一定位子模块212，用于将所述光标定位至所述像素坐标。

在一种实施方式中，如图6所示，确定模块200可以包括：

选取子模块213，用于如果所述聚焦位置对应多个像素坐标，则从所述多个像素坐标中，选取中心像素坐标；

第二定位子模块214，用于将所述光标定位至所述中心像素坐标。

在一种实施方式中，如图7所示，确定模块200可以包括：

边界检测子模块221，用于检测所述聚焦位置是否位于当前页面的边界；

第三定位子模块222，用于如果所述聚焦位置位于所述当前页面的边界，则将所述光标定位至下一页面。

在一种实施方式中，如图8所示，确定模块200可以包括：

保持时长检测子模块231，用于检测所述聚焦位置的保持时长；

第四定位子模块232，用于如果所述保持时长大于预设值，则将所述聚焦位置对应的显示内容调整至所述屏幕的中心，并将所述光标定位至所述屏幕的中心。

本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

图9示出根据本发明实施例的鼠标操作装置的结构框图。如图9所示，该装置包括：存储器910和处理器920，存储器910内存储有可在处理器920上执行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的鼠标操作方法。所述存储器910和处理器920的数量可以为一个或多个。

该装置还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

存储器910可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(isa，industrystandardarchitecture)总线、外部设备互连(pci，peripheralcomponentinterconnect)总线或扩展工业标准体系结构(eisa，extendedindustrystandardcomponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。