终端操控方法及装置与流程

本发明实施例涉及终端操控技术，尤其涉及一种终端操控方法及装置。

背景技术：

随着智能手机的普及，越来越多的人在上下班途中利用手机观看视频，但是受限于手机屏幕的大小，人们难以获得最佳的体验，因而，人们需要将手机屏幕上的视频投射到大屏设备上进行观看，以获得更好的观影效果。

目前，将手机屏幕投射到大屏设备上主要依靠无线传输和有线传输。其中，无线传输有DLNA、Miracast、AirPlay；有线传输通常采用MHL协议。发明人在实现本发明的过程中发现，DLNA仅支持部分视频格式，而且客户端和服务器端都需安装dlna软件，有一定局限性；Miracast存在延时；AirPlay局限于苹果设备；采用MHL协议的有线传输受限于连接线长度和性能，使得用户操作不方便。

技术实现要素：

本发明实施例提供一种终端操控方法及装置，以增强用户进行终端操控时的自由性和便捷性。

第一方面，本发明实施例提供了一种终端操控方法，包括：

利用环境监测传感器获取环境参数变化量；

当所述环境参数变化量满足预设的操控模式切换阈值时，利用摄像头采集用户手势，并进行所述用户手势的识别；

根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控。

进一步地，所述环境监测传感器包括光线传感器；所述环境参数包括光强度参数和光亮度参数。

进一步地，所述用户手势包括单手不动并持续预设时间、单手向右挥动、单手向左挥动、单手向上挥动、单手向下挥动、双手张开手势以及双手合并手势中的一种或多种。

进一步地，根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控包括：

当所述用户手势能被正确识别时，将所述终端的操控模式切换至体感模式；

根据所述用户手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

进一步地，根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控包括：

当所述用户手势不能被正确识别时，将所述终端的操控模式切换至遥控模式；

在建立与遥控终端的通信连接后，接收并识别所述遥控终端用户界面上的触摸手势；

根据所述触摸手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

进一步地，所述终端操作包括视频播放操作；所述视频播放操作包括启停操作、快进操作、快退操作、播放上一视频操作、播放下一视频操作以及画面缩放操作中的一种或多种。

进一步地，所述触摸手势包括单指双击手势、单指向右滑动、单指向左滑动、单指向上滑动、单指向下滑动、双指张开手势以及双指合并手指中的一种或多种。

第二方面，本发明实施例还提供了一种终端操控装置，该终端操控装置包括：

获取模块，用于利用环境监测传感器获取环境参数变化量；

识别模块，用于当所述环境参数变化量满足预设的操控模式切换阈值时，利用摄像头采集用户手势，并进行所述用户手势的识别；

操控模块，用于根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控。

进一步地，所述环境监测传感器包括光线传感器；所述环境参数包括光强度参数和光亮度参数。

进一步地，所述用户手势包括单手不动并持续预设时间、单手向右挥动、单手向左挥动、单手向上挥动、单手向下挥动、双手张开手势以及双手合并手势中的一种或多种。

进一步地，所述操控模块包括：

第一切换单元，用于当所述用户手势能被正确识别时，将所述终端的操控模式切换至体感模式；

第一执行单元，用于根据所述用户手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

进一步地，所述操控模块包括：

第二切换单元，用于当所述用户手势不能被正确识别时，将所述终端的操控模式切换至遥控模式；

接收识别单元，用于在建立与遥控终端的通信连接后，接收并识别所述遥控终端用户界面上的触摸手势；

第二执行单元，用于根据所述触摸手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

进一步地，所述终端操作包括视频播放操作；所述视频播放操作包括启停操作、快进操作、快退操作、播放上一视频操作、播放下一视频操作以及画面缩放操作中的一种或多种。

进一步地，所述触摸手势包括单指双击手势、单指向右滑动、单指向左滑动、单指向上滑动、单指向下滑动、双指张开手势以及双指合并手指中的一种或多种。

本发明实施例通过利用环境监测传感器获取环境参数变化量，当所述环境参数变化量满足操控模式切换阈值时，利用摄像头采集并识别用户手势，根据所述用户手势的识别结果，切换终端的操控模式，以实现终端操控，解决了目前终端操作存在局限性、延时且用户操作不便的问题，增强了用户进行终端操控时的自由性和便捷性。

附图说明

图1是本发明实施例一中的一种终端操控方法的流程图；

图2是本发明实施例二中的一种终端操控方法的流程图；

图3是本发明实施例三中的一种终端操控装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中的一种终端操控方法的流程图，本实施例可适用于需要对手机或iPad等智能终端进行操控的情况，该方法可以由终端操控装置来执行，其中该装置可以由软件和/或硬件实现。参考图1，本实施例提供的终端操控方法具体可以包括如下步骤：

S110、利用环境监测传感器获取环境参数变化量。

具体的，所述环境监测传感器可包括光线传感器；所述环境监测传感器还可以包括信号监测传感器，利用所述信号监测传感器获取终端所处环境的网络信号状态参数的变化量。所述环境参数可以包括光强度参数和光亮度参数；所述环境参数还可以包括终端所处环境的网络信号状态参数，如果网络信号状态较弱，则不适宜采用依赖于网络传输的操控方式，则可切换为体感操控，如果网络信号状态较强，则可适宜采用依赖于网络传输的操控方式。可选的，利用所述终端的光线传感器获取终端所处环境中的光强度参数以及光亮度参数的变化量。

S120、当所述环境参数变化量满足预设的操控模式切换阈值时，利用摄像头采集用户手势，并进行所述用户手势的识别。

具体的，用户可以预设操控模式切换阈值，当所述环境参数变化量满足该操控模式切换阈值时，利用手机或iPad等智能终端的摄像头采集用户手势，可选的，使用OpenCV的基于Haar特征检测进行用户手势的采集，然后，对所采集到的用户手势进行识别。其中，所述用户手势可以包括单手不动并持续预设时间、单手向右挥动、单手向左挥动、单手向上挥动、单手向下挥动、双手张开手势以及双手合并手势中的一种或多种。例如，单手不动并持续预设时间，用户可设定该预设时间为3秒，即单手不动并持续3秒。

S130、根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控。

可选的，根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控包括：

当所述用户手势能被正确识别时，将所述终端的操控模式切换至体感模式；

具体的，当终端摄像头所采集到的用户手势能够被正确识别时，触发终端的操控模式切换，将所述终端的操控模式切换至体感模式。

根据所述用户手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

具体的，用户可预先设置所述用户手势与终端操作之间的对应关系，然后根据所述用户手势与终端操作之间的对应关系，执行相应的终端操作，以实现终端操控。可选的，所述终端操作包括视频播放操作；所述视频播放操作可以包括启停操作、快进操作、快退操作、播放上一视频操作、播放下一视频操作以及画面缩放操作中的一种或多种。所述终端操作还可以包括音频播放操作、启停应用软件或开启应用软件中的特定功能等等。例如，用户可以预先设置单手不动并持续3秒手势对应视频播放启停操作；单手向右挥动手势对应视频播放快进操作；单手向上挥动手势对应播放上一视频操作；以及双手张开手势对应视频画面放大操作等等。

本实施例的技术方案通过利用终端的环境监测传感器获取环境参数变化量，当所述环境参数变化量满足操控模式切换阈值时，利用所述终端的摄像头采集并识别用户手势，根据所述用户手势的识别结果，切换终端的操控模式，以实现终端操控，解决了目前终端操作存在局限性、延时且用户操作不便的问题，增强了用户进行终端操控时的自由性和便捷性。

实施例二

图2是本发明实施例二提供的一种终端操控方法的流程图，本实施例在上述实施例一的基础上增加了采用遥控方式对手机或iPad等智能终端进行操控的可选技术方案。参考图2，本实施例提供的终端操控方法具体可以包括如下步骤：

S210、利用所述终端的环境监测传感器获取环境参数变化量。

S220、当所述环境参数变化量满足预设的操控模式切换阈值时，利用所述终端的摄像头采集用户手势，并进行所述用户手势的识别。

S230、当所述用户手势不能被正确识别时，将所述终端的操控模式切换至遥控模式。

具体的，当终端摄像头所采集到的用户手势不能被正确识别时，触发终端的操控模式切换，将所述终端的操控模式切换至遥控模式。

S240、在建立与遥控终端的通信连接后，接收并识别所述遥控终端用户界面上的触摸手势。

具体的，可在同一个局域网内通过Socket通信建立与遥控终端的通信连接，在所述通信连接被成功建立后，接收所述遥控终端用户界面上的触摸手势并进行识别。其中，所述触摸手势可以包括单指双击手势、单指向右滑动、单指向左滑动、单指向上滑动、单指向下滑动、双指张开手势以及双指合并手指中的一种或多种。所述触摸手势还可以包括单指画圆圈手势等等。

S250、根据所述触摸手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

具体的，用户可预先设置所述触摸手势与终端操作之间的对应关系，然后根据所述触摸手势与终端操作之间的对应关系，执行相应的终端操作，以实现终端操控。可选的，所述终端操作包括视频播放操作；所述视频播放操作可以包括启停操作、快进操作、快退操作、播放上一视频操作、播放下一视频操作以及画面缩放操作中的一种或多种。所述终端操作还可以包括音频播放操作、启停应用软件或开启应用软件中的特定功能等等。例如，用户可以预先设置单指双击手势对应视频播放启停操作；单指向右滑动对应视频播放快进操作；单指向上滑动对应播放上一视频操作；以及双指张开手势对应视频画面放大操作等等。

本实施例的技术方案通过利用终端的环境监测传感器获取环境参数变化量，当所述环境参数变化量满足操控模式切换阈值时，利用所述终端的摄像头采集并识别用户手势，当所述用户手势不能被正确识别时，将终端的操控模式切换至遥控模式，在建立与遥控终端的通信连接后，接收并识别所述遥控终端用户界面上的触摸手势，根据所述触摸手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控，解决了目前终端操作存在局限性、延时且用户操作不便的问题，实现了对智能终端的远距离操控，并增强了用户进行终端操控时的自由性和便捷性。

实施例三

图3是本发明实施例三中的一种终端操控装置的结构图，本实施例可适用于需要对手机、iPad等智能终端进行操控的情况。参考图3，本实施例提供的终端操控装置的结构具体可以如下：

获取模块310，用于利用环境监测传感器获取环境参数变化量；

识别模块320，用于当所述环境参数变化量满足预设的操控模式切换阈值时，利用摄像头采集用户手势，并进行所述用户手势的识别；

操控模块330，用于根据所述用户手势的识别结果，切换所述终端的操控模式，以实现终端操控。

可选的，所述环境监测传感器包括光线传感器；所述环境参数包括光强度参数和光亮度参数。

可选的，所述用户手势包括单手不动并持续预设时间、单手向右挥动、单手向左挥动、单手向上挥动、单手向下挥动、双手张开手势以及双手合并手势中的一种或多种。

可选的，所述操控模块包括：

第一切换单元，用于当所述用户手势能被正确识别时，将所述终端的操控模式切换至体感模式；

第一执行单元，用于根据所述用户手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

可选的，所述操控模块包括：

第二切换单元，用于当所述用户手势不能被正确识别时，将所述终端的操控模式切换至遥控模式；

接收识别单元，用于在建立与遥控终端的通信连接后，接收并识别所述遥控终端用户界面上的触摸手势；

第二执行单元，用于根据所述触摸手势与终端操作的预设对应关系，执行相应的终端操作，以实现终端操控。

可选的，所述终端操作包括视频播放操作；所述视频播放操作包括启停操作、快进操作、快退操作、播放上一视频操作、播放下一视频操作以及画面缩放操作中的一种或多种。

可选的，所述触摸手势包括单指双击手势、单指向右滑动、单指向左滑动、单指向上滑动、单指向下滑动、双指张开手势以及双指合并手指中的一种或多种。

本实施例提供的终端操控装置，与本发明任意实施例所提供的终端操控方法属于同一发明构思，可执行本发明任意实施例所提供的终端操控方法，具备执行终端操控方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的终端操控方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。