混合操控方法及操控系统和电子设备与流程

本发明涉及电子技术领域，特别是涉及一种基于指向型的操控方法、混合操控方法及其操控系统和电子设备。

背景技术：

随着移动互联网的普及以及人们对手机等智能设备的功能要求越来越高，同时兼备通讯、上网以及视频播放等功能是目前电子设备最为基本的配置。目前像手机等设备的尺寸几乎进入了大屏时代，单手操作已经遥不可及，尽管如此，兼顾较大屏幕以及单手操作依然是目前用户对手机的诉求。

以手机为例，在手机背后增加功能键是一种解决单手操作的方案，但是无疑会影响手机背面的美观，因而这种方案一直没有被用户接受。另一种方案是在手机背面增加额外的触摸屏，这种方案通过在背面利用手指的操控实现对手机屏幕无法单手操作区域的控制。但是这种方案成本较高，因而无法成为主流的单手操作方案。

同时，目前利用深度图像进行触控操作，操控物体与显示屏之间并不能实现对区域外的显示屏进行触控，操控物体在显示屏上的位置直接映射对应于所获取的深度图像上像素的坐标，即操控物体在显示屏上的位置就是该操控物体在深度图像中的像素坐标映射而来，这种直接通过像素坐标映射而得到显示屏上位置的方法不能对操控物体触控不到的区域进行触控操作，所以只能简单的实现一些例如翻页的功能，不能很好的解决大屏的单手操控问题，也不能对显示屏上的对象进行精准触控。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

本发明目的在于提出一种基于指向型的操控、混合操控方法及操控系统和电子设备，以解决上述现有技术存在的不能很好的实现单手操控、精准触控的技术问题。

为此，本发明提出一种指向型操控方法，包括以下步骤：s1：获取显示屏与操控物体的深度图像；s2：通过所述深度图像获取操控物体所指向的显示屏上的位置，得到显示屏上的指向点；s3：根据所述指向点的指示，结合预定的操控动作，识别并生成触控指令；s4：根据所述触控指令在所述指向点的位置处执行触控操作。

优选地，本发明的操控方法还可以具有如下技术特征：

步骤s2中所述指向点的获取包括：在深度图像上提取可描绘所述操控物体的特征点，根据该特征点构造描绘该操控物体的指向直线，得到显示屏上的指向点。

所述指向点为指向直线与所述显示屏相交的交点，包括如下步骤：s21：获取所述特征点的深度信息；s22：根据所述特征点的深度信息转化得到所述特征点在所述显示屏所在坐标系的空间位置信息，根据所述特征点的空间位置信息得到用于描绘所述操控物体的指向直线；s23：根据所述指向直线获取该指向直线与所述显示屏交点，得到显示屏上的指向点，并将指向点显示在显示屏上。

当所述操控物体与所述显示屏接触时，所述指向点即为所述操控物体的特征点。

步骤s1中获取的深度图像包括：s11：获取包含显示屏且不含操控物体的第一深度图像；s12：获取含有显示屏和操控物体的第二深度图像；s13：通过所述第二深度图像和所述第一深度图像获得所述操控物体的第三深度图像，根据所述第三深度图像获取指向点。

同时，本发明还提出了一种混合操控方法，显示屏为自身具备触控功能的触摸屏，所述触摸屏包括触控区和指向区，所述操控物体在所述触控区内依照所述触摸屏自身的触控功能完成触控，在所述指向区根据上述操控方法由指向点指向完成触控操作。

另外，本发明还提出了一种操控系统，用于执行上述的触控方法，包括图像获取单元、处理器和显示屏；

所述图像获取单元用于获取显示屏以及操控物体的深度图像和操控物体的深度信息；

所述处理器包括识别模块、转化模块和执行模块，所述识别模块用于根据所述深度图像获取操控物体所指向的显示屏上的位置，以及识别出操控物体的预定的操控动作；所述转化模块用于根据预定义的操控动作转化生成对应的触控指令；所述执行模块用于在所述指向点的位置处执行触控指令完成触控操作；

所述显示屏用于指向点和信息的显示。

优选地，本发明的混合操控方法还可以具有如下技术特征：

所述显示屏为自身具备触控功能的触摸屏，所述操控物体在所述触控区内依照所述触摸屏自身的触控功能完成触控，在所述指向区由指向点指向完成触控操作。

所述操控系统的图像获取单元为基于结构光或tof（飞行时间）原理的深度相机。

再次，本发明还提出了一种电子设备，包括设置在其总线上的操控系统，通过所述操控系统完成操控操作。

本发明与现有技术对比的有益效果包括：本发明是利用深度图像来实现触控操作并且是一种基于指向型的操控方法，该操控方法通过深度图像获取操控物体所指向的显示屏上的位置，得到显示屏上的指示点，用户可通过该指示点的指示，结合预定的操控动作，在指向点的位置处执行触控操作，这样当用户在对大屏的电子设备进行触控时，若要对难以触摸到的对象进行触控时，只需简单调整手指在显示屏上的位置和状态，比如倾斜度、距离显示屏的高度等，将手指指向该对象，就能在显示屏上获得一个指向点，根据该指向点的指示，用户可以精确的知道手指指向的情况，准确地执行相应的触控操作，相比于现有技术而言，本发明不仅可以对不具备触摸功能的显示屏实现翻页、回退等一些简单的手势操作，还能很好的实现单手触控，对单手触摸不到的对象可通过指向型的方式进行相应触控操作，并能实现精确触控。

优选方案中，对获取的深度图像根据第一深度图像和第二深度图像进行获取操控物体的第三深度图像，然后根据第三深度图像来获取指向点，这样由于所获得第三深度图像仅仅包括操控物体的深度图像，所以在对指向点进行获取时，可以降低处理过程的计算量，提高运算速度，提高系统的响应速度。

本发明提供的一种混合操控方法，在基于上述的深度图像和指向型的操控方法的基础上，对于显示屏本身具备触控功能而言，实行一种既利用其本身的触控功能又利用指向型的操控方法进行混合操控的模式，这种混合操控方法可以弥补由于操控物体移动的随机性大造成的精度低的问题，为用户提供一种更好的体验方案。

附图说明

图1是本发明具体实施方式一的操控系统的结构示意图。

图2是本发明具体实施方式一的处理器的结构示意图。

图3是本发明具体实施方式三的电子设备的结构示意图。

图4是本发明具体实施方式三和四的单手操控手机时的正面示意图。

图5是本发明具体实施方式三和四的单手操控手机时的侧面示意图。

图6是本发明具体实施方式二和五的混合操控的示意图。

图7是本发明具体实施方式四的操控流程图一。

图8是本发明具体实施方式四的操控流程图二。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

实施例一：

本实施例提出了一种操控系统，如图1所示，包括图像获取单元1、处理器2和显示屏3；

所述图像获取单元1用于获取显示屏3以及操控物体的深度图像和操控物体的深度信息；

如图2所示，所述处理器2包括识别模块21、转化模块22和执行模块23，所述识别模块21用于根据所述深度图像获取操控物体所指向的显示屏3上的位置，以及识别出操控物体的预定的操控动作；所述转化模块22用于根据预定义的操控动作转化生成对应的触控指令；所述执行模块23用于在所述指向点的位置处执行触控指令完成触控操作；

所述显示屏3用于指向点和信息的显示。

本系统可以通过图像获取单元获取显示屏的深度图像，同时也可获取与显示屏不接触的操控物体的深度图像，根据该深度图像可以识别出操控物体所指向的显示屏的位置以及动作，从而转化成显示屏上相应的位置以及指令，如此便可以实现对设备的操控，本实施例中，显示屏是没有触摸动能的显示屏，比如电子书阅读器的显示屏。考虑到在显示屏上进行触摸操控会影响显示效果，比如在电子书上不断地用手指翻页时手部势必会遮挡部分屏幕，从而影响阅读体验。而利用操控对象的指向性操控则会减轻这一问题，提升用户的使用体验。

这里的图像获取单元为基于结构光或者tof原理的深度相机，一般包含有接收单元以及发射单元组成。

实施例二：

本实施例提出了一种混合操控系统，相较于实施例一，区别在于本实施例的显示屏为具备触摸功能的触摸屏，如图6所示，所述触摸屏包括触控区①和指向区②，所述操控物体14在所述触控区①内依照所述触摸屏自身的触控功能完成触控，在所述指向区②由指向点17指向完成触控操作。

具体为：单手能够到达的触摸区域以及单手不能够到达的指向操控区域，在触摸区域依然采用触摸操控以保证有更好的精度，而在指向操控区域则采用依据手指的指向以及动作来执行的操控，本实施例特别适用于目前由于大屏幕导致单手无法完全操控的手机等具备触摸功能的设备。

实施例三：

本实施例提出了一种电子设备，电子设备可以是手机、平板，包括用于数据传输的总线4，如图3所示，所述总线4分为数据总线、地址总线和控制总线，分别用来传输数据、数据地址和控制信号。与所述总线4相连的有cpu5、显示器6、imu7（惯性测量装置）、存储器8、摄像头10、声音装置11、网络接口12以及鼠标/键盘13，对于一些具备触摸功能的电子设备而言，其鼠标键盘被显示器6所取代，imu设备用于定位、跟踪等功能实现。存储器8用于存储操作系统、应用程序9等，也可以用于存储运行过程中的临时数据。

本电子设备的上设置的操控系统中的图像获取单元对应于摄像头，处理器对应于cpu，也可以是单独的处理器，显示屏对应于显示器。

如图4所示，摄像头10一般被固定在电子设备上。在本实施例中，与已有设备的摄像头相比，摄像方向有较大的区别。已有的摄像头一般为前置或后置，这样的配置无法获取设备本身的图像。在本实施例中摄像头10的配置可以有多种情况，一种是借助于旋转轴，即通过旋转将摄像头旋转90度后达到对自己拍摄的目的；还有一种是摄像头外置的形式，将摄像头作为一个整体通过一定的固定措施并以usb等接口与设备连接。本领域的技术人员可以根据实际情况对摄像头设置在电子设备上的形式自行选择，不做限制。

此时，与现有的摄像头而言，本实施例的摄像头为深度相机，用于获取目标区域的深度图像。

深度相机可以是基于结构光原理或者tof原理的深度相机，一般包含有接收单元以及发射单元组成。

图4所示是单手操控手机时的正面示意图。在手机顶部配置有摄像头10，摄像头采集方向沿着手机自顶向下，这样就可以获取手机显示屏以及手指的图像，图5所示是单手操控手机时的侧面示意图。

电子设备的显示器6可以是具备触摸功能的也可以是不具备触摸功能的，当不具备触摸功能时，可以仅通过指向型操控方法进行操控，当具备触摸功能，可以在操控物体能触摸到的显示屏区域进行操控，对触摸不到的区域执行指向型操控。

实施例四：

一种指向型操控方法，结合图4-5所示，应用于不具有触摸功能的情况下显示屏的操控，如图7所示，包括以下步骤：

s1：获取显示屏3与操控物体14的深度图像；

s2：通过所述深度图像获取操控物体14所指向的显示屏3上的位置，得到显示屏上的指向点17；

s3：根据所述指向点17的指示，结合预定的操控动作，识别并生成触控指令；

s4：根据所述触控指令在所述指向点17的位置处执行触控操作。比如对某个图标进行点击操作。

在步骤s2中所述指向点17的获取包括：在深度图像上提取可描绘所述操控物体的特征点15，根据该特征点15构造描绘该操控物体的指向直线16，得到显示屏上的指向点17。

具体而言，如图5所示，所述指向点17为指向直线16与所述显示屏3相交的交点，如图8所示，包括如下步骤：

s21：根据所述深度图像提取可描绘所述操控物体14的特征点15，获取所述特征点15的深度信息；

s22：根据所述特征点15的深度信息转化得到所述特征点15在所述显示屏3所在坐标系的空间位置信息，根据所述特征点15的空间位置信息得到用于描绘所述操控物体的指向直线16；

s23：根据所述指向直线16获取该指向直线16与所述显示屏3交点，得到显示屏3上的指向点17，并将指向点17显示在显示屏3上。

在上述步骤中，当所述操控物体14与所述显示屏3接触时，所述指向点17即为所述操控物体14的特征点，此时可以认定为触控操作。当然，也可以将与屏幕接触认定为无效操作，以便准确计算操控物体14在显示屏3的位置。

获取特征点15时可以运用骨架建模或者其他模型对操控物体14进行建模，以完成指向直线的构建，对于手指而言，一般将手指的关节点和手指顶点作为特征点15即可。

已有触摸技术中，定位与触摸是同时完成的，在这种指向型的可非接触（触摸是可抬起手指以指向所要触控的对象）操作中可以将定位与操控同时完成，即当手指指向的位置确定后立即执行类似于选择、点击的默认触控指令，此时则无须再进一步识别出手指的形状与动作。另外，也可以分步完成，即先计算出位置，然后手指做出相应的动作，比如手指形状的改变，或者向指向的方向做点击的动作等，通过这这些动作的识别后执行各自动作对应的操作指令。对手指的形状以及动作识别为已有技术，在这里不予详细说明。

当然也不排除一些无需定位的操作，比如翻页、回退等操作。对于这类操作，可以仅识别手指的形状或动作就可以了。

本实施例中，将手指沿着其指向向前推进或后退则认为完成一次点击动作，也可以由其他形状和方式。手指的形状与动作所对应的触控指令需要预先设定。当识别到某个手指形状和动作时，处理器则将其转化成对应的触控指令。

获取的深度图像中除了包含手机显示屏3、手指以外还包含其他无关部分，此时则可以通过对深度相机的测量范围进行限制，即设定一定的阈值，对超过阈值的深度信息予以去除，通过这种方式获取的深度图像将仅含有手机显示屏以及手指的信息，可减小识别的计算量。为了进一步提高系统运行速度，降低运算量，在获取深度图像时利用图像分割法来获取，其中一种方法是，包括如下步骤：

s11：获取包含显示屏3且不含操控物体14的第一深度图像；

s12：获取含有显示屏3和操控物体14的第二深度图像；

s13：通过所述第二深度图像和所述第一深度图像获得所述操控物体14的第三深度图像，根据所述第三深度图像获取指向点17。

如果操控物体14是手指，上述步骤通过背景分割法获取的手指前端部位的深度图像，可以降低建模时的计算量，提高计算速度。

实施例五：

考虑到手指移动的随机性，其精度难以达到触摸的程度。因而对于一些具备触摸功能手机类设备的单手操控，在单手可以到达的区域依然选择触摸操作，而在单手无法到达的区域实施非接触操控是一种有更好体验的方案。所以本实施例提出了一种混合操控方法，其显示屏3为自身具备触控功能的触摸屏，如图6所示，所述触摸屏包括触控区①和指向区②，所述操控物体14在所述触控区①内依照所述触摸屏自身的触控功能完成触控，在实施例四的基础上，在所述指向区②按照该指向型的操控方法进行触控，由指向点17的指向完成触控操作。

由于不同用户的手部大小、左右手习惯等都不相同，因而对于触控区①与指向区②的区分可以由系统自动识别。即：当手指与触摸显示屏3接触时，则处理器处理由触摸屏反馈的信号并执行相应的触控指令，而当手指与触摸显示屏3不接触时，深度相机识别出该不接触动作后，反馈给处理器，处理器则对深度相机获取的深度图像进行处理，识别出手指指向的位置以及手指的动作后执行相应的操作指令从而实现非接触操控。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。