控制方法及电子设备与流程

本发明涉及通信技术领域，更具体的涉及控制方法及电子设备。

背景技术：

目前越来越多的电子设备具有显示屏，电子设备可以通过显示屏显示画面；有的电子设备还可以将画面进行投影，例如投影仪。

在对电子设备显示的画面进行操作(例如暂停)时，需要利用电子设备的鼠标进行相应的操作。若用户距离电子设备的距离较远，还需要用户走到电子设备所在的位置，才能进行相应操作，由于用户走到电子设备所在的位置还需要一定的时间，导致电子设备接收控制命令的时间延长。

技术实现要素：

有鉴于此，本发明提供了一种控制方法及电子设备，以克服现有技术中电子设备接收控制命令的时间延长的问题。

为实现上述目的，本发明提供如下技术方案：

一种控制方法，应用于电子设备，所述电子设备包触摸屏和摄像头，所述控制方法包括：

通过所述摄像头捕获包括对端电子设备显示的屏幕画面的捕获图像；

控制所述触摸屏实时显示所述捕获图像；

检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息；

将所述操作位置信息发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息执行相应的控制指令。

其中，所述检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息包括：

确定所述捕获图像中所述屏幕画面的画面显示边界；

依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射至所述第一图形中相应位置的畸变矫正系数，其中，所述第一图形与第二图形的顶角数量相同，且所述第一图形各顶角与所述第二图形各顶角一一对应相等，所述第二图形为所述对端电子设备显示的屏幕画面对应的图形；

获得对所述触摸屏的触控操作相对于所述画面显示边界的第一触控位置；

依据所述畸变矫正系数确定所述第一触控位置映射至所述第一图形中的第二触控位置；

获得所述第二触控位置与所述第一图形中相应边长的比例信息；

将所述比例信息确定为所述操作位置信息。

其中，所述依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射至所述第一图形中相应位置的畸变矫正系数包括：

确定所述画面显示边界的各第一顶点之间的相对位置；

依据所述各第一顶点的相对位置以及所述第一图形的各第二顶点的相对位置，获得所述畸变矫正系数。

其中，所述将所述操作位置信息发送至所述对端电子设备包括：

依据所述触控操作的参数生成控制指令；

将所述控制指令及所述操作位置信息发送至所述对端电子设备。

其中，所述将所述操作位置信息发送至所述对端电子设备包括：

将所述操作位置信息及所述触控操作的参数发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息及所述触控操作的参数生成控制指令。

一种电子设备，包括：

摄像头，用于捕获包括对端电子设备显示的屏幕画面的捕获图像；

触摸屏，用于显示图像；

所述处理器，用于：

控制所述触摸屏实时显示所述捕获图像；

检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息；

将所述操作位置信息发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息执行相应的控制指令。

其中，所述处理器在检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息时，具体用于：

确定所述捕获图像中所述屏幕画面的画面显示边界；

依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射成所述第一图形中相应位置的畸变矫正系数，其中，所述第一图形与第二图形的顶角数量相同，且所述第一图形各顶角与所述第二图形各顶角一一对应相等，所述第二图形为所述对端电子设备显示的屏幕画面对应的图形；

获得对所述触摸屏的触控操作相对于所述画面显示边界的第一触控位置；

依据所述畸变矫正系数确定所述第一触控位置相对于所述第一图形中的第二触控位置；

获得所述第二触控位置与所述第一图形中相应边长的比例信息；

将所述比例信息确定为所述操作位置信息。

其中，所述处理器在依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射成所述第一图形中相应位置的畸变矫正系数时，具体用于：

确定所述画面显示边界的各第一顶点之间的相对位置；

依据所述各第一顶点的相对位置以及所述第一图形的各第二顶点的相对位置，获得所述畸变矫正系数。

其中，所述处理器在将所述操作位置信息发送至所述对端电子设备时，具体用于：

依据所述触控操作的参数生成控制指令；

将所述控制指令及所述操作位置信息发送至所述对端电子设备。

其中，所述处理器在将所述操作位置信息发送至所述对端电子设备时，具体用于：

将所述操作位置信息及所述触控操作的参数发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息及所述触控操作的参数生成控制指令。

经由上述的技术方案可知，与现有技术相比，本发明实施例提供了一种控制方法，可以将对端电子设备显示的屏幕画面实时显示在本发明实施例提供的电子设备的触摸屏上，若用户需要在对端电子设备显示的屏幕画面中进行操作，只需要在本发明实施例提供的电子设备的触摸屏进行相应的触控操作，电子设备会将触控操作相对于屏幕画面的操作位置信息发送至对端电子设备，对端电子设备依据操作位置信息执行相应的控制指令。从而实现了远距离操控对端电子设备，缩短了对端电子设备接收控制命令的时间的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种控制方法的流程图；

图2为本发明实施例提供的电子设备和对端电子设备的关系示意图；

图3为本发明实施例提供的电子设备的摄像头获得的捕获图像的畸变程度示意图；

图4为本发明实施例提供的控制方法中检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息一种实现方式的方法流程示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种控制方法，该控制方法可以应用于电子设备，例如手机、pad等具有触摸屏和摄像头的终端设备。

该方法的流程图如图1所示，该方法包括：

步骤s101：通过所述摄像头捕获包括对端电子设备显示的屏幕画面的捕获图像。

假设对端电子设备为投影仪，投影仪在投影画布上进行投影。本发明实施例中的电子设备上的摄像头可以捕获包括投影画布的捕获图像。

假设对端电子设备为电视机，本发明实施例中的电子设备上的摄像头可以捕获包括电视机显示屏幕的捕获图像。

步骤s102：控制所述触摸屏实时显示所述捕获图像。

如图2所示，为本发明实施例提供的电子设备和对端电子设备的关系示意图。

假设对端电子设备为投影仪21，投影仪21在投影画布22中投影的屏幕画面如图2所示。本发明实施例提供的电子设备23可以将捕获的捕获图像实时显示在触摸屏中。如图2所示。

从图2中可以看出电子设备23的摄像头231捕获图像可以仅包括投影仪21投影出的屏幕画面。可以理解的是，电子设备23的摄像头在获得捕获图像时，可能还获得了屏幕画面周围的图像，图2中用交叉斜线表示屏幕画面周围的图像。电子设备23在实时显示捕获图像时，还可能显示了屏幕画面周围的图像。

步骤s103：检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息。

若用户需要对屏幕画面进行操作，例如显示下一张图像、显示上一张图像、暂停显示、删除图像等，则可以对电子设备23的触摸屏中显示的屏幕画面中相应位置进行操作。假设用户在触摸屏中的触控位置为如黑色点所示的位置，则需要确定该黑色点所示的位置相对于电子设备23中的屏幕画面的触控位置。

可以理解的是，对端电子设备显示的屏幕画面可能很大，本发明实施例中的电子设备的触摸屏可能很小，因此，步骤s103中的操作位置信息可以为：黑色点所示的位置相对于电子设备23的触摸屏显示的屏幕画面的比例位置，或，黑色点所示的位置在对端电子设备显示的屏幕画面的真实位置。

步骤s104：将所述操作位置信息发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息执行相应的控制指令。

对端电子设备可以依据操作位置信息，获知其显示的屏幕画面中被触发的位置，从而执行相应的操作，例如，对端电子设备显示的屏幕画面中被触发的位置为一链接所在的位置，则对端电子设备显示该链接对应的图像或网页；若对端电子设备显示的屏幕画面中被触发的位置为“下一张ppt按键”所在的位置，则对端电子设备显示下一张ppt。

本发明实施例提供的控制方法，可以将对端电子设备显示的屏幕画面实时显示在本发明实施例提供的电子设备的触摸屏上，若用户需要在对端电子设备显示的屏幕画面中进行操作，只需要在本发明实施例提供的电子设备的触摸屏进行相应的触控操作，电子设备会将触控操作相对于屏幕画面的操作位置信息发送至对端电子设备，对端电子设备依据操作位置信息执行相应的控制指令。从而实现了远距离操控对端电子设备，缩短了对端电子设备接收控制命令的时间的目的。

可以理解的是，由于本发明实施例提供的电子设备的摄像头对对端电子设备显示的屏幕画面的拍摄角度和拍摄距离不同，其获得的捕获图像的畸变程度不同，如图3所示，为本发明实施例提供的电子设备的摄像头获得的捕获图像的畸变程度示意图。

图3中对端电子设备21投影的屏幕画面为长方形，而电子设备23的触摸屏上显示的捕获图像为梯形，因此需要对捕获图像中屏幕画面进行畸变矫正。

畸变矫正方法有多种，本发明实施例提供但不限于图4所示的方法，图4示出了本发明实施例提供的控制方法中检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息一种实现方式的方法流程示意图，该方法包括：

步骤s401：确定所述捕获图像中所述屏幕画面的画面显示边界。

可以利用图像边缘检测方法从捕获图像中确定出屏幕画面的画面显示边界。画面显示边界即为屏幕画面的边缘。

由于屏幕画面的边缘是屏幕画面上灰度变化最明显的地方，可以利用此特点，对屏幕画面各像素点进行求微分或二阶微分来定位边缘像素点，从而获得画面显示边界。

步骤s402：依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射成所述第一图形中相应位置的畸变矫正系数。

其中，所述第一图形与第二图形的顶角数量相同，且所述第一图形各顶角与所述第二图形各顶角一一对应相等，所述第二图形为所述对端电子设备显示的屏幕画面对应的图形。

第一图形与第二图形的顶角数量相同，且所述第一图形各顶角与所述第二图形各顶角一一对应相等，包括：第一图形和第二图形为相似多边图形，或，第一图形各顶角与第二图形各顶角一一对应相等，但是边长不成比例。

相似多边形是指两个边数相同的多边形的对应角相等，对应边成比例。

第一图形各顶角与第二图形各顶角一一对应相等，但是边长不成比例的情况可以为：若第二图形为正方形，则第一图形可以为正方形或长方形。

畸变矫正系数可以用矩阵的形式表示，假设捕获画面中屏幕画面中任一点的坐标a＝(x,y)其映射到第一图形中的点的坐标为b＝(x1,y1)；畸变矫正系数为矩阵h，则b＝ha^t，利用畸变矫正系数就可以对捕获画面中畸变的屏幕画面进行畸变矫正了。

在使用本发明实施例提供的电子设备的摄像头捕获对端电子设备显示的屏幕画面之前，需要在电子设备中选择与对端电子设备显示的屏幕画面对应的第二图形相应的第一图形。在实际应用中，对端电子设备显示的屏幕画面一般均为正方形或长方形，此时可以将本发明实施例提供的电子设备的第一图形默认设置成正方形或长方形。

步骤s402具体可以包括：确定所述画面显示边界的各第一顶点之间的相对位置。

依据所述各第一顶点的相对位置以及所述第一图形的各第二顶点的相对位置，获得所述畸变矫正系数。

可以利用图像变换方法，例如单应性变换获得畸变矫正系数，单应性变换会涉及单应性变换矩阵即畸变矫正系数；单应性变换的目标是通过给定的几个点(例如第一图形的各顶点和第二图像的各顶点)来得到单应性变换矩阵。因此可以通过各第一顶点的相对位置以及所述第一图形的各第二顶点的相对位置，获得单应性变换矩阵即畸变矫正系数。

步骤s403：获得对所述触摸屏的触控操作相对于所述画面显示边界的第一触控位置。

步骤s404：依据所述畸变矫正系数确定所述第一触控位置映射至所述第一图形中的第二触控位置。

假设第一触控位置的坐标为a＝(x,y)，已知畸变矫正系数为h，则第二触控位置为b＝ha^t。

步骤s405：获得所述第二触控位置与所述第一图形中相应边长的比例信息。

若第一图形和第二图形的大小不同，所以获得第二触控位置与第一图形中相应边长的比例信息。假设第二触控位置的坐标为(x1,y1)，第一图形的长为a，宽为b，则比例信息为(x1/a，y1/b)。

若第一图形和第二图形为全等多边形，则操作位置信息即为第二触控位置。

步骤s406：将所述比例信息确定为所述操作位置信息。

本发明实施例中“将所述操作位置信息发送至所述对端电子设备”的实现方法有多种，本发明实施例提供但不限于以下几种。

第一种，将所述操作位置信息发送至所述对端电子设备包括：

依据所述触控操作的参数生成控制指令；

将所述控制指令及所述操作位置信息发送至所述对端电子设备。

触控操作的参数可以包括触控轨迹、触控时间、触按次数中的一个或多个。

触控轨迹，或，触控次数，或，触控时间可以对应保存控制指令，编辑控制指令，下一张图像控制指令、删除控制指令中的任一个。

例如，当触控时间大于等于预设值时，生成删除控制指令；对端电子设备接收到该删除控制指令以及操作位置信息后，首先依据操作位置信息确定出对端电子设备显示的屏幕画面中哪一位置相当于被用户触控了，假设操作位置信息为比例信息，假设比例信息为(1/2，1/2)，屏幕画面的长为1米，宽为1米，则对端电子设备显示的屏幕画面中(0.5m,0.5m)的位置处相当于被用户触控了。若该(0.5m,0.5m)的位置处为一图像，则可以依据该删除指令删除该图像。

第二种，将所述操作位置信息发送至所述对端电子设备包括：

将所述操作位置信息及所述触控操作的参数发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息及所述触控操作的参数生成控制指令。

触控操作的参数可以包括触控轨迹、触控时间、触按次数中的一个或多个。

对于不同的电子设备而言，同一触控操作的参数对应的控制指令可能不同，所以优选的是将操作位置信息及所述触控操作的参数发送至所述对端电子设备，由对端电子设备依据所述操作位置信息及所述触控操作的参数生成控制指令。

本发明实施例提供的控制方法中，由于是通过电子设备中的摄像头获得的捕获图像，因此对网络的依赖比较差，当无线网络或有线网络的网络状况较差时，也不会导致电子设备捕获图像出现时间延迟的现象。

本发明实施例提供的电子设备与对端电子设备之间控制指令和操作位置信息可以是通过有线网络、无线网络、蓝牙等多种不同的通信方式传输的，本发明实施例对此不作具体限制。

本发明实施例还提供了一种电子设备，该电子设备的结构示意图如图5所示，该电子设备包括：

摄像头51，用于捕获包括对端电子设备显示的屏幕画面的捕获图像；

触摸屏52，用于显示图像；

所述处理器53，用于：

控制所述触摸屏实时显示所述捕获图像；

检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息；

将所述操作位置信息发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息执行相应的控制指令。

处理器53可能是一个中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

电子设备还可以包括通信总线54，其中处理器53、摄像头51和触摸屏52通过通信总线54完成相互间的通信。

可选的，处理器在检测到对所述触摸屏的触控操作时，确定所述触控操作相对于所述屏幕画面的操作位置信息时，具体用于：

确定所述捕获图像中所述屏幕画面的画面显示边界；

依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射成所述第一图形中相应位置的畸变矫正系数，其中，所述第一图形与第二图形的顶角数量相同，且所述第一图形各顶角与所述第二图形各顶角一一对应相等，所述第二图形为所述对端电子设备显示的屏幕画面对应的图形；

获得对所述触摸屏的触控操作相对于所述画面显示边界的第一触控位置；

依据所述畸变矫正系数确定所述第一触控位置相对于所述第一图形中的第二触控位置；

获得所述第二触控位置与所述第一图形中相应边长的比例信息；

将所述比例信息确定为所述操作位置信息。

可选的，处理器在依据预先存储的第一图形对所述画面显示边界进行畸变矫正，获得所述捕获图像中屏幕画面的各位置映射成所述第一图形中相应位置的畸变矫正系数时，具体用于：

确定所述画面显示边界的各第一顶点之间的相对位置；

依据所述各第一顶点的相对位置以及所述第一图形的各第二顶点的相对位置，获得所述畸变矫正系数。

可选的，处理器在将所述操作位置信息发送至所述对端电子设备时，具体用于：

依据所述触控操作的参数生成控制指令；

将所述控制指令及所述操作位置信息发送至所述对端电子设备。

可选的，处理器在将所述操作位置信息发送至所述对端电子设备时，具体用于：

将所述操作位置信息及所述触控操作的参数发送至所述对端电子设备，以使所述对端电子设备依据所述操作位置信息及所述触控操作的参数生成控制指令。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。