空间手势遥控方法及电子设备与流程

本发明涉及手势识别技术领域，特别是涉及一种空间手势遥控方法及电子设备。

背景技术：

深度相机能够获取物体的深度图像，因而，对深度图像中的目标区域，可以直接获取其空间位置信息，进一步根据深度图像可以实现3D物体重建、手势识别手势操控等功能。

传统电视机利用遥控器通过红外技术对电视机进行遥控，该遥控器为一实体的装置，其上设置有多个按键来对电视机进行不同的控制，随着电视遥控器的操控按键越来越简化，电视遥控器仅保留下一些基本操控的按键，例如开关机，确定、退出，频道加减和音量加减等。

现有的遥控器需要安装电池，当遥控器电池电量用尽时，必须要更换电池才能实现遥控，如果遥控器丢失，则无法对电视机进行遥控，若遥控器所在位置距离较远时，还必须将遥控器取来才能使用，因而，人们使用遥控器对电视机的遥控仍然存在不便。

技术实现要素：

本发明提供一种空间手势遥控方法及电子设备，能够解决现有技术存在的使用遥控器对电视机进行遥控存在不便的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种空间手势遥控方法，该方法包括以下步骤：建立三维操控空间，其中，所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面，所述虚拟边界面被划分为多个指令区域；采集用户的连续帧深度图像；根据所述深度图像识别用户的手掌区域；根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动；根据所述特定特征穿越所述指令区域时的穿越信息来触发指令；执行所述指令。

其中，所述建立三维操控空间的步骤之后，还包括：获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息；所述跟踪所述手掌区域的特定特征的运动的步骤包括：从所述手掌区域中识别所述特定特征；获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。

其中，所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤中，所述穿越信息包括所述特定特征所穿越的指令区域；所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤为：根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域，从而触发指令。

其中，所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤中，所述穿越信息包括所述特定特征所穿越的指令区域以和所述特定特征穿越所述指令区域时的穿越方向；所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤为：根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向，从而触发指令。

其中，所述特定特征为所述手掌区域的重心、质心或者手掌区域的边缘上的点。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种种空间手势遥控的电子设备，该电子设备包括操控空间建立模块、采集模块、第一识别模块、跟踪模块、触发模块和执行模块；操控空间建立模块用于建立三维操控空间，其中，所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面，所述虚拟边界面被划分为多个指令区域；采集模块与所述操控空间建立模块连接，用于采集用户的连续帧深度图像；第一识别模块与所述采集模块连接，用于根据所述深度图像识别用户的手掌区域；跟踪模块与所述第一识别模块连接，用于根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动；触发模块与所述跟踪模块连接，用于根据所述特定特征穿越所述指令区域时的穿越信息来触发指令；执行模块与所述触发模块连接，用于执行所述指令。

其中，所述电子设备进一步包括：第一获取模块，与所述操控空间建立模块连接，用于获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息；所述跟踪模块进一步包括第二识别模块和第二获取模块，所述第二识别模块与所述第一识别模块连接，用于从所述手掌区域中识别所述特定特征，所述第二获取模块与所述第二识别模块连接，用于获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。

其中，所述穿越信息包括所述特定特征所穿越的指令区域；所述触发模块与所述第二获取模块连接，用于根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域，从而触发指令。

其中，所述穿越信息包括所述特定特征所穿越的指令区域以和所述特定特征穿越所述指令区域时的穿越方向；所述触发模块与所述第二获取模块连接，用于根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向，从而触发指令。

其中，所述特定特征为所述手掌区域的重心、质心或者手掌区域的边缘上的点。

本发明的有益效果是：区别于现有技术的情况，本发明通过在一个被划分有多个指令区域的虚拟边界面形成的三维操控空间上进行手势遥控，并通过采集用户连续帧深度图像来获取用户手掌区域的特定特征的动作，并根据该该特定特征穿越指令区域时的穿越信息来触发指令，以实现空间手势对电视机进行遥控，具有较快的响应速度。并且，本发明无需借助遥控器等实体装置来进行控制，人们只需要在电视机前在空间中挥动手部进行特定的手势动作对电视机进行操控，避免了需要换电池或者寻找遥控器等的麻烦，从而使得人们对电视机的遥控更加方便，并且，本发明还具有较高的精准度。另外，本发明只需要跟踪手掌区域的特定特征，而对手部形态(张开或闭合等)无需特别限定，可以实现自然操控，使用户在操控期间，免于频繁完成特定的手势动作，只需手部整体移动即可触发指令，操控较为自然舒适。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种空间手势遥控方法的流程示意图；

图2是本发明第一实施例中建立的三维操控空间的示意图；

图3是本发明第二实施例提供的一种空间手势遥控方法的流程示意图；

图4是本发明第二实施例中手掌区域的特定特征的运动示意图；

图5是本发明第三实施例提供的一种空间手势遥控方法的流程示意图；

图6是本发明第三实施例中手掌区域的特定特征的运动示意图；

图7是本发明第一实施例提供的空间手势遥控的电子设备的结构示意图；

图8是本发明第二实施例提供的空间手势遥控的电子设备的结构示意图；

图9是本发明实施例提供的一种手势遥控的电子设备的实体装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明实施例提供的一种空间手势遥控方法的流程示意图。

本实施例提供的空间手势遥控方法包括以下步骤：

S11、建立三维操控空间，其中，三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面，虚拟边界面被划分为多个指令区域。

如图2所示，图2是本发明第一实施例中建立的三维操控空间的示意图。具体地，三维操控空间的建立可以是在获取了建立三维操控空间的指令之后进行建立，以防止后续手势遥控过程中误识别了用户并非用于手势遥控的手势动作，以更加精确地进行手势识别。其中，该指令可以是一个特定的手势动作。例如，手掌从张开到握拳的手势动作。

举例而言，先采集用户连续帧的深度图像，其中，深度图像可以通过深度相机来进行采集，通过深度图像可以获取物体在空间的空间位置信息。其中，连续帧的深度图像是指在一个特定的时间段内，一系列连续的深度图像。

在获取了建立三维操控空间的指令之后，以深度图像中特定点为原点建立三维坐标系。该三维坐标系具有xyz三轴，用户朝向需要控制的设备(例如电视机)的方向为y轴正方向，x轴与y轴所在平面平行于地面，z轴垂直与x轴与y轴所在的平面。朝向图2中右方的方向为x轴的正方向，朝向图2中的上方的方向为z轴的正方向。

其中，特定点可以是用户的手部中心点，可以理解的是，在其他一些实施例中，还可以是手掌区域的最高点，或者手掌区域的最左或者最右的点等等。

然后，再以特定点为中心建立虚拟边界面，并获取虚拟边界面上的点在三维坐标系上的位置信息。

本实施例的虚拟边界面为一个球面，该球面以特定点为球心，以R为半径。

本实施例的三维操控空间呈球形，可以理解地，在其它一些实施例中，三维操控空间可以是方体，例如正方体或者长方体等，此时，虚拟边界面则为方体的面，例如正方体或者长方体的六个面。

最后，将虚拟边界面划分多个指令区域。具体地，本发明在球面上划分多个指令区域，例如本实施例划分的指令区域有x轴正方向穿越的指令区域A、x轴负方向穿越的指令区域B，z轴正方向穿越的指令区域C，z轴负方向穿越的指令区域D，y轴正方向穿越的指令区域E和y轴负方向穿越的指令区域F。指令区域A、指令区域B、指令区域C，指令区域D，指令区域E和指令区域F构成整个虚拟边界面。

本实施例的三维操控空间即为具有多个指令区域的球面围成的空间，该三维操控空间是一个虚拟的空间。

S12、采集用户的连续帧深度图像。

具体地，深度图像可以由深度相机进行采集，进一步地，还可以通过RGBD相机采集用户连续帧的RGBD图像。

S13、根据深度图像识别用户的手掌区域。

其中，步骤S13中，可以根据手掌的特征来识别出手掌区域，例如，手指的特征，手掌位于上肢端部的特征等。

S14、根据连续帧深度图像跟踪手掌区域的特定特征的运动。

具体地，特定特征可以是手掌区域的重心、质心或者手掌区域的边缘上的点。本实施例以手掌区域的重心为例进行说明，根据连续帧深度图像来跟踪手掌的重心的运动。

S15、根据特定特征穿越指令区域时的穿越信息来触发指令。

具体地，可以在建立三维空间的时候，定义不同的穿越信息触发对应不同的指令，因而，在手势遥控的时候，则根据特定特征穿越指令区域时的穿越信息来确定触发了哪一个指令。

S16、执行指令。

区别与现有技术，本发明通过在一个被划分有多个指令区域的虚拟边界面形成的三维操控空间上进行手势遥控，并通过采集用户连续帧深度图像来获取用户手掌区域的特定特征的动作，并根据该该特定特征穿越指令区域时的穿越信息来触发指令，以实现空间手势对电视机进行遥控，具有较快的响应速度。并且，本发明无需借助遥控器等实体装置来进行控制，人们只需要在电视机前在空间中挥动手部进行特定的手势动作对电视机进行操控，避免了需要换电池或者寻找遥控器等的麻烦，从而使得人们对电视机的遥控更加方便，并且，本发明还具有较高的精准度。另外，本发明只需要跟踪手掌区域的特定特征动运动，而对手部形态(张开或闭合等)无需特别限定，可以实现自然操控，使用户在操控期间，手掌能免于频繁完成特定的手势动作，只需手部整体移动即可触发指令，操控较为自然舒适。

请参阅图3，图3是本发明第二实施例提供的一种空间手势遥控方法的流程示意图。

S21、建立三维操控空间，其中，三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面，虚拟边界面被划分为多个指令区域。

具体地，建立三维操控空间的方式可以与第一实施例中的方式相同，再次不再赘述。

S22、获取虚拟边界面上各个点在三维坐标系中的第一位置信息。

其中，第一位置信息即坐标值，例如，点g的坐标值为(x，y，z)，如图2所示。

S23、采集用户的连续帧深度图像。

S24、根据深度图像识别用户的手掌区域。

S25、从手掌区域中识别手掌区域的重心。

具体地，手掌区域的重心可以根据手掌区域计算而得。

S26、获取连续帧深度图像中特定特征在三维坐标系中的多个第二位置信息。

具体地，由于手掌区域的重心在运动，因而在连续帧深度图像中，第二位置信息随着运动而发生变化，第二位置信息为手掌区域的重心的运动轨迹上的点在三维坐标系中的坐标值，因此，在连续帧深度图像中，第二位置信息有连续变化的多个。

如图4所示，图4是本发明第二实施例中手掌区域的特定特征的运动示意图。图4中手掌区域的重心的运动轨迹为从左到右的直线。为了方便说明，本实施例选取了手掌区域的重心的运动轨迹上的4个点为，具体地，手掌区域的重心依次经过点g1(x1，y1，z1)，点g2(x2，y2，z2)，点g(x，y，z)和点g3(x3，y3，z3)。

S27、根据第二位置信息与第一位置信息的关系来确定特定特征穿过的指令区域，从而触发指令。

举例而言，在建立三维操控空间时，定义手掌区域的中心穿越指令区域A触发的指令为Aa，指令Aa对应频道增加；定义手掌区域的重心穿越指令区域B触发指令Bb，指令Bb对应频道减少；定义手掌区域的重心穿越指令区域C触发指令Cc，指令Cc对应音量增加；定义手掌区域的重心穿越指令区域D触发指令Dd，指令Dd对应音量减弱；定义手掌区域的重心穿越指令区域E触发指令Ee，指令Ee对应确定；定义手掌区域的重心穿越指令区域F触发指令Ff，指令Ff对应退出等。

本实施例中，点g1，点g2、点g和点g3的第二位置信息即点g1，点g2、点g和点g3的三维坐标值(x1，y1，z1)、(x2，y2，z2)、(x，y，z)和(x3，y3，z3)，将该4个点的三维坐标值与虚拟边界面上各点的坐标值比较，可以得出，手掌区域的重心经过的点g(x，y，z)的坐标值与指令区域A上的一个点的坐标值相同，因而可以判断手掌区域的重心穿越了指令区域A，因而触发指令Aa。

S28、执行指令。

步骤S28中，由于指令Aa对应频道增加，因此相应地，执行频道增加的指令。

请参阅图5，图5是本发明第三实施例提供的一种空间手势遥控方法的流程示意图。

S31、建立三维操控空间，其中，三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面，虚拟边界面被划分为多个指令区域。

具体地，建立三维操控空间的方式可以与第一实施例中的方式相同，再次不再赘述。

S32、获取虚拟边界面上各个点在三维坐标系中的第一位置信息。

S33、采集用户的连续帧深度图像。

S34、根据深度图像识别用户的手掌区域。

S35、从手掌区域中识别手掌区域的边缘上的点。

其中，手掌区域的边缘上的点为手掌区域的边缘上任意的点。可以从深度图像中根据手掌区域的特征识别出手掌区域的轮廓，从而确定手掌区域的边缘。

S36、持续获取特定特征在三维坐标系中的多个第二位置信息。

具体地，由于手掌区域在运动，因而在连续帧深度图像中，手掌区域的边缘上有多个点，并且，随着手掌区域的运动，同一个点的第二位置信息也会发生变化，第二位置信息为手掌区域边缘上的多个点的多个运动轨迹上的点在三维坐标系中的坐标值，因此，同一个手掌区域的边缘由多个点，在一个深度图像中具有多个第二位置信息，而手掌区域的边缘上同一个点在连续帧深度图像中，第二位置信息具有连续变化的多个。

S37、根据多个第二位置信息与第一位置信息的关系来确特定特征穿过的指令区域以及特定特征穿过指令区域的方向，从而触发指令。

例如，在建立三维操控空间时，定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域A到达三维操控空间外触发的指令为Aa，指令Aa对应频道增加；定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域B到达三维操控空间外触发指令Bb，指令Bb对应频道减少；定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域C到达三维操控空间外触发指令Cc，指令Cc对应音量增加；定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域D到达三维操控空间外触发指令Dd，指令Dd对应音量减弱；定义手掌区域边缘上的点从三维操控空间内部穿越指令区域E到达三维操控空间外触发指令Ee，指令Ee对应确定；定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域F到达三维操控空间外部触发指令Ff，指令Ff对应退出等。

此外，还定义了手掌区域的边缘上的点从三维操控空间外穿过指令区域A到达三维操控空间内触发指令Aa’，指令Aa’可以对应亮度增加，或者，定义手掌区域的边缘上的点从三维操控空间外穿过指令区域B到达三维操控空间内触发指令Bb’，指令Bb’可以对应亮度减小等等。

举例而言，如图6所示，图6是本发明第三实施例中手掌区域的特定特征的运动示意图。本实施例中，点h1，点h、和点h2的第二位置信息即点h1，点h、和点h2的三维坐标值(x4，y4，z4)、(x5，y5，z5)和(x6，y6，z6)，将该3个点的三维坐标值与虚拟边界面上各点的坐标值比较，可以得出，手掌区域的边缘上的一个点先经过的点h1(x4，y4，z4)在三维操控空间内部，点h(x5，y5，z5)在三维操控空间的虚拟边界面上，且在指令区域A上，手掌区域的边缘上的该点后经过的点h3(x6，y6，z6)在三维操控空间外，因此，可以确定该手掌区域的边缘上的点从三维操控空间的内部穿越指令区域A到达三维操控空间的外部，因此，触发指令Aa。

S38、执行指令。

步骤S38中，由于指令Aa对应频道增加，因此相应地，执行频道增加的指令。

如图7所示，图7是本发明第一实施例提供的空间手势遥控的电子设备的结构示意图。

具体地，本发明的电子设备包括操控空间建立模块10、采集模块11、第一识别模块12、跟踪模块13、触发模块14和执行模块15。

具体地，操控空间建立模块10用于建立三维操控空间，其中，三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面，虚拟边界面被划分为多个指令区域。

采集模块11与操控空间建立模块10连接，用于采集用户的连续帧深度图像。

第一识别模块12与采集模块11连接，用于根据深度图像识别用户的手掌区域。

跟踪模块13与第一识别模块12连接，用于根据连续帧深度图像跟踪手掌区域的特定特征的运动。

触发模块14与跟踪模块13连接，用于根据特定特征穿越指令区域时的穿越信息来触发指令。

执行模块15与触发模块14连接，用于执行指令。

如图8所示，图8是本发明第二实施例提供的空间手势遥控的电子设备的结构示意图。

具体地，本发明的电子设备包括操控空间建立模块20、采集模块21、第一识别模块22、跟踪模块23、触发模块24、执行模块25和第一获取模块26。

具体地，操控空间建立模块20用于建立三维操控空间，其中，三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面，虚拟边界面被划分为多个指令区域。

第一获取模块26与操控空间建立模块20连接，用于获取虚拟边界面上各个点在三维坐标系中的第一位置信息。

采集模块21与操控空间建立模块20连接，用于采集用户的连续帧深度图像。

第一识别模块22与采集模块21连接，用于根据深度图像识别用户的手掌区域。

跟踪模块23进一步包括第二识别模块230和第二获取模块231，第二识别模块230与第一识别模块22连接，用于从手掌区域中识别特定特征，其中，特定特征可以是为手掌区域的重心、质心或者手掌区域的边缘上的点。第二获取模块231与第二识别模块230连接，用于获取连续帧深度图像中特定特征在三维坐标系中的多个第二位置信息。

具体地，在一个实施例中，穿越信息包括特定特征所穿越的指令区域。触发模块24与第二获取模块231连接，用于根据多个第二位置信息与第一位置信息的关系来确定特定特征穿过的指令区域，从而触发指令。

另一个实施例中，穿越信息包括特定特征所穿越的指令区域以和特定特征穿越指令区域时的穿越方向。触发模块24与第二获取模块231连接，用于根据多个第二位置信息与第一位置信息的关系来确特定特征穿过的指令区域以及特定特征穿过指令区域的方向，从而触发指令。

执行模块25与触发模块24连接，用于执行指令。

请参阅图9，图9是本发明实施例提供的一种手势遥控的电子设备的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤，相关内容请参见上述方法中的详细说明，在此不再赘述。

该智能电子设备包括处理器31、与处理器31耦合的存储器32。

存储器32用于存储操作系统和设置的程序。

处理器31用于建立三维操控空间，其中，所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面，所述虚拟边界面被划分为多个指令区域；采集用户的连续帧深度图像；根据所述深度图像识别用户的手掌区域；根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动；根据所述特定特征穿越所述指令区域时的穿越信息来触发指令；执行所述指令。

处理器31还用于获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息；从所述手掌区域中识别所述特定特征；获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。

处理器31还用于根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域，从而触发指令。

处理器31还用于根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向，从而触发指令。

在本发明所提供的几个实施方式中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明的空间手势遥控具有较快的响应速度，较高的精准度，能使人们对电视机的遥控更加方便。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。